本篇目录：
- 1、Redis集群检测与恢复
- 2、我是如何解决redis集群批量获取的效率问题的
- 3、redis批量读取数据spark
- 4、redis集群对批量操作命令的支持
- 5、Redisson批量操作类RBuckets和管道利器RBatch
Redis集群检测与恢复
1、需要使用trib的fix命令进行修复。如果修复还是不行的话，可以清除节点数据再重新建集群，前提要备份之后操作。
2、关机并重启需要关机的服务器。Copy codesudo systemctl stop 服务器名称 sudo systemctl restart 服务器名称 其中 服务器名称 是需要关机和重启的服务器名称。检查 Redis 集群是否正常工作。
3、AOF 方法进行故障恢复的时候，需要逐一把操作日志都执行一遍。如果操作日志非常多，Redis 就会恢复得很缓慢，影响到正常使用。RDB 既可以保证可靠性，还能在宕机时实现快速恢复。
4、通过开发了解到，redis上都是缓存数据，丢失影响不大，于是删除本地持久化数据，重新部署redis node，再手动创建集群。三个节点都添加完成，并且没有报错。进入一个master节点查看集群状态：集群状态终于恢复正常。
我是如何解决redis集群批量获取的效率问题的
1、解决方案就是，不使用这些复杂度较高的命令，并且一次不要获取太多的数据，每次尽量操作少量的数据，让Redis可以及时处理返回。
2、Redis Cluster是Redis 0以后才正式推出，时间较晚，目前能证明在大规模生产环境下成功的案例还不是很多，需要时间检验。Redis Sharding集群Redis 3正式推出了官方集群技术，解决了多Redis实例协同服务问题。
3、所以要维护好这个集群的每个节点信息，不然会导致整个集群不可用，其内部采用特殊的二进制协议优化传输速度和带宽。redis-cluster把所有的物理节点映射到[0，16383]slot（槽）上，cluster负责维护node--slot--value。
redis批量读取数据spark
spark往redis刷入数据foreachpartitio。上面的代码中，一次性批量插入了整个partition的数据，单个partition的数据量太多，会导致Redis内存溢出，导致服务不可用。解决方法是在foreachPartition。
spark streaming作为消费者，实时的从kafka中获取数据进行计算。计算结果保存至redis，供实时推荐使用。flume+kafka+spark+redis是实时数据收集与计算的一套经典架构。
利用管道插入catdata.txt|redis-cli--pipeShellVSRedispipe下面通过测试来具体看看Shell批量导入和Redispipe之间的效率。测试思路：分别通过shell脚本和Redispipe向数据库中插入10万相同数据，查看各自所花费的时间。
频繁读取redis性能会有影响。根据查询相关公开信息显示，由于redis的数据存储在内存中，而且每次访问都需要消耗一定的时间，因此，频繁读取redis会大大增加工作和I/O开销，进而影响其性能。
redis存取对象速度为单个实例的QPS能够达到10W左右。根据查询相关公开信息显示，Redis作为内存数据库，拥有非常高的性能，Redis在写入数据时，需要为新的数据分配内存，当从Redis中删除数据时，它会释放对应的内存空间。
redis集群对批量操作命令的支持
Redis集群相对单机在功能上存在一些限制，在使用时做好规避。注意如下：1）key批量操作支持有限。如mset、mget，目前只支持具有相同slot值的key执行批量操作。
使用SparkRedisConnector：使用SparkRedisConnector是Redis批量读取数据到Spark的一种常用方法。这种方法可以高效地批量读取Redis数据，并利用Spark的分布式处理能力进行大规模数据处理。
将需要操作的key计算出对应的solt，得到hostAndPort，分组存放在一个map中。
Redisson批量操作类RBuckets和管道利器RBatch
1、在SpringBoot项目中，通过RBuckets接口实现批量操作对个Bucket对象，示例如下：方法介绍：多个连续命令可以通过RBatch对象在一次网络会话请求里合并发送，这样省去了产生多个请求消耗的时间和资源。这在Redis中叫做管道。
2、Redisson的分布式RBucket Java对象是一种通用对象桶，可以用来存放任意类型的对象。除了同步接口外，还提供异步(Async)、反射式(Reactive)和RxJava2标准的接口。还可以通过RBuckets接口实现批量操作多个RBucket对象。
到此，以上就是小编对于redis集群查看key在哪个节点的问题就介绍到这了，希望介绍的几点解答对大家有用，有任何问题和不懂的，欢迎各位老师在评论区讨论，给我留言。
微信扫一扫打赏
