1. Redis集群搭建的必要性与适用场景Redis作为当前最流行的内存数据库之一在应对高并发场景时常常面临单节点性能瓶颈。我去年负责的一个电商秒杀系统就遇到了这个问题——当QPS突破5万时单Redis实例的CPU直接飙到100%响应延迟从2ms暴增到200ms以上。这时候就需要通过集群化部署来突破单机限制。Redis集群主要解决三类问题数据容量问题当数据集超过单机内存容量比如100GB数据需要128GB内存吞吐量问题当读写请求超过单节点处理能力比如10万QPS高可用问题避免单点故障导致服务不可用在技术选型上Redis提供了三种集群方案主从复制一主多从架构适合读多写少场景哨兵模式在主从基础上增加自动故障转移Cluster模式真正的分布式方案数据分片存储实际生产环境中如果数据量小于50GB且QPS低于3万主从哨兵通常就够了。但像我们遇到的秒杀场景必须上Cluster模式才能扛住流量洪峰。2. 环境准备与节点规划2.1 硬件配置建议根据我参与过的十几个集群部署案例推荐以下配置测试环境4核8G云服务器 × 3节点生产环境8核16G物理机 × 6节点三主三从磁盘至少预留2倍内存大小的空间用于AOF持久化网络节点间延迟要5ms建议同机房部署2.2 软件版本选择版本兼容性是个大坑我们曾经因为版本问题导致集群脑裂Redis 5.x首个稳定生产可用的Cluster版本Redis 6.x支持多线程IO推荐Redis 7.x新增Function特性2023年新项目建议用这个# 下载最新稳定版示例为7.0.11 wget https://download.redis.io/releases/redis-7.0.11.tar.gz tar -zxvf redis-7.0.11.tar.gz cd redis-7.0.11 make make install2.3 节点拓扑设计以6节点集群为例3主3从节点1: 192.168.1.101:6379 (主) 节点2: 192.168.1.102:6379 (主) 节点3: 192.168.1.103:6379 (主) 节点4: 192.168.1.104:6379 (从-主1) 节点5: 192.168.1.105:6379 (从-主2) 节点6: 192.168.1.106:6379 (从-主3)3. 集群配置与启动3.1 基础配置模板每个节点的redis.conf需要包含以下关键配置port 6379 cluster-enabled yes cluster-config-file nodes-6379.conf cluster-node-timeout 15000 appendonly yes daemonize yes protected-mode no3.2 启动所有节点# 每个节点执行 redis-server /path/to/redis.conf3.3 创建集群使用redis-cli的create-cluster命令Redis 5版本redis-cli --cluster create \ 192.168.1.101:6379 \ 192.168.1.102:6379 \ 192.168.1.103:6379 \ 192.168.1.104:6379 \ 192.168.1.105:6379 \ 192.168.1.106:6379 \ --cluster-replicas 1这里--cluster-replicas 1表示每个主节点有1个从节点4. 集群运维关键点4.1 数据分片验证# 查看集群节点分布 redis-cli -c -h 192.168.1.101 cluster nodes # 测试数据自动路由 redis-cli -c -h 192.168.1.101 set foo bar redis-cli -c -h 192.168.1.102 get foo # 应能正确返回4.2 常见故障处理场景1节点宕机从节点会自动升级为主节点原主节点恢复后会变成新主节点的从节点场景2集群状态异常# 检查集群健康状态 redis-cli --cluster check 192.168.1.101:6379 # 手动修复slot分配 redis-cli --cluster fix 192.168.1.101:63794.3 性能调优建议内存优化设置maxmemory建议物理内存的70%启用内存淘汰策略volatile-lru/allkeys-lru网络优化tcp-backlog 511 timeout 0 tcp-keepalive 300持久化平衡AOF的appendfsync配置为everysec平衡性能与安全5. 生产环境避坑指南5.1 跨slot操作限制Redis集群最大的使用限制是不支持跨slot的多key操作。比如# 会报错CROSSSLOT Keys in request dont hash to the same slot MSET user:1000:name Alice user:1000:age 30解决方案是使用hash tag强制将相关key分配到同一slotMSET user:{1000}:name Alice user:{1000}:age 305.2 客户端连接要点Java客户端推荐使用Lettuce而不是JedisRedisClusterClient clusterClient RedisClusterClient.create( redis://192.168.1.101:6379); StatefulRedisClusterConnectionString, String connection clusterClient.connect(); RedisAdvancedClusterCommandsString, String commands connection.sync();5.3 扩容缩容实操扩容步骤添加新节点redis-cli --cluster add-node 新节点IP:端口 现有节点IP:端口迁移slotredis-cli --cluster reshard 现有节点IP:端口缩容步骤迁移待删除节点的slot执行删除redis-cli --cluster del-node 现有节点IP:端口 待删除节点ID6. 监控与告警配置6.1 关键监控指标内存使用率超过80%需要告警命中率低于90%说明缓存效率低主从延迟超过10秒需要排查集群状态任何slot处于fail状态都要立即处理6.2 Prometheus监控方案配置redis_exporter采集数据scrape_configs: - job_name: redis_cluster static_configs: - targets: [192.168.1.101:9121] metrics_path: /scrape params: target: [192.168.1.101:6379]6.3 推荐告警规则groups: - name: Redis Cluster rules: - alert: RedisDown expr: up{jobredis_cluster} 0 for: 1m - alert: MissingKeyspace expr: count(redis_keyspace_keys_total) 3 for: 5m7. 集群安全加固7.1 认证配置在redis.conf中添加requirepass yourpassword masterauth yourpassword客户端连接时需要redis-cli -c -h 192.168.1.101 -a yourpassword7.2 网络隔离使用iptables限制访问IPiptables -A INPUT -p tcp --dport 6379 -s 192.168.1.0/24 -j ACCEPT iptables -A INPUT -p tcp --dport 6379 -j DROP7.3 TLS加密生成证书后配置tls-port 6379 tls-cert-file /path/to/redis.crt tls-key-file /path/to/redis.key tls-cluster yes8. 备份与恢复策略8.1 自动化备份方案使用crontab每天全量备份0 2 * * * redis-cli -h 192.168.1.101 BGSAVE cp /var/lib/redis/dump.rdb /backup/redis-$(date \%Y\%m\%d).rdb8.2 灾难恢复演练停止所有节点清空数据目录恢复备份文件cp /backup/redis-20230801.rdb /var/lib/redis/dump.rdb重建集群关系redis-cli --cluster import 192.168.1.101:63799. 客户端最佳实践9.1 连接池配置以Java为例合理设置连接池参数GenericObjectPoolConfigRedisCluster poolConfig new GenericObjectPoolConfig(); poolConfig.setMaxTotal(200); // 最大连接数 poolConfig.setMaxIdle(50); // 最大空闲连接 poolConfig.setMinIdle(10); // 最小空闲连接 poolConfig.setMaxWait(Duration.ofMillis(1000)); // 获取连接超时时间9.2 重试策略建议实现指数退避重试def get_redis_value(key): retry 0 while retry 3: try: return redis_client.get(key) except RedisError as e: sleep(2 ** retry) retry 1 raise Exception(Redis operation failed)9.3 热点key处理对于秒杀类热点key有两种解决方案本地缓存在应用层增加Guava CacheKey拆分将单个key拆分为多个slot如product:1000 - product:1000:{1..10}10. 性能压测与优化10.1 基准测试工具使用redis-benchmark测试集群性能redis-benchmark -h 192.168.1.101 -p 6379 -n 100000 -c 50 -t set,get10.2 性能瓶颈分析常见瓶颈点及解决方案CPU瓶颈升级到Redis 6启用多线程IO网络瓶颈改用RDMA网络或调整TCP参数内存瓶颈优化数据结构使用ziplist等紧凑结构10.3 慢查询优化查看慢日志redis-cli SLOWLOG GET 10优化方案避免使用KEYS命令用SCAN替代大value拆分为多个小value使用Pipeline批量操作在电商大促期间我们通过以上优化手段将Redis集群的P99延迟从85ms降到了12ms。关键是要根据监控数据持续调整没有放之四海而皆准的最优配置。