锦
锦思新知编辑组
发布时间:2026/11/17 17:21:35
来源:锦思新知
阅读:知识向官网定制

开头先聊点实打实的。我在负责的一个电商系统里Redis承担了会话保持、商品缓存、库存预扣这三块核心逻辑。前年有一次机房断网主节点直接挂了当时整个用户端半小时内都处于无缓存可用的状态数据库被瞬时流量打满页面全部超时。那次事故之后我才真正意识到Redis单节点无论配置多高、性能多好都只是一个运气好就不会出事的方案真正要解决的是高可用问题。这些年从主从复制到哨兵再到集群我算是把Redis高可用这条路完整走了一遍。这篇博文就把我的经验和踩过的坑整理出来讲清楚高可用的核心思路、每种方案的适用场景、常用配置和实际操作中容易忽略的细节适合刚接触Redis的开发者也适合已经在用Redis但还没做高可用方案的团队参考。1. 高可用的整体思路和方案选型1.1 高可用到底在解决什么问题先说清楚一个概念Redis高可用不等于数据不丢失也不等于性能无限扩展。它解决的核心问题是当某个Redis节点出现故障时系统还能自动恢复对外服务或者把故障影响降到最低。这里的故障分两种。一种是节点进程崩溃、服务器宕机、网络分区这类硬故障节点彻底不可用另一种是慢查询、阻塞操作、内存耗尽这类软故障节点还在运行但表现异常。高可用方案的设计目标就是让系统在遇到这两类故障时能够快速切换流量、恢复服务而且整个过程最好不依赖人工介入。如果只靠单节点一旦宕机就是全盘皆输。加一台从节点做数据备份解决了数据冗余的问题但主节点挂了还是需要人工切到从节点。加哨兵之后故障检测和自动切换可以交给哨兵去完成。再往上走用集群模式还可以把数据拆到多个分片上某个分片挂了只影响部分数据。这三级递进就是Redis高可用的完整演进路径。提示高可用方案不是越复杂越好而是要和你的业务规模、数据量、可用性要求匹配。两三台节点能解决的不必一上来就上集群。1.2 三种方案的选型对比很多团队在方案选型阶段就容易纠结。我直接给一个参照维度主从复制适合数据有备份需求、可以容忍手工切换的场景哨兵模式适合要求自动故障转移、数据量还在单机能扛住的场景集群模式适合数据量超过单机内存、或者并发读写量已经让单机吃力的场景。方案数据冗余自动故障转移横向扩展典型适用场景运维复杂度主从复制有不支持读扩展数据备份、读写分离低哨兵模式有支持读扩展中小规模生产环境中集群模式有支持分片扩展大规模数据、高并发高实际项目中哨兵模式是我用得最多的方案。它搭建成本不高故障自动切换能力已经很成熟大多数中小型业务的Redis数据量都在几十GB以内单主节点配上几个从节点完全够用。只有当你发现单节点的内存告警、写QPS已经到极限并且迁移拆分成本开始变高的时候那才是认真考虑集群的时机。2. 主从复制高可用的地基2.1 主从复制的运行机制主从复制的本质就是主节点把自己产生的写操作实时同步给从节点。理解了它的运行机制后续故障转移和集群的原理就会顺理成章。首次建立主从关系时从节点会向主节点发送同步请求主节点执行一次RDB快照全量复制把快照文件发给从节点从节点加载后主节点再把快照期间的增量写命令通过复制缓冲区同步过去。这个过程我实测下来在15GB数据量的情况下大约需要几分钟关键看带宽和磁盘速度。全量复制完成后主节点后续的每个写命令都会实时推送给从节点这就是增量复制。从节点默认是只读的只能同步主节点的数据不能接收外部写入这个限制很重要——如果让从节点有写权限数据会很快出现不一致。这里有个经常被忽略的细节复制缓冲区的设置。Redis有一块名为复制积压缓冲区的内存区域用来记录最近一段时间的写命令。如果从节点断线时间太长缓冲区里的命令已经被覆盖就只能重新走全量复制。我见过不少线上事故就是网络抖动几秒钟结果断线时间刚好超过缓冲区窗口触发一次全量重同步直接把主节点和从节点的CPU、带宽打满。2.2 主从节点的配置方法搭建主从复制的配置非常简单在从节点的redis.conf里加上一行replicaof 主节点IP 主节点端口配置完重启Redis从节点就会自动启动同步流程。执行redis-cli -p 从节点端口 info replication从节点会显示role:slave和master_link_status:up表示同步状态正常。建议同步把主节点配置文件里的appendonly设为yes开启AOF持久化这样快照和日志双保险数据安全系数更高。另外给从节点设置replica-read-only yes确保从节点只读。生产环境我强烈建议在主从节点上都显式配置密码认证requirepass 密码 masterauth 主节点密码从节点连接主节点时需要masterauth字段提供认证信息。早年我不加这个配置后来一次物理机迁移后发现新从节点一直同步不上排查半天就是主从认证没通过。这种问题不报错、不告警只会让数据在后台默默不一致最坑。2.3 主从复制的致命短板主从复制能解决数据冗余但它本身没有故障转移能力。主节点一旦宕机从节点虽然握有全量数据却不会自动升级为主节点需要运维人员手动执行replicaof no one将从节点提升为主节点再修改应用层配置的连接地址整个过程至少十几分钟业务中断是必然的。更麻烦的是如果主节点宕机前有一部分最新写入还没来得及同步到从节点那部分数据就会直接丢失。从这个角度看主从复制只能作为高可用方案的地基而不是完整方案。要想实现真正的自动故障切换就得靠哨兵。注意主从复制只能保证数据有备份不能保证服务不中断。把主从复制当成完整的高可用方案是很多生产事故的根源。3. 哨兵模式自动故障转移的核心3.1 哨兵的工作原理哨兵Sentinel是一个独立运行的进程专门用来监控Redis主从节点的状态。它做的事可以归纳成三件监控、通知、自动故障转移。哨兵启动后会以固定频率向被监控的主节点、从节点发送心跳命令PING确认对方是否存活。当主节点连续多次没有响应哨兵就会把主节点标记为主观下线sdown。注意主观这个词因为单个哨兵的判断可能因为网络抖动误判。当一个主节点被多个哨兵同时标记为主观下线数量达到配置的quorum值时它才被判定为客观下线odown这时才会触发故障转移流程。一旦判定主节点客观下线哨兵系统会做两件事首先在所有哨兵节点中通过投票选举出一个Leader由Leader负责执行故障转移然后Leader从当前的所有从节点中选出一个最合适的执行replicaof no one把它提升为新主节点再让其他从节点切换为复制到新主节点最后通知客户端新主节点的地址。3.2 哨兵的高可用架构生产环境的哨兵本身也必须高可用不能只部署一个哨兵节点。标准的部署架构是1个主节点 2个及以上从节点 至少3个哨兵节点。哨兵节点可以和Redis数据节点部署在同一台服务器上也可以独立部署资源充裕时我更推荐独立部署避免Redis进程消耗了大量CPU/内存后哨兵进程本身也变得不稳定。既然故障转移依赖投票机制哨兵节点必须是奇数个。3个哨兵允许挂掉1个5个哨兵允许挂掉2个以此类推。如果只有2个哨兵一个哨兵挂掉后主节点一旦故障存活的1个哨兵无法达到quorum要求故障转移就无法执行。我建议把quorum设置为2。它的含义是至少2个哨兵认为主节点不可用才触发故障转移。配合3个哨兵节点既保证误判概率低也保证容错能力。3.3 哨兵的完整配置拆解哨兵配置有一个独立的配置文件通常是sentinel.conf。这里我贴一个经过生产验证的基础配置port 26379 daemonize yes logfile /var/log/redis/sentinel.log pidfile /var/run/redis-sentinel.pid sentinel monitor mymaster 主节点IP 6379 2 sentinel auth-pass mymaster 密码 sentinel down-after-milliseconds mymaster 5000 sentinel failover-timeout mymaster 15000 sentinel parallel-syncs mymaster 1每个参数都有讲究。down-after-milliseconds表示多少毫秒内没收到PONG响应就判定主观下线我设置为5000毫秒线上效果是约10秒内能完成一次故障转移。设置太短容易因为网络抖动误判设置太长故障转移等待时间过长业务不可用窗口就大。failover-timeout是故障转移超时时间这里设定15秒包含选举Leader、提升从节点、通知客户端等步骤的总预算。parallel-syncs表示执行故障转移后同时允许多少个从节点同步复制新主节点建议设置为1一个一个来否则多个从节点同时触发全量复制带宽压力会很大。这时候有一个非常容易踩的坑配置哨兵后如果主节点发生了故障转移新的主节点地址变了但是哨兵配置文件里的sentinel monitor mymaster这一行的IP和端口是自动更新的不需要手动改。但应用层如果是通过哨兵获取主节点地址需要在客户端做适配有的老的Redis客户端库根本不会自动订阅哨兵通知需要连上哨兵节点去查询这块配置最容易遗漏。3.4 故障转移的选举逻辑哨兵为什么能自动选出新主节点因为它有一套选举规则。当主节点被判定客观下线后哨兵Leader会先从现有从节点里筛选排除与自己断连时间过长的、排除被标记为不可用的剩下的从节点中优先选择复制偏移量最大的数据最接近主节点如果偏移量相同则选择runid字典序最小的。这里有个实操经验值得分享从节点的优先级是可以人工配置的。每个从节点都可以设置replica-priority数值越小优先级越高选主时会被优先选中。我在部署时会把硬件配置更高、离客户端网络更近、所在机架位置更独立的从节点优先级别设成1把同一个机架里的从节点优先级设成10尽量让故障转移后的新主节点落在更安全的物理位置。从节点不要只部署在一台物理机器上。我有一次图省事把两个从节点部署在同一台服务器上主节点挂的时候这台服务器内存溢出把两个从节点一起带走了哨兵根本没有可用的从节点可切换整个Redis服务直接不可用。那之后我坚决执行从节点分散到不同物理机的部署铁律。3.5 哨兵的实际部署记录我在线上环境部署哨兵的完整步骤大致是这样的先准备3台服务器1台做主节点2台做从节点确认Redis版本统一建议用6.x以上版本老版本的replicaof配置字段兼容性有坑。配置好主从复制先用info replication确认三个节点的复制状态都是up。在3台服务器上分别创建sentinel.conf按上面给出的配置逐项填写。依次启动3个哨兵进程然后观察日志确认哨兵之间能互相发现并且监控列表里显示主从节点的状态正常。手动做一次故障演练——把主节点的Redis进程杀掉观察哨兵是否能在预期时间内完成故障转移从节点的角色是否自动变成master。演练这一步极其重要。很多团队配置完哨兵以为万事大吉结果真出故障时发现哨兵failover逻辑有bug、或者配置里的地址写错。我每次搭建完都会主动用kill -9杀一次主节点进程亲眼看到新主节点顶上来才敢把方案交付出去。从我的实测来看正常的哨兵故障转移大约在5到15秒内完成业务侧活跃连接会有短暂中断但只要客户端配置了自动重连和重试机制用户的感知基本是顿了一下。4. 集群模式高可用的终极形态4.1 集群的分片机制如果说哨兵模式是一台机器挂了有备胎顶上那集群模式的思路就更进一步把数据拆成很多份每份放在不同的分片里每个分片又自带主从高可用。一个分片挂了只丢失该分片的数据其他分片继续工作。Redis Cluster采用哈希槽hash slot来做数据分布。整个集群固定有16384个槽位每个key经过CRC16校验后对16384取模得到一个槽位编号。这些槽位被均匀分配给集群中的各个主节点每个主节点负责一部分槽位。这个设计比一致性哈希更简单因为槽位总数固定迁移和扩缩容时只需要在节点间移动槽位对应的数据粒度可控。集群里每个主节点建议配备1个从节点。主节点挂了它的从节点会被自动提升。如果某个主节点和它的从节点同时挂掉那这个分片的数据就整个不可用了整个集群也只需要承担这一部分数据丢失的影响。4.2 集群的高可用故障转移细节集群的故障转移和哨兵有很多相似之处但实现上更精巧。集群中的每个节点都保持和所有其他节点的心跳通信Gossip协议当一个节点发现另一个节点失联时会把它标记为疑似故障PFAIL。当超过半数的负责槽位的主节点都认为某个主节点失效这个节点才被标记为FAIL并触发故障转移。触发故障转移后故障节点的从节点会向集群广播请求发起投票。与哨兵类似集群的从节点投票机制也要求半数以上主节点同意才能成为新的主节点。整个选主过程比较快实测在1到2秒内就能完成。这段机制也解释了为什么集群最少推荐3主3从——节点数太少了故障判定和投票的容错空间都很小。4.3 集群的搭建步骤与验证集群的搭建方式我推荐直接用redis-cli的集群模式一键创建减少手动配置出错的可能。先准备6台服务器3主3从每台节点配置文件里打开cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 10000 appendonly yes然后启动所有节点执行创建集群命令redis-cli --cluster create \ 192.168.1.10:6379 192.168.1.11:6379 192.168.1.12:6379 \ 192.168.1.13:6379 192.168.1.14:6379 192.168.1.15:6379 \ --cluster-replicas 1cluster-replicas 1表示每个主节点配1个从节点命令会自动把6个节点分配成3主3从。创建集群期间集群会做一次所有节点的握手确认和槽位分配整个过程大概几秒钟。验证集群状态redis-cli --cluster check 192.168.1.10:6379正常输出里每条分片会显示主从关系槽位覆盖16384个状态显示OK。任何槽位未被分配或者有节点处于fail状态都需要排查。注意集群模式下操作多key命令时必须保证所有key属于同一个槽位。可以用Hash Tag的方式把key写成{user1}:name和{user1}:age花括号内的部分参与哈希计算让这两个key落到相同槽位。4.4 集群模式的数据与连接注意事项集群模式有几个使用上的硬约束业务方一定要提前知道否则上线就踩坑。第一集群模式下直连某个节点执行多key操作会报CROSSSLOT错误因为多key可能分散在不同槽位。这个在代码层面要预先做好hash tag设计。第二客户端必须使用支持Cluster协议的客户端库。普通的Jedis连接池不支持集群模式要用专门的Cluster版本的客户端或者在连接时开启集群模式客户端会自动解析槽位到节点的映射。第三集群的扩缩容比单机复杂。如果后续数据量继续上涨执行redis-cli --cluster reshard可以把部分槽位迁移到新节点。但迁移期间会有部分key重新路由需要业务方在连接层面做好重试和错峰。5. 持久化配置数据安全的前提5.1 RDB快照与AOF日志的取舍聊高可用必须先聊数据安全。一个Redis节点如果只靠内存一旦宕机重启内存里的数据直接清空。主从复制虽然把数据同步给了从节点但如果主节点宕机时同步窗口内丢失了最新数据从节点也是缺失的。所以持久化本身就构成了高可用的第一道保障。RDBRedis Database是周期性把内存里的全量数据生成快照文件默认配置会遵守快照触发条件例如900秒内至少有1个key发生变化就把数据持久化下来。优点是恢复快、文件紧凑缺点是快照之间的数据变更可能丢失。AOFAppend Only File则是把每次写命令追加到日志文件可以做到最严格的always模式每个写命令都落盘但同步开销大恢复时重放日志也慢。5.2 推荐结合使用并掌握恢复顺序我推荐的配置是RDB和AOF同时开启。AOF保证数据尽量少丢RDB在重启时能快速加载基础快照。如果两者同时存在Redis启动时会优先加载AOF文件因为它保存的数据更新。这里必须强调一个冷门细节如果AOF文件损坏Redis启动时会拒绝加载导致服务起不来。遇到这种情况不要慌用Redis自带的修复工具redis-check-aof --fix appendonly.aof修复后再启动。这个问题我在一次断电故障中遇到当时整个数据库直接起不来排查了很久才发现是AOF文件在写了一半时断电损坏。之后我在所有生产节点都把AOF的旧文件做了多个备份。5.3 持久化参数的最佳实践针对不同场景我给三个参数组合建议场景RDB触发AOF策略说明高并发缓存场景关闭或拉长间隔everysec允许少量数据丢失换性能核心业务数据正常策略everysec兼顾性能与安全强一致要求正常策略always数据不丢性能开销大线上我大部分节点采用everysec模式每秒把写命令缓冲写入一次磁盘最多损失1秒的数据写入同时吞吐量远好于always模式。如果你的业务连1秒的数据丢失都完全不能接受那就要考虑在Redis上层再叠加数据库双写和最终一致性方案而不是单纯依赖Redis的持久化。6. 常见问题与排查技巧实录6.1 哨兵故障转移后客户端怎么感知新主节点这是我被问得最多的问题。哨兵完成了主从切换但是应用代码里连的还是旧主节点的地址怎么办正确做法是客户端通过哨兵节点获取当前主节点地址。以Java中的Jedis为例使用JedisSentinelPool传入哨兵节点的地址和masterName客户端会定期通过Sentinel获取当前主节点地址。故障转移发生后Sentinel会实时更新主节点信息客户端会连到新的主节点。如果用的是老版本或者普通连接池故障后应用侧会抛出一堆连接异常。解决方式有两个一是升级客户端库并开启哨兵支持二是在应用层封装一层动态路由定期查询Sentinel拿到最新主节点地址。我在老项目里就是自己封装了路由层在Sentinel的sentinel get-master-addr-by-name mymaster命令返回地址后更新本地缓存实现无缝切换。6.2 集群节点间时钟不一致引发的问题集群依赖Gossip协议传播节点状态各节点的系统时间应该保持一致。如果某台节点的时间明显偏快或偏慢会导致PFAIL上报的时序混乱进而引发错误的故障转移判定。我遇到过一台节点的系统时钟严重偏移导致它一直认为某个主节点下线并且不停地向其他节点传递这个信息最终触发了一次本不该发生的故障转移。New主节点顶上后旧主节点又重新上线此时集群里出现两个主节点同时存在同一槽位的情况数据冲突非常危险。这个坑的预防方法很简单所有Redis节点统一使用NTP或chrony同步系统时间并且周期性检查时间偏差。6.3 脑裂场景下的数据丢失与应对脑裂是分布式系统中的经典难题Redis的哨兵和集群都难以完全避免。典型场景是主节点仍在运行但主节点和哨兵/集群中其他节点的网络被隔离。此时哨兵把故障转移到从节点旧主节点却还在独自接收请求但旧主节点上的写入无法复制到新主节点。当网络恢复后旧主节点会被降级为从节点它会尝试重新同步新主节点的数据如果数据冲突会清空自己本地与主节点不一致的数据这部分写入就丢了。缓解脑裂影响可以通过配置一个节点能够接受的复制延迟上限min-replicas-to-write 1 min-replicas-max-lag 10上面的配置含义是如果从节点数量少于1个或复制延迟超过10秒主节点就拒绝写入。这样在脑裂发生时如果旧主节点的数据无法同步到从节点它就会主动只读避免产生大量孤立写入。这个配置在强一致性的业务下很关键。6.4 日常巡检清单我自己内部维护的一个Redis高可用巡检清单分享给大家每天检查所有节点info replication确认主从状态都是up复制偏移量差距在预定阈值内。每周检查一次持久化文件的生成时间确认RDB和AOF的落盘都正常。每两周做一次故障转移演练真实杀掉主节点观测是否按预期切换记录切换耗时。每季度检查一次Redis的版本关注官方公告中的安全补丁和重大bug修复例如老版本中存在的关键性问题。持续监控内存使用率、慢查询日志、拒绝连接数这些指标异常往往是故障的前兆。这套巡检在实际项目中帮我发现过两次隐患一次是复制偏移量持续增长说明主从延迟越来越严重一次是一个节点内存使用率接近上限RDB fork进程直接失败导致持久化中断。及时发现就能避免更大事故。7. 实操心得与后续规划排查过这么多高可用问题我最大的体会是Redis高可用方案的搭建其实不难难的是持续保证它在复杂环境里可靠运行。把主从复制、哨兵、集群、持久化这些组件拼起来并不费劲真正见功力的是对故障场景的预判和演练——每次线上出问题基本都是某个还没有预想到的故障场景触发的。最后分享一个冷门小技巧。在高可用架构中除了自动故障转移我还会利用Redis的PUB/SUB机制做一份故障感知广播。应用层订阅哨兵或集群的事件推送当节点角色发生变化时直接打印日志并触发缓存服务的预热逻辑。这样可以抢在故障转移刚刚完成时就主动把热点数据重新加载到新主节点的缓存中而不是等用户请求来了才慢慢回源。顺着这个思路还可以把Redis的监控指标接入现有的告警体系做到故障前置预警。高可用不是一锤子买卖它是持续迭代的过程。希望这篇博文能帮你少走一些弯路。
知识建站
内容驱动
阅读友好版式
SEO 精细化
线索转化
这篇内容对您有启发吗?
预约一次免费方案沟通,我们会根据您的行业给出可落地的站点架构建议。
立即预约沟通