锦
锦思新知编辑组
发布时间:2026/11/18 9:56:37
来源:锦思新知
阅读:知识向官网定制

做高可用这些年每次听人讲“无状态化、水平扩展、故障转移”都像在背三个独立的口诀。可真到了线上这三件事从来不是孤立执行的。我见过不少团队机器加了不少容器一次性扩到三四十个副本结果该宕机还是宕机健康检查也配了流量照样打到已经“假死”的节点上主从切换脚本写得飞起真到切换那几十秒超时、缓存击穿、连接池爆掉一起涌上来。问题出在哪就出在把这三件事当成了三个孤立的优化点而没有把它们看成一条必须协同设计的高可用链路。这篇文章就想用我实际踩坑和调架构的经验把无状态化、水平扩展、故障转移这三件事拆开揉碎再串起来讲清楚它们各自解决什么问题为什么缺了哪一个另外两个都白做以及它们协同工作时到底该按什么顺序设计。1. 高可用从来不是“多买几台机器”这么简单1.1 三个关键词分别对应三种不同的故障先说清楚一个基本判断高可用设计的目标不是“机器不挂”而是“某个节点挂了之后系统整体还能继续对外提供服务”。为了达成这个目标无状态化、水平扩展、故障转移分别承担了不同职责。无状态化解决的是“节点可替换性”。如果一个服务把用户登录信息、临时会话数据、业务处理中间结果都留在本地进程里那么这台机器一旦宕掉它承载的流量就找不回来了其他机器也没法无缝接管它手上的工作。你能做的最好结果也就是让用户重新登录一次重试一次请求。这在很多场景下都不是“可用性故障”而是数据丢失。水平扩展解决的是“容量冗余”。它让你能用多台机器分担单台机器的压力同时天然带来一份“备用算力”。但请注意水平扩展只解决“打得开”的问题不解决“打得对”的问题。假如你扩展出来的每台机器都依赖一个无状态服务那它们是通用的假如它们各自持有会话状态那扩展出来的只是更多“孤儿数据存放点”。故障转移解决的则是“故障自动接管”。检测到节点不可用之后把流量从坏节点上摘掉把有状态组件的角色重新分配让系统在无人干预的情况下继续运行。它负责的是“从故障发生到恢复服务”这一段真空期是最后一道兜底。很多人以为高可用就是把机器变成两台、三台、一百台。实际上一台无状态服务配上一套可靠的故障转移已经能扛住大部分单机故障而一百台有状态且互相不感知的实例发生故障时只会更乱。1.2 它们不是并列关系而是递进关系我更喜欢把这三件事理解成一条递进链先做无状态化让任意节点可以被替换再做水平扩展让系统有足够多的可替换节点最后做故障转移当某个节点不行时系统能在可选节点里快速完成切换。这个顺序反过来是不成立的。如果你先做了故障转移却还没做无状态化那故障转移能做的只是把请求重新路由到别的机器但原本那台机器上的会话、进程内缓存、本地临时文件全部丢失业务方依然会感受到明显的中断。如果你先做水平扩展却没做无状态化那每扩一台机器都只是在复制一套独立的“小系统”互相之间不共享状态负载均衡把请求打过去之后用户可能前一个请求在A节点后一个请求落在了B节点体验直接崩坏。所以我在跟团队对齐方案时一定会先问一个问题“这套服务里有哪些状态是必须留在进程内的”凡是有状态的部分要么想办法外置要么显式地把它收敛成一个独立的有状态组件然后围绕这个组件做专门的故障转移设计。这样可以避免把“有状态”这个难题稀释到所有节点里导致任何一台机器都无法被替换。2. 无状态化把“本地状态”从进程里赶出去2.1 如何判断一个服务是不是真的无状态判断标准很简单同一份请求发给集群里的任何一台机器处理结果都完全一样任何一台机器被销毁、重启、替换都不会影响已经完成或正在进行的请求。这意味着实例之间不需要互相通信、不需要共享内存、不需要把数据写在本地磁盘。实际判断时我会从三个层面检查存储层服务有没有在本地写文件日志、图片、上传文件、临时缓存只要有本地磁盘写入就说明这台机器在某些时刻是有状态的。内存层有没有进程内的 Session、本地缓存、内存队列哪怕一个简单的 HashMap 缓存都会让不同实例返回不同结果。上下文层有没有依赖“本机 IP”或“本机主机名”生成的数据比如回调地址写死为本机地址或者定时任务只允许某台机器执行都会导致节点之间不通用。我见过最隐蔽的有状态设计是“无状态服务本地定时任务”。表面上看所有请求都是无状态处理的但每天早上 4 点集群里所有实例同时触发同一个定时任务对同一批数据做重复处理。这虽然不是严格意义上的状态丢失但会带来重复消费、并发写冲突触发故障时你也没法轻松地单独摘除某个实例——因为你不知道它身上的定时任务还有没有跑完。2.2 常见“有状态”隐藏点及改造方法第一类是用户会话。最经典的做法是把 Session 从本机内存挪到 Redis 或外部会话存储。但这里要注意一个坑如果 Redis 本身是单点那么 Session 外置只是把故障转移的问题从应用层挪到了缓存层并没有真正消灭它。我在早期项目里就吃过这个亏应用层做了无状态化Session 全部放进了单机 Redis后来 Redis 一挂所有用户集体掉线故障影响范围比原来还大。所以无状态化必须“配套到底”。应用层无状态了依赖的 Redis 就得分片加哨兵或者用集群模式确保这个状态存储本身也具备故障转移能力。这样才能做到应用节点随便换状态存储自己也有主备切换。第二类是本地缓存。很多团队为了性能在应用进程里加了一层 Caffeine 或 Guava Cache 做热点数据缓存。这个设计本身没有问题但要意识到它引入了“局部状态”不同实例的热点数据版本可能不一致如果某些请求被路由到缓存未命中的实例可能回源拿到新值下一跳又被路由到缓存命中的实例拿到旧值。我的处理建议是能接受秒级不一致的纯读热点保留本地缓存但一定要设置过期时间需要强一致的数据不要放在进程缓存直接用分布式缓存。另外分布式缓存也要做缓存穿透、缓存击穿的兜底别让故障转移后的雪崩效应把缓存层打垮。第三类是文件上传。图片、附件、导出文件一旦写入本地磁盘这台机器就变成了一个“隐形的有状态节点”。改造方法是把文件统一放进对象存储应用层只保存对象地址。这样任何一个节点挂掉文件不会丢请求也可以被其他节点正常处理。有一个我反复强调的经验无状态化改造时不要只看代码还要看运维脚本。比如有些团队的发布脚本会登录到具体某台机器上去查看日志、清理临时文件、执行命令。这样的运维操作也会让机器“无法被随意替换”。正确的做法是让日志进入统一的日志中心让临时文件走临时目录且不做持久化依赖让所有人都不再把某台机器当成“家具”来用。2.3 一定有状态怎么办把有状态组件独立出来有些业务天然有状态比如订单状态机、支付流水、用户余额不能简单地全部塞进无状态服务。这时候正确的做法不是强求无状态而是把“有状态”收敛到少数几个明确标记的组件里比如数据库、消息队列、分布式协调服务。我在架构评审时给团队定的原则是无状态服务越少依赖特殊环境越好有状态组件越少越好而且每一个有状态组件都必须单独设计高可用方案。换句话说无状态化不是要让系统彻底没有状态而是让状态的位置变得“显式、集中、可控”。举一个订单服务的例子。订单创建、更新需要保证只有一台实例在处理某个订单的写事务否则就会发生双写冲突。这时候我不会试图让订单服务变成一个纯无状态服务而是会让订单写操作通过分布式锁或数据库唯一约束来兜底同时把并发控制放到数据库这一层。订单服务的业务代码本身不持有任何状态但这种“无状态化”依赖的是底层存储的强一致语义。所以无状态化真正的目标是把状态存储收拢到具备高可用能力的底层组件里。应用层可以随时增减节点存储层负责状态和一致性故障转移则重点围绕存储层设计。理解了这一点后面讲水平扩展和故障转移时才会顺理成章。3. 水平扩展容量和冗余是同一件事3.1 水平扩展的前提负载均衡与流量调度完成无状态化改造之后水平扩展才真正变得有意义。所谓水平扩展就是通过增加节点数量来提升系统容量。它的核心配套组件是负载均衡。无论你用的是 Nginx、云负载均衡还是 Kubernetes Service负载均衡都承担着“把流量合理地分配到多个节点”的职责。我建议在 LB 层重点做几件事健康检查定期探测后端节点的存活状态主动把坏节点从转发列表里摘掉。连接超时给上游请求设置合理的超时时间和重试策略避免某个节点变慢时整个链路被它拖死。会话保持如果业务还有残留的会话需求可以配置一致的哈希策略但这只是临时方案长期还是要靠无状态化来解决。如果你的系统已经容器化这一步通常会由 Kubernetes 的 Service 和 Ingress 承担。这里要特别注意Kubernetes 的 Pod 副本数可以随意扩大但水平扩展是否有效取决于每个 Pod 是否真正无状态。如果 Pod 里挂了本地磁盘或者进程内 Session那扩展只是把问题复制了更多份。3.2 从“能扩”到“敢扩”优雅上下线与连接池治理“能扩”很容易控制台点一下按钮副本数从 3 变成 30或者 HPA 指标触发自动扩容。“敢扩”很难难在缩容和上线过程中不能让正在进行的请求被硬生生掐断。我在实际项目里遇到过一类非常典型的问题某个服务扩容后数据库连接池被打满。因为每个实例起来都会建立一批数据库连接50 个新实例就等于多出几百个连接数据库瞬间扛不住。这类问题的根源是只考虑了应用层的水平扩展没有考虑下游依赖数据库、缓存、消息队列的承载上限。解决思路有两个方向。第一个方向是给每个实例的连接池设置上限并采用容量预算机制。比如单实例最大连接数设定为 10那么扩展到 100 个实例时下游最多只会增加 1000 个连接DBA 可以根据这个预算提前做连接数规划。第二个方向是对扩展速度做限流不要让所有实例同时起来。在 Kubernetes 里可以配置滚动更新和分批扩容先起 5 个观察下游指标稳定后再继续。缩容同样重要。很多人以为缩容就是把多余的 Pod 杀掉但如果你直接 Kill 掉一个正在处理请求的 Pod客户端那边就会看到一个连接断开或请求失败。正确做法是让实例先摘除流量类似 ready 状态翻转等存量请求处理完再进行优雅退出。Kubernetes 里的 preStop 钩子和 terminationGracePeriodSeconds就是为这种场景准备的。3.3 数据层的水平扩展最难的一环应用层无状态化之后数据库和缓存会成为扩展的瓶颈。数据层的水平扩展不像应用层那样可以随意加节点因为数据是有状态的而且不同的数据往往有数据关联性。常见的演进路径是第一步读写分离。把读流量分流到只读副本减轻主库压力。但这只解决读的扩展不解决写的扩展。第二步分库分表。按业务维度把数据拆到多个库里比如按用户 ID 取模分片。分片之后应用层要根据分片键来路由请求这就增加了复杂度。第三步分布式数据库或 NewSQL。让数据库自己处理分片和故障转移应用层只需要像使用单库一样访问。我的建议是不要一开始就上分库分表除非业务体量和团队维护能力都明确到位。大多数系统的瓶颈是“一个库里的几个大表”先用读写分离和增加缓存扛住等线上数据增长到了分片益处明显大于运维成本时再考虑中间件分片。这里要特别强调一点数据层的水平扩展必须和无状态化配合。如果你的应用层在本地缓存了分库后的路由规则那么当分片元数据发生变化比如扩分片、迁移数据时旧节点上的缓存会导致路由错乱。所以分片路由规则应该放在配置中心应用层只做远程读取和本地短期缓存。另外水平扩展不仅为了容量也是为了冗余。即使当前流量不高我也建议至少保留 2 个应用实例和 2 个数据库节点。原因很现实没有冗余时故障转移根本没有对象。所以“高可用集群至少要三台”这种说法并不完全是迷信而是给自己留出“故障转移”的操作空间。4. 故障转移检测、决策、切换的完整闭环4.1 故障检测健康检查不能只看进程活着无状态化和水平扩展创造了“备用节点”故障转移则负责决定“什么时候换怎么换”。首先要解决的是故障检测。最基础的检测手段是健康检查。常见实现是在每个节点提供/healthz探针负载均衡器定时访问。只要探针返回非 200就把节点摘掉。这个方法很有效但有个经典坑探针只检查进程是否存活无法真正判断节点是否能正常处理业务。我遇到过进程还活着、端口还在监听但线程池已经耗尽、请求队列积压到几十万的情况。此时健康检查返回 200LB 继续往这个“半死”节点转发流量最终导致整体超时。正确的做法是让健康检查反映真实的业务能力。比如在探针里检查依赖的数据库连接池是否还有空闲连接检查核心线程池的队列积压是否超过阈值如果超了直接返回 503。并且探针的探测间隔和失败阈值要调好探测太快容易误判太慢又会在故障发生时拖长恢复时间。另外故障检测不只有“主动探测”一种。被动检测也很重要当负载均衡把一个请求转发到失败的节点返回连接被拒绝或超时LB 可以把该节点临时标记为不健康。在 Kubernetes 中就体现在 livenessProbe进程活着和 readinessProbe能不能接流量的区别上。线上环境最好两个探针都配因为有些故障是“活着但流量进来就挂”的类型只靠 liveness 根本发现不了。4.2 自动摘除与重新调度把流量从坏节点上挪走检测到故障后下一步是“隔离 摘除”。隔离的意思是让故障节点不再接收新请求摘除则意味着要从负载均衡的可用节点列表里把它移出去。在传统机房里这一步通常由 LVS/Nginx 的健康检查完成。故障节点被标记为 down后续请求就不往那边打了。但要注意已经建立的 TCP 长连接不会立刻断开。如果下游节点真的挂了客户端重试或重新建立连接才能转发到其他节点。所以应用层要有足够的重试机制不能把“自动摘除”当成“无感转移”。在 Kubernetes 场景下自动摘除通常由 controller 完成。节点故障导致 Pod 状态异常Deployment 会按照期望副本数重新调度新 Pod。这里的高可用设计要点是尽量让同一服务的多个 Pod 分布在不同节点上避免一台物理机或一个可用区挂掉导致所有副本同时消失。给 Pod 设置合理的 resource request 和 limit避免新调度出来的 Pod 因为资源不足被驱逐。让 readinessProbe 快速反应别让流量继续打到已经不能处理请求的 Pod 上。我见过一个很现实的问题Pod 已经假死readinessProbe 失败但 Kubernetes 需要 30 秒才把它摘掉。这 30 秒内LB 还在向它转发请求。解决办法是适当缩短探针周期、增大失败阈值的合理平衡。探针探测得太频繁又会增加服务端压力和误判风险。综合经验值大概是周期 5 秒连续失败 3 次摘除加上探针超时 1 秒最快 15 秒左右完成摘除比较稳妥。4.3 有状态组件的故障转移主从切换与脑裂应用层的故障转移相对好做真正复杂的是有状态组件比如数据库主从切换、Redis 哨兵选举、消息队列的消费者重平衡。拿 MySQL 主从切换来说典型的故障转移流程是监控程序发现主库不可用触发从库提升为新主库应用层把写流量切到新主库同时把原主库降为从库或隔离。这个流程里至少有四个坑第一个坑数据丢失。异步复制模式下主库宕机时可能还有一部分 binlog 没传到从库切换后这部分数据会丢。要避免这种情况可以启用半同步复制代价是写性能下降。第二个坑脑裂。主库网络分区但它自己还以为自己是主库继续对外提供写服务新的主库已经被选举出来了两边同时写数据就乱了。解决脑裂的常见手段是仲裁机制只有超过半数节点的认可才能成为新的主库。第三个坑切换脚本本身不健壮。我见过很多团队把主从切换脚本写成了“人工输入 IP 再执行”的脚本一旦监控系统自动调用没人确认 IP 是否已更换写流量切到了错误实例上。第四个坑切换后应用层连接池不感知。数据库连接池还持有旧主库连接应用不会自动建立到新主库的连接需要重启或者依赖支持自动重连的连接池中间件。所以故障转移不只是一个“脚本”而是一套围绕状态一致性、脑裂避免、连接重连做设计的系统能力。即使是云数据库自带的自动切换也要在应用层确保有正确的重试和幂等设计因为“切换瞬间的报错”几乎无法完全消灭能做到的是让报错可控、可重试、不脏写数据。5. 三件事的协同设计一个请求穿过系统的全过程5.1 一次典型故障演练的推演有个比较典型的场景能很好地把三件事串起来一套电商下单服务前端通过 API 网关访问后端订单服务跑了 10 个容器实例Session 和购物车数据都放在 Redis 集群里订单数据写入 MySQL 主库从库提供查询。假设在凌晨大促高峰分布在某一台宿主机上的 3 个订单实例同时失联。故障发生后门禁系统通过健康检查发现这 3 个实例不健康立刻将其从负载均衡摘除与此同时Kubernetes 节点上检测到实例不可用在另外一台可用的宿主机上重新调度了 3 个新 Pod。新 Pod 起来后没有本机会话也没有本地缓存需要预热直接可以接受流量负载均衡把后续请求平均分发到剩余的健康实例和新实例上。由于订单服务是无状态的被摘掉的 3 个实例上的“半成品请求”都没有存在本地。如果客户端配置了重试同一个请求会被其他实例重新处理。前提是下单接口被设计成幂等的这样重试才不会产生重复订单。再看依赖的 Redis 集群。如果故障扩大某个 Redis 主节点出现网络分区哨兵集群开始投票选举新主节点。选举期间部分读写请求会因为主节点切换而暂时失败一旦新主节点选出客户端从配置中心获得最新主节点地址连接重连后继续工作。这里同样要求应用层有重试否则切换期间的失败请求不会被恢复。整个过程中无状态化保证了容器可以随意重建水平扩展保证了摘掉 3 个实例后还有足够容量兜底故障转移保证了摘除、重调度、主从切换可以在无人干预的情况下完成。三者不是按顺序各做各的而是在一个故障时间轴上彼此衔接故障检测把“坏节点”从上一步交给下一步调度系统和状态存储各自完成自己的转移任务。5.2 协同设计的具体原则先无状态再扩展最后做转移根据上面的推演可以把协同设计归纳成几条明确原则。第一所有实例必须可以被无感替换。这是整个协作的前提。如果做不到这一点后面的扩展和转移都会携带一个“历史包袱”。判断方法就是 2.1 里说的那三条没有本地写文件、没有进程内会话、不绑定本机 IP。第二容量设计要为故障转移留余量。很多系统在设计时就卡着峰值容量跑10 个实例能承住 10 万 QPS那么故障时哪怕只挂了 2 台剩余 8 台也撑不住故障转移反而会引发一波雪崩。合理的做法是让正常水位保持在大约 70% 的容量水位线留出 30% 的冗余给故障转移和突发流量留空间。如果预算不允许也要确保故障转移后有快速扩容的路径而不是毫无计划地硬扛。第三故障转移必须覆盖“最底层的有状态组件”。无状态服务再好最终还是要依赖数据库和缓存。所以在做高可用设计时要明确主从切换、分片迁移的预案并且要演练不能只停留在文档上。一套没演练过的主从切换预案在真正故障时大概率不敢用因为没人知道切过去数据会不会丢。第四重试和幂等是故障转移的支点。故障转移期间必然有请求失败。没有重试用户感受到的就是超时没有幂等重试就会带来重复支付、重复下单等更严重的问题。所以设计请求接口时从一开始就要为“重试”设计每个请求带唯一的请求 ID服务端对相同 ID 的请求做幂等处理。5.3 发布与运维流程也必须纳入协同高可用不是静态架构而是动态系统。哪怕代码写得再完美发布动作本身也经常引发故障。这让我意识到协同设计必须把发布流程也纳入进来否则故障转移再完善也会被一次错误的发布打穿。蓝绿发布和滚动发布可以与故障转移配合得很好。蓝绿发布时新版本先作为“绿环境”部署完整的一组实例做完健康检查再切换流量。如果新版本有问题流量可以立刻切回蓝环境整个过程跟故障转移的逻辑完全一致无状态服务可供随时切流水平扩展让两套环境同时存在流量切换工具就是故障转移能力的一次应用。滚动发布时每批次只更新一部分实例并等待探针确认新实例健康后再更新下一批。如果某批次新实例无法通过健康检查发布会自动暂停并将故障实例自动摘除。这里无状态化的价值体现得更加明显旧实例可以直接被销毁新实例可以直接被创建互不依赖。我建议团队把“发布”也当作“故障转移演练”的一种形式。发布过程实际上就是在验证能不能平滑地把流量从旧版本绕过中间状态迁移到新版本。如果发布顺利说明三件事的协同机制是通的如果发布经常出问题那就要回头检查是不是有无状态化没做彻底、容量余量不够、故障转移失败了。6. 落地路上的经验与值得注意的坑6.1 我踩过的几个坑聊了这么多理论最后说几个实际踩过的坑希望对正在设计高可用系统的朋友有帮助。第一个坑是“Session 外置后没给 Redis 做高可用”。我们早期把 Session 从 Tomcat 本地搬到了 Redis感觉无状态化做完了。结果 Redis 单机一挂所有用户全部掉线故障影响面反而比之前更大。后来换成 Redis 集群模式并配置了自动故障转移才把这层补上。所以一定要记住无状态化只解决“应用实例可替换”底层依赖的状态组件依然需要自己的高可用方案。第二个坑是健康检查探针设计得太“肤浅”。我们曾只检查进程端口是否能够建立连接没有检查依赖的健康状态和线程池积压情况。结果在一次上游数据库抖动时应用进程全都活着但请求队列已经堆到极限健康检查却一直返回 200负载均衡继续全力转发整个服务彻底卡死。后来在探针里增加了对线程池队列长度的检查才避免了这种“活着但已经废了”的假健康状态。第三个坑是缩容时没有优雅下线。某次流量回落我们直接把多余实例杀掉正在处理中的请求全部被腰斩前端瞬时出现了一大波 500。后来在看 Kubernetes 退出流程时才发现必须给 preStop 钩子留出时间让实例先从负载均衡摘除再等待一定秒数最后才终止进程。这个顺序一定不能反过来。第四个坑是主从切换后没有处理连接池。数据库发生自动切换后应用层还握着旧主库的连接不放新请求也没有自动路由到新主库。最终是重启了所有应用实例才恢复。后来在应用层引入了数据库访问中间件配合探活机制才让应用在主库切换后自动感知新的拓扑。6.2 从单体到高可用架构的演进路线如果你现在的系统还是一个单体别急着把所有模块一次性拆成微服务。高可用的改造可以分层推进。第一步先给服务和数据库都做冗余。哪怕只是从单实例变成双实例先把无状态化做起来把 Session 外置把本地文件迁移到对象存储。第二步引入负载均衡和健康检查。让流量可以在多个实例间调度让坏节点可以被自动摘除。这一步不需要微服务框架传统单体加负载均衡也能获得巨大提升。第三步再为有状态组件设计故障转移。为数据库配置主从复制为缓存配置哨兵或集群模式并定期进行故障演练。只有演练过你才知道切换过程里还有多少隐藏的超时和连接问题。第四步在流量和容量的驱动下做水平扩展。当单机实例已经无法支撑请求量时利用前面的无状态化基础做容器的自动扩缩容或者拆出部分模块独立部署。这条路线我实践下来比较稳。每一步都能独立带来可用性提升又不需要一次性推倒重来。很多人喜欢一开始就讨论注册中心、配置中心、服务网格工具的复杂度反而成了高可用的负担。实际上回到最底层高可用翻来覆去就是那三件事无状态化让你可以随便换水平扩展让你换得起故障转移让你换得对。把它们的协同关系理顺比堆一堆看似高级的组件要重要得多。
知识建站
内容驱动
阅读友好版式
SEO 精细化
线索转化
这篇内容对您有启发吗?
预约一次免费方案沟通,我们会根据您的行业给出可落地的站点架构建议。
立即预约沟通