OOM实战:从Flink JDBC连接器到堆外内存泄漏排查 1. 凌晨四点的告警电话OOM到底在告诉你什么先说一个真实的场景。凌晨四点手机在床头柜上疯狂震动告警群里已经刷了十几条消息MRDS-63作业节点内存使用率超过90%紧接着就是一条红色的OOM异常。我迷迷糊糊爬起来打开电脑发现作业进程已经退出YARN日志最后几行写着java.lang.OutOfMemoryError: Direct buffer memory。当时第一反应是堆内存泄漏了结果第二天同一时间MRDS-65也挂了症状几乎一模一样。连着两个批次任务OOM这已经不是偶发事故而是个系统性bug了。坦白讲OOM——也就是java.lang.OutOfMemoryError——大概是Java技术栈里最常见的故障类型之一。JVM在抛出这个Error的时候意味着垃圾回收已经拿不出足够的内存来分配新对象整个进程进入一种救不回来的状态。和普通的Exception不一样OOM不是catch一下就能继续跑的它通常会直接终止线程如果发生在关键路径上整个进程就会退出容器被kill作业失败业务中断。很多刚接触JVM的开发者会把OOM当成一种异常但实际上它是个Error从类继承关系上和Exception就是两棵子树。这个区别很关键Exception是你可以在业务逻辑里处理和恢复的比如IllegalArgumentException、数组越界这些是代码逻辑层面的问题抛出来catch住就完事了而OutOfMemoryError是JVM自身资源耗尽的信号catch了也没用内存腾不出来就是腾不出来除非你能精确找到泄漏点并释放掉否则进程只有死路一条。用个生活化的类比JVM的内存就像一个仓库。你的应用往里放东西——对象、类定义、缓存、线程栈。正常情况下仓库管家GC会定时清理没人要的旧货。但如果你一直往仓库里堆新货而且某些陈年旧货一直占着位置没人挪走仓库总有一天会满。满了之后你再去进货就只能站在门口干瞪眼。这个站在门口干瞪眼的瞬间就是OOM。那篇文章要解决的就是三件事第一让你彻底搞懂OOM的几种不同类型和各自的病根第二给你一套在生产环境里快速定位OOM的实操方法第三用一个我经历过的真实案例——Flink JDBC连接器引发的堆外内存溢出——带你走完一整个排查链路。这些东西如果你不提前准备等故障来了再临时翻文档大概率是来不及的。2. 五种死法分清你的JVM到底是怎么溢出的OOM听起来是一个词但在实际生产环境里它至少有五种完全不同的表现形式。每一种的报错信息、排查工具、修复思路都不一样。我见过太多排查OOM翻车的人核心问题就是拿着堆内存的分析方法去查堆外溢出的问题或者反过来抓着一份堆转储文件想去解释Metaspace满了。所以第一步一定是对号入座。报错信息出事区域典型根因最常见场景Java heap space堆内存对象积压、大对象过多、泄漏大列表、缓存、批量查询结果集Metaspace元空间动态生成类过多CGLIB代理、反射、热部署Direct buffer memory堆外内存未释放的DirectByteBufferNetty、JDBC驱动、Flink网络栈Unable to create new native thread操作系统线程线程数超限无限创建线程、线程池配置错误StackOverflowError线程栈递归调用过深死递归、无界递归查询2.1 Java heap space最常见也是最容易被误判的这是大家最熟悉的OOM。堆内存是JVM管理的最主要区域所有new出来的对象都住在这里。Java heap space报错意味着年轻代和老年代都已经无法再分配新对象。堆内存的溢出通常分两种一种是内存泄漏对象被无意识持有GC永远回收不掉老年代使用率一路爬升最后触发Full GC也降不下来另一种是内存暴涨某个瞬间产生了一个超大对象或者集合直接撑爆了堆。我之前排查过一个graphlib分析异常引发的OOM案例当时业务侧用graphlib做图分析一个分析批次加载了全量关系数据到内存里图规模一大直接把-Xmx顶满了。这种属于内存暴涨和泄漏的排查方向完全不同。泄漏的典型特征是处理的数据量不大但内存持续增长暴涨的典型特征是数据量陡增内存瞬间打满。看监控曲线就能分辨不需要一上来就上重量级工具。排查堆内存OOM的标准路线是先通过监控看老年代和Full GC频率再拉一份堆转储文件heap dump用MAT分析谁占了大头从哪个GC Root引用过来。但这里有个心态问题不要在线上直接jmap dump。线上进程内存已经快爆了再fork一个dump线程很可能拖垮整个应用正确做法是先备份现场确认进程可以停再操作。2.2 Metaspace动态生成类惹的祸Metaspace在JDK 8之后替代了永久代存放的是类的元数据——也就是每个类的结构信息不是类的实例对象。它跟堆是独立的默认情况下没有上限JDK 8里是无限使用本地内存直到操作系统内存耗尽所以Metaspace OOM往往比堆OOM更隐蔽。什么场景会动态生成大量的类最常见的是CGLIB动态代理、反射框架、SPI加载还有开发环境的热部署。比如Spring框架里用CGLIB生成的代理类每个被代理的Bean都会在Metaspace里生成一个增强类。如果你在循环里不断创建代理对象或者热部署插件每次重新加载应用上下文Metaspace里的类就会越积越多。这些类虽然也能被GC回收但回收条件是类加载器不可达而很多框架会强持有类加载器导致类永远没法被卸载。排查Metaspace OOM有一个比较犀利的命令jmap -clstats pid可以列出每个类加载器加载的类数量。看到某个ClassLoader的类数量异常多基本就能定位到是哪个框架在疯狂生成类。如果嫌jmap太重也可以用-XX:MetaspaceSize调小一点做预警让它在还没满的时候就报警。2.3 Direct buffer memory堆外内存的黑洞Direct buffer memory这个问题在Netty和JDBC驱动的场景里尤其常见也是我在Flink作业里踩过的大坑。DirectByteBuffer走了-XX:MaxDirectMemorySize这个独立的堆外内存池默认大小等于堆大小。它的分配和释放依赖Cleaner机制而Cleaner的触发又依赖GC如果你的代码持有ByteBuffer引用时间太长或者驱动的内部实现有缺陷DirectByteBuffer就会只增不减直到触顶。这里有个非常反直觉的地方堆内存可能很健康Full GC也正常但堆外内存已经爆了。因为堆外内存不归堆管很多监控面板默认只展示堆的使用率你看着堆内存才用了50%完全没意识到进程已经被堆外内存拖垮了。所以排查这类问题第一件事就是把视野从堆内扩展到整个进程的内存占用。2.4 Unable to create new native thread线程风暴这个报错出现在操作系统层面。JVM每创建一个线程就需要向操作系统申请一块线程栈内存同时也要消耗进程的文件描述符。当线程数量达到操作系统的上限ulimit -u或者虚拟内存耗尽时就会抛Unable to create new native thread。排查命令很直接jstack pid | wc -l统计线程数量再看看jstack输出里什么线程名的密度最高。我遇到过一种典型配置错误数据库连接池的maximumPoolSize设成500应用层的线程池又没限制再加上各种定时任务线程一台机器上能有几千个线程直接把系统资源耗尽。控制线程数量是这类问题的唯一解法。2.5 StackOverflowError递归的锅不算OOM但常被混淆严格来说StackOverflowError不是OOM家族的一员但它经常和OOM一起出现在告警里很多人也会把它归入内存异常。它的本质是线程栈深度溢出典型触发场景是死递归或者无界的递归查询比如组织架构树没有终止条件一层层调下去每条调用帧都要占栈空间最后栈就爆了。我个人看到栈溢出的第一反应不是调参数而是先审查代码里的递归逻辑——是不是漏了终止条件是不是树的层级没有控制。-Xss调大只能治标如果递归本身有bug调得再大也只是延迟爆炸的时间。3. 生产环境OOM排查的标准动作先留证据再谈修复我经历过不少OOM事故总结下来最痛的教训是很多人在OOM发生后才想起来要配置dump参数但JVM已经退出了现场已经被销毁了。这才是真正让人抓狂的。类加载器销毁了堆里的对象被回收了线程栈也没了你只能看着YARN日志里那几行干巴巴的Error发呆。所以排查OOM的第一原则是提前配置让JVM在崩溃前自己把案发现场留下来。3.1 让JVM自己留下案发现场HeapDump和GC日志JVM其实提供了一组很成熟的崩溃快照参数问题是很多人没有提前设置。正确的做法是在启动参数里加上这几项-XX:HeapDumpOnOutOfMemoryError -XX:HeapDumpPath/data/logs/heapdump/%p.hprof -Xlog:gc*:file/data/logs/gc.log:time,uptime,level -XX:ExitOnOutOfMemoryErrorHeapDumpOnOutOfMemoryError的意思是当OOM发生时自动生成一份堆转储文件。千万别小看这个参数它能在故障发生的第一时间把堆内对象的结构快照保存下来在事后分析中能直接还原出内存被谁占用了。HeapDumpPath里我习惯加上%p这个占位符因为一台机器可能同时跑多个实例它会自动匹配进程ID避免文件互相覆盖。GC日志的价值同样巨大。它能告诉你OOM发生前有多少次Minor GC和Full GC、每次GC后堆剩余空间是多少、GC停顿时间是多少。通过GC日志你可以看到老年代是不是某个时间点之后持续增长不再下降这就是泄漏的心电图曲线。还有一个容易被忽视的点ExitOnOutOfMemoryError这个参数它的作用是让JVM在OOM发生时立即退出进程。这个看起来有点破罐破摔但在容器环境里非常有用——容器平台会自动检测进程退出并拉起重试比起一个卡在半瘫痪状态的僵尸进程干净利落地重启反而更容易恢复业务。如果进程一直挂着不动监控还检测不到异常那才是最尴尬的。3.2 从监控曲线定位异常时间点拿到dump和GC日志之后下一步是回到监控面板上找时间线。我们需要回答一个问题内存是从什么时候开始出现异常的这个异常时间点和业务操作之间的对应关系往往就是泄漏根因的钥匙。举例来说如果Full GC频率从早上10点开始突然从每小时1次变成每10分钟1次你就要去问10点上线了什么功能发布了什么版本有没有新增大数据量的导入任务有一次我在一个SQL2000服务进程被异常终止的兼容性排查中就是靠对时间点才发现是新上线的报表模块定时任务在凌晨批量跑复杂查询导致数据库服务进程被操作系统异常终止——业务行为和内存异常在时间上高度对齐问题基本就锁定一半了。3.3 堆外OOM怎么查pmap与NMT很多人堆内排查很熟练一遇到堆外就抓瞎因为常规的heap dump根本不覆盖堆外内存。堆外OOM的排查有两条路。一条是Linux命令路线。用pmap -x pid | sort -k3 -n -r | head -20可以按内存占用排序看到哪个地址段占用的RSS最大再比对代码里哪些环节使用了mmap或DirectByteBuffer基本能把方向找到。但这种方式比较粗糙只能看到进程级别的内存分布。另一条是NMTNative Memory Tracking路线。JVM其实提供了一套原生的内存追踪能力可以在启动时加上-XX:NativeMemoryTrackingsummary开启之后用jcmd pid VM.native_memory summary查看。注意这里有个启动顺序问题一旦JVM跑起来想再开NMT是不行的必须重启进程才能生效。所以这套能力应该提前在预发环境就打开等线上出问题再想开就别想了。我当时用NMT看到Direct Buffer这一栏的数字持续增长但是Class、Thread、Internal这些栏目都相对稳定这就把排查方向从笼统的堆外内存收窄到了ByteBuffer相关组件上后面再往下挖就顺利多了。3.4 容器环境下的OOM会被怎么包装现在的服务大部分跑在容器里这给OOM排查引入了一个新的复杂性进程OOM和容器OOM不是一回事。很多场景下我们的Java进程并没有抛出OutOfMemoryError但容器感知到整个Pod的内存使用率超过了Cgroup限制直接发出OOM Kill把容器杀了。此时你去日志里找OutOfMemoryError是找不到的因为JVM根本没来得及抛异常它是被操作系统在进程外部强杀的。这个问题的根源在于-Xmx和容器内存配额之间的差值。举一个简单的计算场景假设容器配额是4GBJVM你只设置了-Xmx2g表面看堆内存只占2GB好像很安全。但别忘了JVM还有Metaspace、线程栈、DirectByteBuffer、GC的本地结构这些全部加起来可能已经超过了4GB的上限容器在堆内存还没满的情况下就把进程杀了。JDK 8u191之后引入了-XX:UseContainerSupport它能识别到Cgroup的内存限制并自动调整默认的堆大小。但我要提醒的是不要指望它等于免死金牌。UseContainerSupport只是让JVM的默认堆上限跟着容器走如果你主动配置了-Xmx容器感知的堆大小和操作系统实际可用内存上限之间依然存在差池。正确的做法是给JVM预留足够的堆外空间。我一般习惯在容器配额里预留25%~30%给堆外比如容器4GB-Xmx只设到2.5GB或3GB剩下的是给线程栈、DirectBuffer和Metaspace的保命空间。4. MRDS任务连续两次OOM的完整复盘从JDBC连接器到堆外内存前面铺垫了这么多理论和通用方法现在回到文章开头那个凌晨告警。MRDS-63和MRDS-65连续两天在同一时间点OOM这个案例我认为很有代表性因为它的根因不在堆内而在很多人不会去怀疑的JDBC驱动层而且它的暴露过程很曲折——头一天晚上我按堆内存泄漏去排查完全走错了方向。4.1 现象对比两个批次都是运行到第N小时挂掉MRDS是我这边一个数据处理平台的任务调度标识。当时跑的是一组Flink流式作业通过JDBC连接器把处理结果写入MySQL。作业运行状态有个很有规律的现象每次运行到大约5~6个小时节点内存就会一路飙升然后被打死。一开始我怀疑是数据量高峰带来的正常波动但连续两个批次任务都在差不多的运行时长挂掉这种规律性本身就说明问题出在一个持续累积、线性增长的因素上。YARN日志最后几行显示java.lang.OutOfMemoryError: Direct buffer memory同时容器日志里还有一句更狠的Container killed by YARN for exceeding memory limits. 5.4 GB of 5 GB physical memory used这两句话放在一起就很有意思JVM明确报了Direct buffer memory而YARN侧显示物理内存已经超了配额的400MB。换句话说是堆外内存把进程吃垮了。可我当时第一反应还是堆内的问题于是顺手把heap dump先拉出来结果让人意外。4.2 第一版判断先怀疑堆内泄漏结果被heap dump打脸因为MRDS-63崩溃后自动生成了hprof文件我赶紧用MAT打开心想老年代里肯定藏着一个巨大的List或者Map。结果翻来覆去分析堆内对象总量其实不大老年代占用率稳定在一个不算危险的水平Dominator Tree里也没有一个异常霸道的对象把大部分堆都吃掉。MAT的Leak Suspects报告甚至没有给出明显的泄漏嫌疑项只是说了一些无关痛痒的缓存对象。这个结果让我冷静了一下。堆内如果没有蓄积问题那报错里的Direct buffer memory就不是烟雾弹它就是主战场。于是我调出NMT数据——好在MRDS平台的标准启动参数里已经打开了NativeMemoryTrackingsummary盯了接近3个小时直接得出一个扎心结论Direct Buffer Memory占用稳定增长涨幅大约每小时60~80MB而且完全没有回落趋势。这不是临时分配的缓冲这是一个有去无回的泄漏链路。4.3 真正根因Flink JDBC连接器的网络缓冲不释放顺着DirectByteBuffer这条线索继续查。Flink作业里会重度使用DirectBuffer的地方无非就是网络通信层Netty和外部连接器。Netty的运维状态比较正常连接数没有异常膨胀。那最大嫌疑人就落到了JDBC连接器上。当时Flink作业的JDBC连接器是这样配置的使用一个固定大小的连接池连接MySQL每条数据处理完就通过连接器的executeBatch批量写入。作业开了24个小时这边写入量还挺大。排查途中我发现了两个可疑点交织在一起第一我们使用的MySQL Connector/J版本是5.1.46这个版本的驱动在特定配置下存在DirectByteBuffer无法及时释放的已知问题——具体表现为驱动内部的Buffer对象和网络Socket关联后Cleaner释放动作异常导致堆外缓冲区只分配不回收第二Flink JDBC连接器默认是在同一个连接上反复执行批量写入如果驱动层的缓冲区不释放就会在这条长连接上持续累积。当时我们把useServerPrepStmts、cachePrepStmts等参数配置翻了一遍还在ResultSet和PreparedStatement上补齐了finally里的关闭逻辑但运行几个小时后内存曲线照涨不误。最后一位同事查了驱动仓库的issue列表发现5.1.x线在5.1.49之后才修复了部分堆外缓冲泄漏问题升级驱动到8.0.x后同类问题基本绝迹。我们这才确定根因不是业务代码忘了关连接而是驱动自身在网络层持有DirectByteBuffer无法在下一次GC中被回收兜底。基于这个问题再回看MRDS-65就完全说得通了新任务跑了同样的时间触发同样的驱动路径出现同样的驱动泄漏走向同一个结局。第二天在MRDS-65上把驱动升级掉同一份代码跑完48小时内存曲线始终平稳——问题闭环。4.4 修复后的验证和参数改动修复动作总结下来其实就三类如果你们也遇到类似的堆外OOM可以照着抄。第一驱动升级。这是本次问题闭环的关键把MySQL Connector/J从5.1.x升到8.0.x直接绕开旧驱动对DirectByteBuffer的低效管理。第二连接池和超时参数调整。maximumPoolSize从默认的较大值收敛到下游能承受的合理值同时给连接加上maxLifetime和idleTimeout确保连接层面的对象能被定期清理而不是无限期驻留。第三启动参数增加堆外预警。给MRDS平台的JVM启动参数里加上了-XX:MaxDirectBufferSize观测项这个参数在部分JDK版本里叫做-XX:MaxDirectMemorySize配合监控的堆外内存曲线做阈值告警把已经OOM了再报警改成堆外使用率超过70%就提前介入。这里还要明确一个操作边界修复后的验证不是跑通一次就算数。线上故障消失的前提是根因被真正消除。我那天跑了一个48小时的稳定性回归每天对比的是两条曲线DirectBuffer占用曲线、Full GC频率曲线。两条都平了我才敢把这条经验写进平台的故障预案里。在验证过程中发现的如果还有打满趋势的参数比如某个Sink的并发批量大小也一并做了调优这个细节后面还会聊到。4.5 冷知识为什么升级驱动后不再出现不能敷衍了事我见过不少团队解决完一次OOM就当任务完成了下一次出问题又是手忙脚乱。驱动升级当然重要但我们要理解这次修复的本质只是在消除缓存只增不减这个局部bug整个分布式任务的堆外内存管理问题并没有被完全根治。只要写入压力更大、批量粒度更粗新的瓶颈一定会以其他形式冒出来。所以我建议每条Flink作业都要梳理一份内存健康检查清单——说白了就是一组自定义监控指标它不复杂但很有用。检查清单里必须有三样东西堆内老年代使用率、堆外DirectBuffer曲线、任务运行时长与数据量的比值。这三者组合可以在绝大多数泄漏苗头出现时就暴露信号根本不用等OOM炸弹爆炸。5. 如何让OOM在下次出现时不再手忙脚乱预防体系复盘完具体案例接着聊预防。说实话纯靠救火解决不了系统性的内存健康问题我这些年和内存异常打交道最大的感受是一个团队对OOM的处理能力取决于它在故障发生之前做了多少准备。五分钟能定位根因的团队和折腾一整天才勉强把服务拉起来的团队差的就是一套成体系的预防机制。5.1 JVM参数标准化让每个实例都自带自动留证能力很多团队每个服务的JVM参数都是考古现场——一个服务一个样谁也说不清当初为什么这么配。我建议团队内部整理一份JVM参数基线至少包含以下内容-Xms4g -Xmx4g -XX:UseG1GC -XX:MaxGCPauseMillis200 -XX:HeapDumpOnOutOfMemoryError -XX:HeapDumpPath/var/log/jvm/heapdump-%p.hprof -Xlog:gc*:file/var/log/jvm/gc-%p.log:time,uptime,level -XX:UseContainerSupport这里有一个细节值得展开-Xms和-Xmx我会建议设成一样大。理由很简单避免堆的弹性伸缩带来的性能抖动。-Xms设为堆的初始大小JVM启动后就一次性向操作系统申请这么大一块内存如果把-Xms设得很小堆会随着对象增长不断扩容扩容的过程本身就需要GC来搬移对象白白增加延迟。而堆外预留我一般按前面说的容器配额扣掉Xmx之后至少多留出25%~30%的余量。这个余量覆盖Metaspace、线程栈、DirectBuffer和JVM内部结构的开销。你可能会问容器里-Xmx比容器内存配额到底要留多少才够这个不能一概而论取决于堆外内存的使用强度。网络IO密集型的服务比如Flink、Netty网关堆外需求大余量要更多普通Spring Boot的Web服务余量可以少一点。但我建议至少做一次压力测试通过压测观察到堆外内存的峰值再用峰值反推预留值这样比拍脑袋靠谱。5.2 连接池配置的黄金法则这次Flink的JDBC案例让我对连接池有了更深的敬畏。连接池本身是个好东西它复用了连接对象避免了频繁建连的开销。但连接池的生命周期管理一旦和新连接、长连接、空闲连接纠缠不清就会成为内存泄漏的集中区。尤其是配置了很大的maxPoolSize而下游根本用不完那些空闲连接不仅占了数据库的资源还可能在驱动层偷偷积攒堆外缓冲。连接池配置有三个基本原则。第一连接池上限一定要贴合下游数据库的承受能力。maximumPoolSize不是设得越大越好MySQL的max_connections默认只有151你如果给每个微服务都分配200个连接那数据库早就被连接请求打趴了。第二一定要配置连接的空闲回收和最大生存时间。HikariCP里的maxLifetime建议小于数据库的wait_timeoutidleTimeout控制空闲连接多久后被回收。这两个值如果缺失连接池里的连接对象可能长期驻留间接导致关联的驱动缓冲区不释放。第三连接用完之后必须归还。这个说起来简单但代码里new出的Connection如果不在finally或者try-with-resources里关闭连接池的租约就会一直被占用直到连接池耗尽下游出现Connection is not available之类的报错。5.3 从处理故障到预演故障最后这点我觉得是团队能力提升的分水岭。如果你们团队从没演习过OOM场景我强烈建议做一次故障注入写一小段代码在测试环境里故意造出堆内存OOM和堆外内存OOM然后走一遍完整的告警、日志收集、dump分析、根因定位流程。比如堆内存OOM可以用一个无限循环往List里扔大数组。堆外OOM可以用套接字循环分配DirectByteBuffer不释放。为什么值得做因为OOM排查里最耗时间的往往不是分析本身而是现场采集。你必须验证告警配置能不能在OOM前触发HeapDump文件有没有落到指定的路径GC日志有没有被日志采集系统卷走监控图表能不能画出堆外内存曲线这些环节任何一个有缺口真实故障来临时都是灾难。演练一次把中间断掉的环节补全这比读十篇文章都有用。我的习惯是在每次大版本上线前做一次内存健康巡检用一套统一的脚本把GC日志、堆外占用、连接池状态全部拉出来看一眼再异常检测算法扫一遍指标波动——如果某个指标曲线出现了斜率异常不管当前有没有告警都要先定位原因再发布。宁可晚一个小时上线也不要带着隐患上线这是内存类问题最朴素的运营逻辑。6. 最后再分享几个让我印象深刻的排查思路这篇文章从OOM的本质、五种类型、排查方法论一路讲到一个Flink JDBC连接的完整复盘主干已经很完整了。最后我再补充几个散落在操作过程中的细节如果你真的搞不定或者想少走弯路这些点会很有用。第一线上进程开始频繁Full GC但还没OOM的时候先别急着重启。你可以用jmap -histo:live pid | head -30看一下存活对象排名通常排名前几的类就能告诉你内存压力来自哪里。这个命令比全量dump轻量得多而且不会直接写入大文件在抢救现场时先摸个底非常合适。第二排查OOM不能只盯JVM。容器层面的OOM Kill、操作系统层面的Out of memory: Kill process审计日志、数据库连接池耗尽的Connection is not available这些表面上都是内存相关异常但它们的处理路径完全不同。我见过有人拿着SQL2000服务进程被异常终止的日志去查JVM参数查了半天发现跟JVM一点关系没有是操作系统层触发了OOM Killer把sqlservr进程杀了。这种跨层面的误判最怕的是钻牛角尖最需要的是把视角从JVM进程扩展到整个主机战场。第三关于System.gc()。有些团队会在怀疑堆外泄漏时靠System.gc()触发Full GC来手动清理DirectByteBuffer的Cleaner队列这招在极端情况下确实能让堆外内存降下来但它是饮鸩止渴。Full GC的频率和停顿你自己无法控制它会拖垮整个应用的响应时间而且治标不治本——只要驱动不升级下一次堆外还是照涨。把它当作临时给线上续命的手段可以但要清醒地知道这不是解决方案。第四排查OOM时日志不是看有没有OutOfMemoryError而是看OOM前最后几条业务日志是什么。有一次我排查某微服务OOM应用崩溃前最后一条日志是开始执行自定义异常类的序列化再往前翻才看到是一个大对象在循环里被不断追加到序列化缓存。那一次我深刻意识到OOM前最后几百毫秒的应用日志往往藏着真正触发溢出的最后一个动作。这个线索比事后分析dump文件还要直接。如果这篇文章能让你形成一种条件反射我希望是这句话看到OOM先分辨区域再找时间点最后再看引用关系。区域错了后面全白费时间点对了一半根因已经浮出水面。自己在实际故障里踩过的坑远比任何现成结论都来得生动。真到下次遇到OOM的时候你也会像拼图一样有一张清晰的排查地图在手。