锦
锦思新知编辑组
发布时间:2026/11/18 12:46:43
来源:锦思新知
阅读:知识向官网定制

做存储运维的人应该都有过这种体验明明端到端的光路一切正常存储控制器的日志里却没有真正的硬错误可业务系统就是卡得让人抓狂备份任务能拖到天荒地老数据库的AWR报告里全是“log file sync”和“cell single block physical read”等待。我在数据中心干了这么多年凡是遇到这种“说不清道不明的卡顿”十次里有八次问题根本不在这根光纤上而是出在Fibre Channel Fabric内部的拥塞。这篇内容就围绕FC网络的拥塞排查展开从BB_Credit机制讲起再手把手拆一遍排查流程最后结合真实场景复盘希望能帮到每天跟SAN基础架构打交道的同行。这篇东西适合谁看如果你是存储管理员、SAN网络运维、或者做数据中心基础架构的人应该都有用。Fabric拥塞排查有一道坎它不像以太网那样有大量丢包让你抓也不像服务器日志那样直接给错误码它更像是一种“慢性病”得靠计数器、基线和逻辑推理去定位。下面这些内容就是我在多次故障处理中沉淀下来的实操思路。1. FC网络的拥塞到底堵在哪个环节很多人一听到拥塞第一反应是“带宽是不是打满了”。在以太网环境里这么判断没问题但在Fibre Channel里这个直觉往往会把你带沟里。FC网络的拥塞分为两种表现完全不同排查手段也完全不同。先把这个问题讲透后面的操作才有方向。1.1 先理解BB_Credit一张看不见的“通行证”FC链路是端到端的信用流控协议核心机制叫Buffer-to-Buffer Credit简称BB_Credit。你可以把它理解成一张“通行证”发送端每发一帧就要消耗一个credit接收端处理完这帧把credit归还给发送端发送端才能继续发下一帧。接收端的credit数量由硬件缓冲区大小决定链路初始化时通过登录协商确定普通主机端口一般是8到16个多数交换机上的ISL或特定端口可以配置更多。这个机制和高速公路上的收费站非常像。收费站窗口数量就是credit数每放一辆车过去就少一个“放行名额”车通过后名额释放。如果收费站前车流速度慢后方车辆就会积压就算高速公路上一条车都没有你也会被堵在站前。FC的credit耗尽导致的正是这种“空荡荡却走不动”的怪象。物理链路是健康的线上利用率也不高但帧就是在某个缓冲区里排着队进不去。关键点在于credit耗尽不等于端口利用率高也不等于线路有故障。很多时候只是某一对收发节点节奏失衡——接收端处理慢了credit占用时间变长上游就得等着。这个状态在以太网工具链里是看不见的因为它不是靠丢包来体现而是靠“发送等待”和“credit不可用”来体现。1.2 两种拥塞表现完全不同吞吐拥塞比较好理解某个端口或者某条ISL上的流量真的接近100%了发送队列开始堆积帧在交换机内部排队。信用拥塞则隐蔽得多物理端口利用率不一定高但credit已经在某个方向被耗尽发送端处于“无证可发”的等待状态。我列一个对比表方便你快速判断自己遇到的是哪种对比维度吞吐拥塞信用拥塞触发原因流量超过链路带宽接收端缓冲区被占满credit无法归还端口利用率接近100%可能只有30%-50%关键计数器TX/RX byte计数、队列深度Credit Lost、当前可用credit为0对业务影响延迟线性上升吞吐下降延迟脉冲式跳变偶发I/O超时常见位置ISL、存储端口任何端口尤其是慢设备接入端口实际运维里很多时候是这两种拥塞叠加的。比如ISL带宽已经接近饱和同时某个下游设备的credit归还又慢于是整条路径上“出口堵、入口也堵”。这时候光看带宽利用率就会漏掉一半原因必须把信用状态一起纳入视野。1.3 为什么FC拥塞在传统以太网工具里“看不见”以太网是尽力而为的转发模型拥塞的最终表现形式是丢包所以你看tcpdump、看丢包率、看重传就能感知到网络在变差。FC走了完全不同的路线它是无丢包流控帧不会因为拥塞被丢弃而是被压在交换机或HBA的缓冲队列里。在FC网络里丢包极少一旦出现大量CRC错误或丢帧反而说明是物理链路问题而不是拥塞问题。所以排查FC拥塞要把以太网那套“看丢包、看重传”的思路先放一边改成盯三类东西物理层错误计数、链路层信用状态、端到端I/O延迟。另外CPU、内存、存储控制器缓存这类系统级指标在FC拥塞故障里也经常会一起恶化但它们大多是“果”而不是“因”别被带偏。2. 排查前先立起三根柱子物理层、链路层、端到端Fabric拥塞排查最忌讳拿到问题就乱show命令。先把三个层面的指标都拿到手再判断“卡在哪一层”。我的习惯是三个层面同时采集相当于给故障拍一张三维CT各个方向都能看到病灶。2.1 物理层先排除线路和光模块物理层的问题虽然不属于“拥塞”范畴但它能制造出和拥塞几乎一样的症状延迟升高、I/O超时、性能不稳定。物理层主要看三个指标光功率、误码率、信号完整性。在交换机上这类问题会直接体现在端口错误计数器里。常见的有CRC错误帧校验失败、Encoding错误编码异常、Signal Loss信号丢失和Link Reset链路重置。如果CRC或Encoding错误持续增长基本可以断定是光纤或光模块问题常见原因无非是光纤弯折半径过小、连接器端面污染、光模块老化、线缆受到强干扰。一个很容易被忽视的点光纤端面污染是间歇性错误的头号来源特别是那种动过的线缆——插拔过一次下次就开始出问题。你在交换机上看到的错误计数不会一直涨而是每隔一会儿跳几个这种“断断续续的涨”特别容易让误判成拥塞。2.2 链路层识别credit耗尽和链路不稳定链路层是FC拥塞的主战场。重点看两个信号credit是否耗尽、链路是否反复重置。credit状态的查看方式博科Brocade交换机上很直接portshow会显示出每个方向的可用creditporterrshow则能看到历史累计的credit loss次数。credit loss的意思是发送端曾经尝试发送帧但没有available credit只能放弃发送。这个计数一旦持续增长说明链路上确实出现过“等信用”的阻塞。链路重置则更严重。FC协议规定了一个错误检测超时值E_D_TOV大多数设备默认是2秒。如果在这个超时时间内链路层都无法完成一次正常的事务处理交换机会判定链路异常强制链路重新初始化。链路重置一次的代价是线上所有正在传输的帧全部作废所有依赖这条链路的I/O全部超时重试。这直接解释了一个经典现象业务没有明显大量流量但存储延迟突然“脉冲式”飙升到几百毫秒甚至秒级——很可能就是链路在反复重置。2.3 端到端从主机SCSI队列到存储端口光看交换机还不够拥塞的最终体现一定在主机侧或存储控制器侧。三条链路缺一不可主机HBA到交换机、交换机之间、交换机到存储端口。任何一个环节节奏不匹配都会引发连串等待。主机侧看什么看SCSI命令的排队深度和等待时间。在Linux上可以用iostat看await和%util在VMware ESXi上可以用esxcli storage core device stats get看平均命令延迟在AIX上用iostat或者topas都能看到等I/O的指标。如果主机侧的延迟普遍升高但某个存储端口或ISL带宽又没有打满就要重点怀疑信用流控层面的问题。存储侧看什么看控制器端口的吞吐、队列深度、缓存命中率。注意还要看有没有慢日志或超时事件。存储控制器如果出现“端口队列堆积”它不会像以太网交换机那样丢包而是会通过降低允许的credit来反压上游。这个“反压”会一级一级上传最后传到主机HBA上表现为主机侧延迟变高。三层指标对齐之后故障画像就开始清晰了。接下来才是真正进入排查流程的环节如何从一堆现象中锁定那个真正的堵点。3. 从报警到根因一套收敛的操作路径Fabric拥塞排查最忌讳“乱枪打鸟”。我总结了一套逐步收敛的路径核心逻辑是先圈范围再找端口后验根因。这套方法不依赖顶级工具只要有一台能登录的FC交换机配合主机侧的常规性能工具就能完成。3.1 第一步圈定拥塞边界收到性能告警后先别急着上交换机而是先回答三个问题谁在抱怨是一台虚拟机慢还是整个集群慢还是所有跨交换机的业务都慢落在哪个存储端口是否所有慢的I/O都指向同一个存储控制器端口什么时候开始的是不是每次备份、批量任务、数据库巡检的时间点附近这三个问题的答案基本能帮你划定范围。如果只有一台主机慢重点看这个主机对应的HBA端口、线缆、小机内卡槽如果整个阵列的所有主机都慢重点看存储端口和对应ISL如果问题出现在固定时间点优先考虑定时任务导致的带宽争抢。有一个经验跨交换机访问变慢、同交换机内访问正常时问题百分之七八十出在ISL段。ISL就像是两个城市之间的唯一一座桥桥上堵了所有跨城交通都受影响而城内交通照常。这是最经典的Fabric拥塞场景。3.2 第二步读取关键计数器确认异常模式范围锁定后登录FC交换机按顺序执行这几组命令以Brocade CLI为例switchshow porterrshow --statistics portshow 1/2/3 perfshow -t 5switchshow看端口状态和类型确认有没有端口处于down或segmented状态。porterrshow看错误计数重点看CRC、ENC、Link Reset和Credit Lost。portshow看每个端口的实时信用状态确认TX/RX方向当前可用credit是多少。perfshow的输出是按端口实时刷新吞吐的可以快速扫一遍哪些端口流量异常。这里有个经验拿到计数器后别只看绝对数值要和基线对比。比如一个ISL端口长期利用率40%今天突然到90%这是变化另一个端口从日常就90%性能一直正常不一定就是它的问题。所以事前养成的“定期存基线”习惯在故障时能省一半时间。我习惯每周导一次porterrshow和端口利用率数据存成文件定期归档半年以后就能形成一整条趋势线。3.3 第三步定位热点路径与分析流量走向找出可疑端口后下一步是搞清楚流量从哪来、到哪去。FC Fabric在没有人为干扰的情况下FSPF协议会基于路径代价自动计算最短路径。你要做的是确认这些数据是否都汇聚到了某一条路径上。命令方面fabricshow可以快速列出整个Fabric的交换机列表和域IDnsshow可以查看已登录的所有设备routeshow用来查看特定目的交换机域ID的当前路径。如果发现同一台存储端口注册了非常多主机而这些主机又都归属于同一个边缘交换机那么流量汇聚效应就已经形成。这个时候要把“目标端口”作为分析中心所有发往该存储端口的流量都要经过哪条链表这条链表上有没有第二个汇聚点一个实用的做法是画一张简单的路径图纸笔手画就行左边是主机HBA右边是存储端口中间是交换机和ISL逐步标出每段的利用率、错误计数和信用状态。这张图一旦画出来哪个环节是瓶颈基本一眼可见。3.4 第四步隔离与复核根因最后一步是验证。找到疑似原因后不要急着“动刀”——先做最小化变更观察现象是否好转再反推根因。举个例子我怀疑某个存储端口因为处理不过来导致信用拥塞我会挑一个低峰时段临时把一部分zone流量切换到备用路径上而不是直接拔线。然后观察被怀疑端口上的credit状态是否恢复、链路重置计数是否停增、主机侧延迟是否回落。如果三者都好转基本就能确定根因。做过改动的端口、链路记得保留临时配置以便回退。对于ISL带宽不足的怀疑更简单的验证方法是在同一时段暂停与业务无关的大流量任务比如备份、批量报表看延迟是否立刻改善。如果改善说明确实存在共享带宽争抢的问题。4. 高发拥塞场景和对应处置手法掌握了排查流程还得认识几种最常遇到的Fabric拥塞场景。这些场景里的设备和命令我都在实际环境里验证过以下策略主要基于Brocade平台在思科MDS上思路一致命令换成show fc interface、show flogi database即可。4.1 ISL带宽不足或路径收敛导致的“全村挤独木桥”这是最常见也最好理解的场景Fabric设计时规划了4条ISL但实际流量因为路径计算的原因总是集中在其中一条上或者两台交换机之间本来就只有一条物理链路。跨交换机的所有流量都要走这条独木桥一旦备份或批量任务开始桥马上就堵死。处置思路分成两步。第一步看FSPF路径用fabricshow确认Fabric拓扑结合routeshow看当前路径的代价。如果发现多条路径代价配置不当导致流量都走一条物理链路可以手动调大某条ISL的FSPF cost把流量引导到其他链路上。第二步看带宽本身是否够如果多条链路流量已经平均分配但带宽依然吃紧那就必须增加ISL或者启用Trunking。需要注意Trunking不等于自动负载均衡它只是在多条链路上做帧级分发。如果瓶颈是单条流的带宽上限Trunking并不能解决——一条从主机HBA到存储端口的超大流帧还是会在某条链路上顺序发送。所以加链路和调路径要同时考虑“流数量”和“流大小”两个维度。4.2 Slow Drain设备引发的连锁拥塞所有FC运维场景里Slow Drain设备是最难处理、影响范围最大的一个。所谓Slow Drain是指某个设备作为接收端时处理帧的速度太慢导致它申请的大量credit迟迟不归还。这些被“占着不还”的credit会让上游交换机以为缓冲区已满然后一个接一个地向上游链路反压。最终结果是一个慢设备的故障拖累了整个Fabric里所有不相关的流量。识别Slow Drain的标准动作是在某个看起来并不忙的接入端口上发现RX方向的可用credit持续为0同时在它的上游ISL端口上看到credit loss在增长。再对应主机侧和存储侧日志如果多个业务同时变慢但只有一条路径上有“慢设备”特征那基本就已经破案了。处置手法分轻重缓急。最快捷的办法是把慢设备通过zoning隔离到独立交换机的独立端口避免它跟关键业务共享ISL更根本的解决办法是给关键流量打QoS把它放到高优先级虚拟通道VC上这样即使慢设备占用了普通通道的信用关键业务也能优先流动。还有一种手段是限制那个慢端口的credit数量上限比如从默认的16降到4让它在物理层面就没有能力霸占过多缓冲区。这个方法治标不治本但能赢得业务恢复的时间。4.3 多路径哈希不均导致的单链路热点有时候Fabric带宽明明充足4条ISL里却出现一条跑满、其他三条闲着的“阴阳脸”。这是负载均衡算法造成的。FC交换机的负载均衡默认基于D_ID目的地址哈希如果流量转发的目的地集中在几个大流存储端口哈希分布就会非常不均匀。测试方法很简单在交换机上查看每条ISL端口的实时吞吐如果出现上述“一条独热”的情况再用portshow查看该端口的帧分布确认是不是某个特定D_ID占用了一整条链路。处理方式有三种第一如果交换机支持Brocade较新固件支持交换式均衡开启交换式负载均衡让帧不再局限于D_ID哈希而是基于交换机级别的流量分布来决定链路选择第二把存储端口分散到不同的边缘交换机或不同Trunk组降低哈希碰撞概率第三如果条件允许将大流量业务分布到不同存储端口不要让单一存储端口成为仅有的目的地。4.4 别忘了核对Zoning、协议帧风暴与监控盲区除了上面三种还有一些“没有明显大流量但就是拥塞”的场景它们往往和Zoning配置、协议帧事件有关。例如大规模Zoning变更后RSCN注册状态变更通知风暴会在Fabric里广播短时间内消耗大量资源再比如某些设备反复Fabric Login失败后频繁重试也会产生类似效果。这类问题的特征是端口计数不高、利用率不高、但整体延迟异常。排查时要多看一眼errshow或Fabric日志中有没有RSCN风暴、FLOGI反复发生的事件。平时运维也建议把交换机的阈值监控开起来Brocade上有MAPS模块思科MDS有show monitoring可以针对链路重置、CRC增长、credit loss、ISL利用率设置基线告警。最怕的不是拥塞而是拥塞发生了半个月都没有一个计数器提醒你。5. 一个真实复盘存储端口没跑满但延迟飙到了20毫秒纸上谈兵讲了这么多分享一个我处理过的典型案例。这个案例的价值在于它同时出现了信用拥塞和吞吐拥塞但表面上看所有端口的利用率都远没到100%很容易让人原地打转。环境很简单两台博科6510交换机通过一条4个端口的Trunk互联下面挂了二十来台应用服务器存储是双控制器中端阵列。用户反映每天晚上10点备份任务启动后核心数据库的“cell single block physical read”延迟从正常的2毫秒一路飙升到20毫秒以上所有业务都跟着卡顿。排查第一步我按上文的流程圈定范围。登录交换机后执行switchshow所有端口都online物理链路没有异常。执行perfshow -t 5后所有ISL端口利用率最高也就50%出头完全不像“带宽打满”的样子。这时候容易产生一个错误判断既然带宽没满那拥塞不存在问题一定在存储端或主机端。但我多了个心眼看了porterrshow。结果发现存储端口B上CRC错误没有增长但credit loss在持续增加同时连接备份服务器的那几个端口RX方向的可用credit长期是0。这两条线索放到一起问题清楚了问题不在带宽而在某一端的信用回收节奏。进一步分析备份服务器的HBA队列被大流量任务打满后它处理帧的速度跟不上导致它作为接收端的缓冲区长期被占满。这个“接收端慢”的状态通过信用机制传递到存储端口的发送队列存储端口为了让备份流量别超过对方的能力缓慢释放credit但其他正经业务流量也受到了牵连毕竟它们共用同一个存储端口和同一条ISL。处理方案分两步走。立刻执行的短期方案把备份网络从生产网络的zone里剥离让备份流量走另一个交换机端口组同时用QoS策略给数据库I/O所在的虚拟通道设置高优先级。这两步做完备份任务依然在跑但数据库延迟半小时后回落到4毫秒以内。后续的长期方案把备份服务器的HBA从4Gb换成16Gb并把这台服务器挪到独立交换机上彻底解除慢接收者对其他流量的影响。把这个案例讲出来的目的是想说明一个反直觉的点在一个credit流控的网络里一个设备的处理瓶颈可以伪装成“链路质量下降”甚至“存储性能劣化”。如果只盯着端口利用率这种“流量视角”就抓不到真正的病根。6. 排查工具速查与避坑清单最后把整个排查过程压缩成一张速查表放在收藏夹里遇到问题能少走弯路。左侧是现象右侧是优先看的指标和方向。现象优先检查项常用命令定位方向跨交换机访问慢同交换机内正常ISL利用率、credit状态、FSPF路径perfshow、routeshow、fabricshowISL带宽不足或路径集中单一存储端口影响所有主机存储端口credit loss、RX credit状态porterrshow --statistics、portshow存储端口慢接收/带宽饱和端口利用率不高但延迟飙升credit耗尽、链路重置计数portshow、porterrshowSlow Drain设备或链路不稳定备份/批量任务期间性能劣化备份端口队列、QoS配置portshow、perfshow大流量争抢或慢设备反压多个端口同时出现CRC、ENC增长光模块、线缆、端面清洁porterrshow、光纤检查器物理链路质量问题围绕这个表再强调几条我踩过的坑。第一不要用一个端口在某一时刻的利用率去判断拥塞一定要看趋势和基线瞬时值会骗人。第二porterrshow里的CRC和credit loss是累计值只看当前值没有任何意义要看它在一个时间段内的增长量和增长速度。第三更换硬件之前先做“软隔离”——用zoning、QoS、路径调整来验证假设不要上来就拔光纤换光模块那是在碰运气。第四凡是涉及跨交换机延迟的故障优先看ISL而不是主机HBA数据表明绝大多数“跨交换机慢”都是ISL或FSPF路径问题。另外想单独说一下日志和文档习惯。我见过太多拥塞故障最后复盘时手里只有一张“当时端口利用率70%”的截图根本不足以判断根因。建议对核心Fabric至少保留两个维度的历史数据端口错误计数器的周级趋势、ISL带宽利用率的日级趋势。这些数据平时看起来没用一旦故障发生就是判断“是否突变”的唯一依据。回过头来看FC Fabric拥塞排查的核心其实就三件事理解BB_Credit机制、掌握三层指标、遵循收敛式的排查路径。这三件事都做到位了大部分拥塞问题都能在半小时内定位到具体端口而不是靠感觉瞎猜。最后再分享一个小技巧如果你怀疑是慢设备问题但一时找不到它试着在备份或大批量任务进行中用portshow观察所有接入端口的RX credit哪个端口长期显示“0 credits”哪个就是嫌疑最大的那个。这个方法我在多个现场屡试不爽效率非常高。
知识建站
内容驱动
阅读友好版式
SEO 精细化
线索转化
这篇内容对您有启发吗?
预约一次免费方案沟通,我们会根据您的行业给出可落地的站点架构建议。
立即预约沟通