最近在项目复盘会上又有工程师提了一个老问题为什么我们的机器视觉瑕疵检测样机测试时一切正常一上产线就开始漏检、误检这个问题我在视觉行业里见过太多次。甚至可以说凡是做过视觉项目交付的人几乎都经历过这个阶段。更折磨人的是团队在办公室加班加点换模型、调参数改了一版又一版上线后还是不行最后一查原因往往让人哭笑不得。很多人第一反应是“算法不行”。但根据我的经验大部分“样机好用、产线不好用”的项目根源根本不在算法代码而在样机环境和产线环境之间藏着一大堆被默认“应该差不多”的隐性差异。从机器视觉的工作链路来看成像、光源、机构、节拍、通信每个环节都可能成为压垮检测效果的最后一根稻草。这篇文章就是想把这件事彻底拆开讲讲样机与产线之间的真实差距、上线后最常遇到的几种故障形态、我常用的现场排查顺序以及前期设计阶段应该怎么做才能让样机测试真正“预演”出产线的实际压力。适合视觉工程师、项目交付人员、自动化设备集成商还有正准备引入视觉检测系统的工厂技术人员参考。1. 样机与产线之间差的不只是环境样机阶段我们习惯把注意力集中在算法和参数上因为外部条件都被尽量简化了。等设备真正搬进工厂那些被简化掉的问题会一次性全还回来。我习惯把这些差异归纳成三类光照、来料、系统负载。1.1 光照条件从“理想光源”到“干扰叠加”样机调试时光源角度固定周围环境可以拉上遮光帘相机看到的是稳定均匀的像。但产线不一样头顶有车间照明旁边可能有水冷机指示灯靠窗的位置下午会有一束阳光斜射进来。更麻烦的是很多产线还会用等离子处理、UV固化灯、激光打标机之类的设备它们发出的杂散光谱会直接叠到相机视野里。视觉系统的曝光时间通常是不变的我们可以把环境光想象成一个偏置电压。环境光变强整幅背景灰度抬升目标与背景之间的对比度就被压缩。传统算法里阈值一旦卡死背景灰度波动超过5%到10%分割结果就会开始乱跳。深度学习模型虽然没有显式阈值但训练时的图像特征分布已经变了泛化能力同样打折。我在样机调试阶段做过一个比较土但有效的操作把照度计放在工件实际位置早中晚各测一次光照曲线。准备上线时再拉一条产线的光照曲线来做对比。如果两条曲线差异明显就老老实实加遮光罩、防光帘别指望算法能自动适应。环境光这种东西提前规避永远比事后补救便宜。1.2 来料状态从“精选样品”到“连续批次”样机阶段手里通常只有几十个样品为了把检测效果调得漂亮工程师会反复把同一个样品放进视野里。这个过程的本质不是“解题”而是在“背题”。到了产线来料状态完全不一样不同批次的注塑件可能光泽偏亮或偏哑冲压件的表面可能带着方向不一的拉丝纹理玻璃盖板上的划痕形态从细线到水波纹各不相同。这类变化在领域里叫分布漂移。传统的缺陷检测算法要求缺陷和背景之间有相对稳定的差异深度学习模型则要求训练集能覆盖足够宽的真实分布。如果样机阶段没有主动引入多批次、多形态的样本现场出现的“没见过”的缺陷表现很容易崩掉。我的建议是样机阶段不要只盯着手头那几个样品。条件允许的话在产线连续采集一周的真实来料图像按批次分组把难例单独建一个集合。后面所有调参和验证都从这个集合里取数而不是反复拿同一个样品去碰运气。1.3 系统负载从“离线看图”到“节拍内连轴转”样机测试时完全没有节拍压力一张图处理三秒大家也就是等着。但产线上机器不会等人视觉软件必须在几百毫秒内完成图像采集、预处理、算法推理、结果判定以及和PLC的通信握手。为了赶节拍工程师经常被迫缩小输入分辨率、裁剪预处理步骤、拉大检测间隔。性能一打折检测效果自然打折。更隐蔽的是系统资源竞争。多工位并发抓图、图像队列缓存、告警日志写盘、通信握手信号同时涌来CPU调度就会产生随机延迟表现为偶发丢帧、超时、空结果。样机阶段单机单任务跑八小时看不出问题上线以后连轴转那些隐患全都会浮出水面。所以样机阶段要做压测。模拟产线节拍连续跑八小时盯住四项指标内存占用、CPU峰值、单帧耗时、通信超时次数。这四件事能在实验室发现就不要带到产线上。2. 上线后常见的“现场病”以及它们长什么样下面这四类故障是我在真实产线上反复遇到过的。把它们描述出来方便大家对号入座也方便后面理解排查思路。2.1 图像模糊隐藏的运动模糊与景深偏移样机测试时工件基本是静止摆好的焦点自然清晰。产线则相反工件一直在动。曝光时间稍微长一点运动模糊就会把细小特征直接抹平。我们算一笔账。假设视场宽度是20mm相机分辨率是2000像素那么单个像素对应的物理尺寸就是0.01mm。如果传送带速度是1m/s曝光时间是500μs工件在曝光期间会移动0.5mm换算成像素就是50个像素的拖影。一条本身只有3像素宽的表浅划痕经过50像素的拖影叠加对比度被平均掉一多半再厉害的算法也很难把它从背景里捞出来。要解决这个问题要么缩短曝光时间从500μs压到50μs要么用高频频闪光源在极短时间内打出强光用光源亮度的峰值来“冻结”运动。这也是为什么高速产线的视觉方案里光源成本常常比相机还贵。还有一类模糊是焦点漂移。产线工装夹具磨损、工件本身翘曲、来料高度公差都会让被测面脱离镜头原本的景深范围。样机阶段调好的焦距到现场连续过料时边角就软掉了。调试时最好在视野中心和四个边角分别放标准块检查边缘清晰度是否一致。2.2 亮度异常与频闪光源驱动在捣鬼如果现场图像出现周期性的明暗条纹或者同一位置拍两张图亮度明显不一致大概率是光源频闪问题。样机测试通常用实验室稳压电源波形干净。产线用的普通开关电源纹波大再加上部分LED灯采用PWM调光亮度并不是连续变化的而是一亮一灭。频率大概在100Hz到200Hz和相机的曝光时间没有同步关系。这种频闪在静态图像上可能只表现为亮度波动放在传送带上就会变成条纹缺陷对比度忽高忽低。同一位置、同一个产品第一次判定是良品第二次判定是瑕疵往往就是它在捣鬼。验证方法很简单拿手机打开高速快门模式对着光源拍一段。如果能拍到明暗条纹甚至灯珠一亮一灭的光栅基本可以断定存在频闪。想更精确就用示波器接光电探头看光强波形波动幅度超过5%就值得警惕。解决方案也明确换恒流驱动或者把光源和相机曝光用硬件信号做同步再或者加频闪控制器。2.3 位置漂移机械公差放大定位误差样机阶段工件放在固定的治具里每次姿态都差不多。产线上传送带抖动、夹具磨损、机械臂摆放偏差会让每张图里工件的位置和角度都不一样。如果算法里写死了固定的ROI区域ROI一偏移检测目标要么跑出视野要么把背景边缘误判成缺陷。处理思路有两个。第一ROI要留余量检测之前先做快速定位用模板匹配找到工件真实位置再把ROI绑定到工件坐标系上。第二现场的匹配模板必须来自现场图像不能直接把样机阶段在实验室拍的干净模板拿过来用。我见过不止一次工程师把实验室模板挪到现场光线稍微一变匹配分数一路掉系统每天报警最后才发现模板源不对。如果检测的是大幅面而非局部小区域就要考虑分时抓拍或图像拼接相邻帧之间必须预留重叠量。这些都要在机械设计阶段提前想清楚而不是等设备上线后再补。2.4 漏检与误检交替出现参数阈值镇不住样机调参的时候工程师喜欢把阈值卡在正品分数和次品分数刚好分离的位置这样看测试曲线最好看。但现场数据分布一变化这个分界线就失效了。把阈值压低误检变多操作工天天挑错把阈值抬高漏检冒出来客户天天退货。这种“漏检和误检交替出现”的情况说明单纯调阈值已经救不了了。更深层的问题是缺陷分数分布和正常品分数分布出现了重叠。比如正常品表面带着轻微划痕、粗糙度偏高它们的特征分数天然就接近某些弱缺陷。这时候继续调阈值只是拆东墙补西墙正确做法是增加特征维度或者改用深度学习模型让模型同时学习缺陷形态和周围上下文。再补一句如果现场的问题是“今天好、明天坏上午好、下午坏”大概率不是参数本身的问题而是某个环境变量在缓慢变化。优先回头查光源衰减和环境光变化不要在一个参数上钻牛角尖。3. 一套可复用的现场排查顺序从图像倒推条件到了现场问题千头万绪能不能快速定位是关键。我的做法是先不看代码从图像开始一步步倒推现场条件把所有问题分成“算法问题”和“工程问题”两类。分类对了效率至少翻一倍。3.1 第一步把现场原图抓回来和样机图做对比很多系统上线后只存检测结果不存原始图像。在我看来这是大忌。调试阶段一定要把原图落盘哪怕按比例抽样保存也行。没有原图所有排查都是盲猜。拿到现场原图后先和样机阶段的标准图做对比。最直接的方式就是看灰度直方图再用相关系数量化差异。下面这段脚本非常轻量足够用import cv2 def compare_gray_hist(img_src, img_field): src_gray cv2.cvtColor(img_src, cv2.COLOR_BGR2GRAY) field_gray cv2.cvtColor(img_field, cv2.COLOR_BGR2GRAY) hist_src cv2.calcHist([src_gray], [0], None, [256], [0, 256]) hist_field cv2.calcHist([field_gray], [0], None, [256], [0, 256]) corr cv2.compareHist(hist_src, hist_field, cv2.HISTCMP_CORREL) return corr怎么解读结果如果两组直方图形状基本一致只是整体平移说明是亮度变化如果形状完全变了说明打光方式或产品表面状态已经改变如果直方图里出现周期性起伏就要优先怀疑频闪。提示相关系数低于0.9时说明现场成像已经明显偏离训练时的分布。先别急着改算法优先排查光源和光学链路。3.2 第二步验证光源和频闪找一块标准灰度卡放在检测工位固定位置分别在不同时间拍摄看灰度均值波动幅度。再把相机曝光时间从1/1000秒调到1/10000秒拍同一个目标。如果图像亮度没有按曝光时间的比例变化或者出现了条纹状伪影基本可以判定光源驱动有问题。同时还要检查光源衰减。不少灯板连续工作几个月后亮度会掉10%到20%肉眼几乎感觉不到但算法对灰度的敏感度远高于人眼。最好的办法是在设备开机流程里加入亮度自检拍标准白板亮度低于阈值就报警让维护人员提前介入。注意频闪在暗场环境下更明显。排查时尽量遮住环境光再看光源波形否则容易被干扰。3.3 第三步核对触发与运动时序如果图像发糊或者拍到的工件位置总是偏的先别急着换镜头先看触发时序。用示波器同时观察光电传感器的输出信号和相机的曝光信号确认两条信号之间有没有固定延迟。很多产线通过PLC中转触发信号IO扫描周期带来的延迟可能有好几十毫秒相机的拍照点会比理想位置偏后拍出来的工件看起来就是歪的。还要核对产线实际速度。有的工厂会把传送带调速比样机阶段设定值高20%但曝光参数、光源频率都没跟着改运动模糊自然会冒出来。实测一下传送带线速度再对照样机设定值差异很快就能暴露。触发信号抖动同样常见。传感器离相机线缆太长、接线端子接触不良都会造成偶发丢帧。判断方法也简单连续拍摄100张看触发间隔的方差。正常情况应该非常稳定波动大就先处理接线。3.4 第四步回灌新样本重新评估模型把现场抓到的漏检、误检典型样本挑出来重新标注先在离线环境跑一遍。如果离线也复现问题说明是算法能力不足需要补充训练样本、调整模型结构或增加特征。如果离线正常、现场仍然失败问题就更可能出在工程层回头继续查光照、时序和机械。这里有个实用的技巧别把所有异常样本一股脑塞进训练集。先按类别统计看清是某一类缺陷全部漏检还是随机概率性漏检。前者是数据覆盖问题后者多是环境扰动问题。这个区分能帮你省下大量无效调参时间。我还习惯把所有排查结论记成一张检查表每一类现象对应的图像、参数、测试结果都留档。这样隔天复测时拿检查表对比进展一目了然。4. 想让样机测试真正预演产线前期必须这么设计排查做得再快也不如前期让问题不发生。以下几条是我们现在做新项目时要求必须落在样机阶段的硬性条件。4.1 样本集合必须包含“脏乱差”我说的“脏乱差”是带引号的。脏指表面有油污、粉尘、残胶乱指来料批次杂、颜色深浅不一、纹理方向不一差指缺陷形态尽量全细划痕、磕碰、气泡、脏点都要有。样机阶段如果只拿几十个精品样品调参调出来的不是检测能力而是对这几个样品的记忆力。做法上我建议先让产线连续跑一周抓取大量原始图像按批次和缺陷形态人工分堆再按8:1:1划分训练、验证、测试。真实项目里最难检的往往不是最大最明显的缺陷而是和正常纹理几乎分不开的弱缺陷。这类弱缺陷样本越早找到越好最好专门做一个难例集。如果客户确实无法提供足够的缺陷样本退一步也要做数据扩充把正常品图像做局部对比度变化、旋转、缩放、加噪声用于模拟近似缺陷的干扰。但数据扩充只是补充不能完全替代真实样本。4.2 验收标准要加入动态与扰动项很多项目验收时只测静态精度放几个标准样品拍几张图就签字。我认为静态测试只是第一步真正的验收必须包含动态项。可以做一个扰动测试清单产线速度浮动±5%工件高度公差±1mm相邻工位开启干扰光源工装夹具人为偏移2mm连续运行8小时。每一项都要设漏检率和误检率底线。这种做法表面上是给自己找麻烦实际是在倒逼方案设计。如果前期因为客户没提就省掉了抗扰动设计上线后的停产损失只能自己吞。我确实见过有项目在合同里明确写了“抗扰动测试通过后方可验收”这让双方都认真对待环境因素上线后的摩擦少了很多。需要提醒的是扰动测试不要把所有条件一次性叠加。先逐项测再组合测。一次性叠加出了问题根本定位不到是哪一项引起的逐项测反而能帮你在设计阶段就识别出脆弱点。4.3 性能余量与数据回流通道算法处理时间不要卡着节拍算。我通常要求单帧耗时不超过产线节拍的50%CPU平均占用不超过70%内存峰值占用不超过总量的70%。多出来的余量不是浪费是给现场偶发状况、日志写入、通信抖动留缓冲。没有余量的系统一出状况就全线宕机。数据回流通道同样重要。模型上线不是终点建议建立“每日抓图、每周抽标、每月更新模型”的闭环。成熟项目的前三个月是模型持续迭代的关键期现场不断产生新样本模型越用越稳。如果现场没有自动保存原始图的机制这个闭环根本建立不起来上线后等于听天由命。配套的硬件设计也要提前想光源留备用通道电源用稳压源镜头加保护窗并制定定期擦拭SOP。视觉工程师常常只盯着算法但这些“非算法”的细节往往决定了系统能稳定跑多久。5. 我踩过的一个坑以为算法不行其实是镜片脏了前面讲了这么多系统和流程最后分享一个让我印象非常深的现场案例算是给大家的额外提醒。5.1 一个让我印象很深的现场案例某次薄膜表面检测项目样机阶段漏检率做到千分之二客户很满意。上线第二天漏检率直接飙到百分之三。团队第一反应是模型不行天天加班调阈值、换预处理折腾了整整两天没有改善。后来我蹲在现场盯图像发现现场图像对比度比样机阶段略低灰度直方图的差异又很小很难一眼看出原因。最后我打开相机防护罩才发现保护玻璃上糊了一层薄薄的油雾是旁边排风管道飘过来的。视觉算法面对的就是这些图像保护玻璃脏了等于给相机戴上了一副不干净的墨镜。用无尘布仔细擦掉油污之后检测率马上恢复正常。这事之后我们在这个项目里加了两道措施一是把排风管道方向改了二是在设备上增加亮度自检程序每天开机先拍标准块亮度低于阈值就报警。这个案例给我的冲击很大。视觉系统的成像链路里保护窗、镜头、光源、工件、相机任何一个环节出现轻微扰动都可能导致算法判断不准。越不起眼的因素在产线上带来的问题越大。5.2 给后来者的一点心法总结成几句实操建议吧。样机阶段多去现场少坐在办公室调参。很多你以为的算法问题本质是环境问题。在现场待一天效果可能比在办公室调一周更好。所有调试和上线初期的图像必须落盘。图像是唯一能回溯现场状态的东西没有图像就没有排查依据。上线前把亮度自检、镜头脏污检测、结果置信度输出当成标配功能而不是可有可无的选项。最后再遇到“样机好用、产线不好用”的问题先控制住自己怀疑算法模型的冲动。按照“图像对比—光源验证—时序核对—数据回灌”的顺序一步步查大多数事情都出在那些容易被忽略的物理环节上。希望这篇内容能帮你少走一点弯路。
最近在项目复盘会上又有工程师提了一个老问题为什么我们的机器视觉瑕疵检测样机测试时一切正常一上产线就开始漏检、误检这个问题我在视觉行业里见过太多次。甚至可以说凡是做过视觉项目交付的人几乎都经历过这个阶段。更折磨人的是团队在办公室加班加点换模型、调参数改了一版又一版上线后还是不行最后一查原因往往让人哭笑不得。很多人第一反应是“算法不行”。但根据我的经验大部分“样机好用、产线不好用”的项目根源根本不在算法代码而在样机环境和产线环境之间藏着一大堆被默认“应该差不多”的隐性差异。从机器视觉的工作链路来看成像、光源、机构、节拍、通信每个环节都可能成为压垮检测效果的最后一根稻草。这篇文章就是想把这件事彻底拆开讲讲样机与产线之间的真实差距、上线后最常遇到的几种故障形态、我常用的现场排查顺序以及前期设计阶段应该怎么做才能让样机测试真正“预演”出产线的实际压力。适合视觉工程师、项目交付人员、自动化设备集成商还有正准备引入视觉检测系统的工厂技术人员参考。1. 样机与产线之间差的不只是环境样机阶段我们习惯把注意力集中在算法和参数上因为外部条件都被尽量简化了。等设备真正搬进工厂那些被简化掉的问题会一次性全还回来。我习惯把这些差异归纳成三类光照、来料、系统负载。1.1 光照条件从“理想光源”到“干扰叠加”样机调试时光源角度固定周围环境可以拉上遮光帘相机看到的是稳定均匀的像。但产线不一样头顶有车间照明旁边可能有水冷机指示灯靠窗的位置下午会有一束阳光斜射进来。更麻烦的是很多产线还会用等离子处理、UV固化灯、激光打标机之类的设备它们发出的杂散光谱会直接叠到相机视野里。视觉系统的曝光时间通常是不变的我们可以把环境光想象成一个偏置电压。环境光变强整幅背景灰度抬升目标与背景之间的对比度就被压缩。传统算法里阈值一旦卡死背景灰度波动超过5%到10%分割结果就会开始乱跳。深度学习模型虽然没有显式阈值但训练时的图像特征分布已经变了泛化能力同样打折。我在样机调试阶段做过一个比较土但有效的操作把照度计放在工件实际位置早中晚各测一次光照曲线。准备上线时再拉一条产线的光照曲线来做对比。如果两条曲线差异明显就老老实实加遮光罩、防光帘别指望算法能自动适应。环境光这种东西提前规避永远比事后补救便宜。1.2 来料状态从“精选样品”到“连续批次”样机阶段手里通常只有几十个样品为了把检测效果调得漂亮工程师会反复把同一个样品放进视野里。这个过程的本质不是“解题”而是在“背题”。到了产线来料状态完全不一样不同批次的注塑件可能光泽偏亮或偏哑冲压件的表面可能带着方向不一的拉丝纹理玻璃盖板上的划痕形态从细线到水波纹各不相同。这类变化在领域里叫分布漂移。传统的缺陷检测算法要求缺陷和背景之间有相对稳定的差异深度学习模型则要求训练集能覆盖足够宽的真实分布。如果样机阶段没有主动引入多批次、多形态的样本现场出现的“没见过”的缺陷表现很容易崩掉。我的建议是样机阶段不要只盯着手头那几个样品。条件允许的话在产线连续采集一周的真实来料图像按批次分组把难例单独建一个集合。后面所有调参和验证都从这个集合里取数而不是反复拿同一个样品去碰运气。1.3 系统负载从“离线看图”到“节拍内连轴转”样机测试时完全没有节拍压力一张图处理三秒大家也就是等着。但产线上机器不会等人视觉软件必须在几百毫秒内完成图像采集、预处理、算法推理、结果判定以及和PLC的通信握手。为了赶节拍工程师经常被迫缩小输入分辨率、裁剪预处理步骤、拉大检测间隔。性能一打折检测效果自然打折。更隐蔽的是系统资源竞争。多工位并发抓图、图像队列缓存、告警日志写盘、通信握手信号同时涌来CPU调度就会产生随机延迟表现为偶发丢帧、超时、空结果。样机阶段单机单任务跑八小时看不出问题上线以后连轴转那些隐患全都会浮出水面。所以样机阶段要做压测。模拟产线节拍连续跑八小时盯住四项指标内存占用、CPU峰值、单帧耗时、通信超时次数。这四件事能在实验室发现就不要带到产线上。2. 上线后常见的“现场病”以及它们长什么样下面这四类故障是我在真实产线上反复遇到过的。把它们描述出来方便大家对号入座也方便后面理解排查思路。2.1 图像模糊隐藏的运动模糊与景深偏移样机测试时工件基本是静止摆好的焦点自然清晰。产线则相反工件一直在动。曝光时间稍微长一点运动模糊就会把细小特征直接抹平。我们算一笔账。假设视场宽度是20mm相机分辨率是2000像素那么单个像素对应的物理尺寸就是0.01mm。如果传送带速度是1m/s曝光时间是500μs工件在曝光期间会移动0.5mm换算成像素就是50个像素的拖影。一条本身只有3像素宽的表浅划痕经过50像素的拖影叠加对比度被平均掉一多半再厉害的算法也很难把它从背景里捞出来。要解决这个问题要么缩短曝光时间从500μs压到50μs要么用高频频闪光源在极短时间内打出强光用光源亮度的峰值来“冻结”运动。这也是为什么高速产线的视觉方案里光源成本常常比相机还贵。还有一类模糊是焦点漂移。产线工装夹具磨损、工件本身翘曲、来料高度公差都会让被测面脱离镜头原本的景深范围。样机阶段调好的焦距到现场连续过料时边角就软掉了。调试时最好在视野中心和四个边角分别放标准块检查边缘清晰度是否一致。2.2 亮度异常与频闪光源驱动在捣鬼如果现场图像出现周期性的明暗条纹或者同一位置拍两张图亮度明显不一致大概率是光源频闪问题。样机测试通常用实验室稳压电源波形干净。产线用的普通开关电源纹波大再加上部分LED灯采用PWM调光亮度并不是连续变化的而是一亮一灭。频率大概在100Hz到200Hz和相机的曝光时间没有同步关系。这种频闪在静态图像上可能只表现为亮度波动放在传送带上就会变成条纹缺陷对比度忽高忽低。同一位置、同一个产品第一次判定是良品第二次判定是瑕疵往往就是它在捣鬼。验证方法很简单拿手机打开高速快门模式对着光源拍一段。如果能拍到明暗条纹甚至灯珠一亮一灭的光栅基本可以断定存在频闪。想更精确就用示波器接光电探头看光强波形波动幅度超过5%就值得警惕。解决方案也明确换恒流驱动或者把光源和相机曝光用硬件信号做同步再或者加频闪控制器。2.3 位置漂移机械公差放大定位误差样机阶段工件放在固定的治具里每次姿态都差不多。产线上传送带抖动、夹具磨损、机械臂摆放偏差会让每张图里工件的位置和角度都不一样。如果算法里写死了固定的ROI区域ROI一偏移检测目标要么跑出视野要么把背景边缘误判成缺陷。处理思路有两个。第一ROI要留余量检测之前先做快速定位用模板匹配找到工件真实位置再把ROI绑定到工件坐标系上。第二现场的匹配模板必须来自现场图像不能直接把样机阶段在实验室拍的干净模板拿过来用。我见过不止一次工程师把实验室模板挪到现场光线稍微一变匹配分数一路掉系统每天报警最后才发现模板源不对。如果检测的是大幅面而非局部小区域就要考虑分时抓拍或图像拼接相邻帧之间必须预留重叠量。这些都要在机械设计阶段提前想清楚而不是等设备上线后再补。2.4 漏检与误检交替出现参数阈值镇不住样机调参的时候工程师喜欢把阈值卡在正品分数和次品分数刚好分离的位置这样看测试曲线最好看。但现场数据分布一变化这个分界线就失效了。把阈值压低误检变多操作工天天挑错把阈值抬高漏检冒出来客户天天退货。这种“漏检和误检交替出现”的情况说明单纯调阈值已经救不了了。更深层的问题是缺陷分数分布和正常品分数分布出现了重叠。比如正常品表面带着轻微划痕、粗糙度偏高它们的特征分数天然就接近某些弱缺陷。这时候继续调阈值只是拆东墙补西墙正确做法是增加特征维度或者改用深度学习模型让模型同时学习缺陷形态和周围上下文。再补一句如果现场的问题是“今天好、明天坏上午好、下午坏”大概率不是参数本身的问题而是某个环境变量在缓慢变化。优先回头查光源衰减和环境光变化不要在一个参数上钻牛角尖。3. 一套可复用的现场排查顺序从图像倒推条件到了现场问题千头万绪能不能快速定位是关键。我的做法是先不看代码从图像开始一步步倒推现场条件把所有问题分成“算法问题”和“工程问题”两类。分类对了效率至少翻一倍。3.1 第一步把现场原图抓回来和样机图做对比很多系统上线后只存检测结果不存原始图像。在我看来这是大忌。调试阶段一定要把原图落盘哪怕按比例抽样保存也行。没有原图所有排查都是盲猜。拿到现场原图后先和样机阶段的标准图做对比。最直接的方式就是看灰度直方图再用相关系数量化差异。下面这段脚本非常轻量足够用import cv2 def compare_gray_hist(img_src, img_field): src_gray cv2.cvtColor(img_src, cv2.COLOR_BGR2GRAY) field_gray cv2.cvtColor(img_field, cv2.COLOR_BGR2GRAY) hist_src cv2.calcHist([src_gray], [0], None, [256], [0, 256]) hist_field cv2.calcHist([field_gray], [0], None, [256], [0, 256]) corr cv2.compareHist(hist_src, hist_field, cv2.HISTCMP_CORREL) return corr怎么解读结果如果两组直方图形状基本一致只是整体平移说明是亮度变化如果形状完全变了说明打光方式或产品表面状态已经改变如果直方图里出现周期性起伏就要优先怀疑频闪。提示相关系数低于0.9时说明现场成像已经明显偏离训练时的分布。先别急着改算法优先排查光源和光学链路。3.2 第二步验证光源和频闪找一块标准灰度卡放在检测工位固定位置分别在不同时间拍摄看灰度均值波动幅度。再把相机曝光时间从1/1000秒调到1/10000秒拍同一个目标。如果图像亮度没有按曝光时间的比例变化或者出现了条纹状伪影基本可以判定光源驱动有问题。同时还要检查光源衰减。不少灯板连续工作几个月后亮度会掉10%到20%肉眼几乎感觉不到但算法对灰度的敏感度远高于人眼。最好的办法是在设备开机流程里加入亮度自检拍标准白板亮度低于阈值就报警让维护人员提前介入。注意频闪在暗场环境下更明显。排查时尽量遮住环境光再看光源波形否则容易被干扰。3.3 第三步核对触发与运动时序如果图像发糊或者拍到的工件位置总是偏的先别急着换镜头先看触发时序。用示波器同时观察光电传感器的输出信号和相机的曝光信号确认两条信号之间有没有固定延迟。很多产线通过PLC中转触发信号IO扫描周期带来的延迟可能有好几十毫秒相机的拍照点会比理想位置偏后拍出来的工件看起来就是歪的。还要核对产线实际速度。有的工厂会把传送带调速比样机阶段设定值高20%但曝光参数、光源频率都没跟着改运动模糊自然会冒出来。实测一下传送带线速度再对照样机设定值差异很快就能暴露。触发信号抖动同样常见。传感器离相机线缆太长、接线端子接触不良都会造成偶发丢帧。判断方法也简单连续拍摄100张看触发间隔的方差。正常情况应该非常稳定波动大就先处理接线。3.4 第四步回灌新样本重新评估模型把现场抓到的漏检、误检典型样本挑出来重新标注先在离线环境跑一遍。如果离线也复现问题说明是算法能力不足需要补充训练样本、调整模型结构或增加特征。如果离线正常、现场仍然失败问题就更可能出在工程层回头继续查光照、时序和机械。这里有个实用的技巧别把所有异常样本一股脑塞进训练集。先按类别统计看清是某一类缺陷全部漏检还是随机概率性漏检。前者是数据覆盖问题后者多是环境扰动问题。这个区分能帮你省下大量无效调参时间。我还习惯把所有排查结论记成一张检查表每一类现象对应的图像、参数、测试结果都留档。这样隔天复测时拿检查表对比进展一目了然。4. 想让样机测试真正预演产线前期必须这么设计排查做得再快也不如前期让问题不发生。以下几条是我们现在做新项目时要求必须落在样机阶段的硬性条件。4.1 样本集合必须包含“脏乱差”我说的“脏乱差”是带引号的。脏指表面有油污、粉尘、残胶乱指来料批次杂、颜色深浅不一、纹理方向不一差指缺陷形态尽量全细划痕、磕碰、气泡、脏点都要有。样机阶段如果只拿几十个精品样品调参调出来的不是检测能力而是对这几个样品的记忆力。做法上我建议先让产线连续跑一周抓取大量原始图像按批次和缺陷形态人工分堆再按8:1:1划分训练、验证、测试。真实项目里最难检的往往不是最大最明显的缺陷而是和正常纹理几乎分不开的弱缺陷。这类弱缺陷样本越早找到越好最好专门做一个难例集。如果客户确实无法提供足够的缺陷样本退一步也要做数据扩充把正常品图像做局部对比度变化、旋转、缩放、加噪声用于模拟近似缺陷的干扰。但数据扩充只是补充不能完全替代真实样本。4.2 验收标准要加入动态与扰动项很多项目验收时只测静态精度放几个标准样品拍几张图就签字。我认为静态测试只是第一步真正的验收必须包含动态项。可以做一个扰动测试清单产线速度浮动±5%工件高度公差±1mm相邻工位开启干扰光源工装夹具人为偏移2mm连续运行8小时。每一项都要设漏检率和误检率底线。这种做法表面上是给自己找麻烦实际是在倒逼方案设计。如果前期因为客户没提就省掉了抗扰动设计上线后的停产损失只能自己吞。我确实见过有项目在合同里明确写了“抗扰动测试通过后方可验收”这让双方都认真对待环境因素上线后的摩擦少了很多。需要提醒的是扰动测试不要把所有条件一次性叠加。先逐项测再组合测。一次性叠加出了问题根本定位不到是哪一项引起的逐项测反而能帮你在设计阶段就识别出脆弱点。4.3 性能余量与数据回流通道算法处理时间不要卡着节拍算。我通常要求单帧耗时不超过产线节拍的50%CPU平均占用不超过70%内存峰值占用不超过总量的70%。多出来的余量不是浪费是给现场偶发状况、日志写入、通信抖动留缓冲。没有余量的系统一出状况就全线宕机。数据回流通道同样重要。模型上线不是终点建议建立“每日抓图、每周抽标、每月更新模型”的闭环。成熟项目的前三个月是模型持续迭代的关键期现场不断产生新样本模型越用越稳。如果现场没有自动保存原始图的机制这个闭环根本建立不起来上线后等于听天由命。配套的硬件设计也要提前想光源留备用通道电源用稳压源镜头加保护窗并制定定期擦拭SOP。视觉工程师常常只盯着算法但这些“非算法”的细节往往决定了系统能稳定跑多久。5. 我踩过的一个坑以为算法不行其实是镜片脏了前面讲了这么多系统和流程最后分享一个让我印象非常深的现场案例算是给大家的额外提醒。5.1 一个让我印象很深的现场案例某次薄膜表面检测项目样机阶段漏检率做到千分之二客户很满意。上线第二天漏检率直接飙到百分之三。团队第一反应是模型不行天天加班调阈值、换预处理折腾了整整两天没有改善。后来我蹲在现场盯图像发现现场图像对比度比样机阶段略低灰度直方图的差异又很小很难一眼看出原因。最后我打开相机防护罩才发现保护玻璃上糊了一层薄薄的油雾是旁边排风管道飘过来的。视觉算法面对的就是这些图像保护玻璃脏了等于给相机戴上了一副不干净的墨镜。用无尘布仔细擦掉油污之后检测率马上恢复正常。这事之后我们在这个项目里加了两道措施一是把排风管道方向改了二是在设备上增加亮度自检程序每天开机先拍标准块亮度低于阈值就报警。这个案例给我的冲击很大。视觉系统的成像链路里保护窗、镜头、光源、工件、相机任何一个环节出现轻微扰动都可能导致算法判断不准。越不起眼的因素在产线上带来的问题越大。5.2 给后来者的一点心法总结成几句实操建议吧。样机阶段多去现场少坐在办公室调参。很多你以为的算法问题本质是环境问题。在现场待一天效果可能比在办公室调一周更好。所有调试和上线初期的图像必须落盘。图像是唯一能回溯现场状态的东西没有图像就没有排查依据。上线前把亮度自检、镜头脏污检测、结果置信度输出当成标配功能而不是可有可无的选项。最后再遇到“样机好用、产线不好用”的问题先控制住自己怀疑算法模型的冲动。按照“图像对比—光源验证—时序核对—数据回灌”的顺序一步步查大多数事情都出在那些容易被忽略的物理环节上。希望这篇内容能帮你少走一点弯路。
知识建站
内容驱动
阅读友好版式
SEO 精细化
线索转化