
之前做停车场辅助识别项目时我拉着 MATLAB 把一整套智能车牌识别系统从算法到原型跑通了。整个过程踩了不少坑也总结出很多常规教程里不会写的东西。做这套系统的目标很直接给定一张包含车牌的图片自动完成车牌定位、字符分割和字符识别最终输出车牌号码。它适用的场景包括停车场出入口、无感支付、小区门禁、园区车辆管理甚至某些安防卡口。这篇博文以 MATLAB 作为实现环境把车牌识别的完整链路拆开讲透适合正在做课程设计、毕业设计或者刚接触图像处理想快速上手一个实战项目的开发者参考。1. 系统整体设计与方案选型1.1 车牌识别到底在解决什么问题车牌识别看起来是一个“从图片里读出一串文字”的任务实际拆开以后它包含三个互相独立的子问题车牌定位在复杂背景中找出车牌所在的矩形区域。这是整个系统最核心的难点背景越复杂定位越容易翻车。字符分割把定位到的车牌区域切割成单个字符包括汉字、字母和数字。字符识别对每个分割出来的字符图片进行识别输出最终的文本结果。这三个环节是串联关系前一步出错后面全部跟着错。实操中常见的情况是定位环节准确率达到 95%分割环节 90%识别环节 95%看起来每个环节都很高但整体准确率只有 0.95 × 0.9 × 0.95 ≈ 81%。所以做这套系统时我要求自己每个环节都必须尽量达到 98% 以上才能保证端到端效果可用。1.2 为什么选择 MATLAB 而不是 Python很多人一听到图像处理就默认用 Python OpenCV。但就车牌识别这类算法原型验证场景MATLAB 有自己非常明显的优势数学表达直接矩阵运算天然贴合图像数据灰度图就是二维矩阵彩色图就是三维矩阵不需要像 OpenCV 那样频繁做数据类型转换。图像处理工具箱极其成熟imopen、imclose、bwareaopen、regionprops、imresize 这些函数直接封装了底层逻辑写原型代码的效率远高于自己手搓底层算法。调试可视化方便imshow、figure 这些命令随手一写中间结果立刻可见对算法调试特别友好。当然MATLAB 的缺点也明显体积大、启动慢、部署成商用产品需要额外的编译器支持。但做验证、做毕业设计、做原型演示MATLAB 完全够用而且代码量比 Python 方案少很多。1.3 整体框架整套系统我按下面这条链路实现输入图像 - 预处理 - 车牌定位 - 车牌图像校正 - 字符分割 - 字符识别 - 输出结果预处理负责把图像调整到适合分析的状态定位负责找到车牌位置校正负责处理拍摄角度倾斜的问题分割负责抠出字符识别负责最终输出文本。每一步我在工程里都写成了独立函数方便单独调试和替换方案。2. 车牌定位整个系统的命根子2.1 车牌定位的两种主流思路车牌定位在业界主要有两条路线基于颜色特征利用车牌底色蓝底白字、绿底白字、黄底黑字在色彩空间中的聚类特性把特定颜色区域提取出来。基于几何与纹理特征利用车牌区域边角陡峭、字符密集、矩形边框明显这些形态学特征通过边缘检测和形态学操作把候选区域筛出来。我实际做的时候把两种思路做了融合先用颜色特征粗筛再用边缘与形态学特征精确定位。纯颜色特征在光照偏色时容易失效纯边缘检测在复杂背景比如车身贴满广告图案时会产生大量干扰区域两者结合能把各自的缺陷弥补掉。2.2 颜色特征提取的细节MATLAB 里读取彩色图后通常把 RGB 转为 YCbCr 色彩空间来做颜色分析。原因是 RGB 三个通道高度相关受光照影响极大而 YCbCr 中 Y 代表亮度Cb 和 Cr 代表色度光照变化主要体现在 Y 通道Cb、Cr 相对稳定。% 读取图像并转为 YCbCr 色彩空间 img imread(car.jpg); img_ycbcr rgb2ycbcr(img); % 提取蓝色车牌的掩码区域 Cb img_ycbcr(:,:,2); Cr img_ycbcr(:,:,3); blueMask (Cb 100) (Cb 130) (Cr 130) (Cr 170);注意上面这组阈值是针对蓝牌的标准值。实际项目中我发现不同相机、不同天气下同一块车牌在 YCbCr 空间的分布差异很大建议在调试时把 Cb 和 Cr 的取值可视化出来看直方图再调整阈值不要拍脑袋写死。2.3 形态学处理与候选区域筛选拿到颜色掩码后车牌区域不会是干净整洁的矩形会有孔洞、毛刺、断裂。这时候要用形态学操作把区域整理干净% 闭运算填充字符区域的空洞 se strel(rectangle, [15, 15]); blueMaskClosed imclose(blueMask, se); % 去除小面积噪声区域 blueMaskClean bwareaopen(blueMaskClosed, 3000); % 标记连通区域 [labels, num] bwlabel(blueMaskClean); stats regionprops(labels, BoundingBox, Area, MajorAxisLength, MinorAxisLength);筛选车牌候选区域时我用了这几个硬性条件面积下限太小的区域不可能是车牌直接排除。长宽比标准车牌的长宽比大约在 2.5 到 4.5 之间不含新能源车牌太扁或太方的都排除。填充度车牌区域应当是实心矩形区域内白色像素占整个外接矩形的比例应该比较高。经过这三层筛选绝大多数误检区域都能去掉。实际项目中如果一张图里有多辆车可能需要保留多个候选区域再逐个走后续流程最后结合识别结果的置信度做决策。3. 字符分割从车牌图片到单个字符3.1 定位后的图像预处理定位到车牌区域后第一步是提取出来并做灰度化、二值化。二值化这一步非常关键阈值选不好后面的分割和识别全完。% 裁剪车牌区域 plateImg imcrop(img, boundingBox); % 灰度化 plateGray rgb2gray(plateImg); % 使用 Otsu 方法自动计算阈值 threshold graythresh(plateGray); plateBin imbinarize(plateGray, threshold);Otsu 方法适合前景和背景灰度差异明显的图像。车牌字符是白色或黑色底色是蓝色灰度值中偏低整体对比明显所以用 Otsu 通常能得到不错的效果。但遇到车牌反光、污损、倾斜阴影时Otsu 也会翻车这时候需要先做光照补偿或者用局部自适应二值化。3.2 去除边框和铆钉车牌四周有白色边框中间有固定车牌的铆钉这些都会干扰字符分割。边框会让水平投影和垂直投影产生额外波峰铆钉则可能在字符之间制造假的连通区域。处理顺序建议先做一次形态学开运算去掉细小的白色噪点包括铆钉和轻微边框残留。对二值图做水平投影找到字符的主体行区域把上下边框裁掉。对二值图做垂直投影根据投影谷底切分左右边界把左右边框去掉。我自己写了一个小工具函数专门用来做行切割计算每一行的白点数量然后从中间行开始向两边扩展找到连续白点数低于某个阈值的位置作为边界。这个方法能适应大多数情况比直接固定裁剪更鲁棒。3.3 字符块切分策略去边框后对每一行使用垂直投影切分字符。车牌字符排列规律第一位是汉字第二位是字母后面是字母和数字混合共 7 个字符。做垂直投影时字符之间会有明显的投影低谷根据低谷点切分即可。实际中会遇到几个典型问题字符粘连比如“川”和“A”间距太小投影没有明显低谷。这时候可以结合车牌 7 个字符的先验知识如果切分结果少于 7 块尝试用局部极小值或二次分割。噪声小凸起投影图里可能出现很小的旁瓣如果按每个低谷切分会把一个字符切成两段。解决方法是设置最小字符宽度阈值低于该阈值的分割点直接忽略。边框残留如果边框没有清理干净垂直投影最左和最右会出现大片白色导致误判为字符。所以去边框一定放在切分之前。切分出来的每个字符块统一缩放到固定尺寸比如 40×20然后送入识别模块。归一化尺寸很重要因为模板匹配阶段要求字符大小一致。4. 字符识别模板匹配与扩展方案4.1 模板匹配方案的落地字符识别我第一版用的是模板匹配这是最简单也是最快出效果的方案。思路非常朴素准备一套标准字符图片作为模板库然后把待识别字符和每个模板做相似度对比得分最高的就是识别结果。function result recognizeChar(charImg, templateSet) charImg imresize(charImg, [40 20]); charImg double(charImg(:)); maxScore -1; result ; for i 1:length(templateSet) tpl templateSet{i}.img; score corr2(charImg, tpl); if score maxScore maxScore score; result templateSet{i}.label; end end end这里用 corr2 计算两个矩阵的相关系数值范围在 -1 到 1 之间越接近 1 越相似。模板库的构建要注意尽量使用与真实拍摄环境相近的字体包括大小、笔画粗细、倾斜角度。我用的模板库来自真实车牌照片的裁剪结果而不是电脑字体渲染效果比预期好很多。4.2 为什么还要做归一化和细化模板匹配的结果对字符归一化质量非常敏感。我踩过的坑是直接 resize 到固定大小会导致笔画粗细不一致宽字符被压扁窄字符被拉长匹配分数波动很大。后来我加了两步处理重心对齐先计算字符的质心平移图片让质心位于画布中心避免字符位置偏移影响匹配。笔画细化对二值字符做细化处理统一笔画宽度减少不同拍摄距离带来的笔画粗细差异。这两步加上后识别准确率提升非常明显大概从 91% 提到了 96%。虽然增加了计算量但对单张图片毫秒级的影响可以忽略。4.3 扩展方案特征匹配与神经网络模板匹配的局限性在于对字体变化敏感尤其是汉字部分不同省份的字体风格差异较大。如果想进一步提高识别率有两个方向基于特征匹配提取字符的 HOG 特征或 LBP 特征用 SVM 分类。这类方法对局部形变有一定容忍度比纯像素模板稳健。基于卷积神经网络用小型 CNN 做字符分类效果最好但需要标注数据投入。如果项目周期允许建议用迁移学习方案先在一个通用字符数据集上预训练再用车牌字符数据微调。实际项目里我用模板匹配做第一版后来数据量大了以后迁移到了一个轻量 CNN 模型。如果只是做课程设计或原型验证模板匹配已经完全够用不必一上来就上深度学习。5. 完整实现流程与参数调优实录5.1 工程目录结构与代码组织我的 MATLAB 工程按下面结构组织plate_recognition/ main.m preprocessing/ preprocess.m localization/ locatePlate.m segmentation/ segmentChars.m recognition/ recognizeChar.m templateMatch.m templates/ char_0.png char_1.png ... data/ test1.jpg test2.jpgmain.m 负责整体流程调度每个模块独立成函数。这样做的好处是定位效果不好时可以直接单独跑 locatePlate 看输出不需要把整条链路跑一遍后期替换识别算法也很方便。5.2 关键参数的选取逻辑系统里最影响效果的是这几组参数形态学结构元素尺寸闭运算结构元素大小决定了车牌区域断裂处的修复能力。太小修不连太大容易把邻近的车身区域也连进来变成一块大区域。我的经验是从 10×10 开始试根据连通区域数量做调整。连通区域筛选的面积阈值这个和输入图片分辨率强相关。同样是 1080p 和 720p 的图车牌在图像里占据的像素面积差很多。建议做一步归一化先计算图像总面积面积阈值设为总面积的千分之一到千分之二。垂直投影分割时的最小字符宽度这个与车牌子图的宽度相关通常设置为子图宽度的百分之一到百分之二。5.3 一个典型的运行过程拿一张 800×600 的车辆前脸照片为例流程运行如下读图后先做一次缩放如果图片过大先降采样到宽不超过 1000 像素减少后续计算量。颜色定位得到 3 个候选蓝色区域。几何筛选后保留 1 个区域。裁剪车牌子图二值化去除边框。垂直投影切分得到 7 个字符块其中有 1 个字符块明显宽度异常检查后判定是“I”和“1”粘连通过先验字符宽度修正后重新切分。模板匹配识别 7 个字符最终输出“粤B12345”。这是理想流程。第 5 步的粘连问题是实际项目里最容易出现、也最让人头疼的地方。后来我的对策是切分前先做一次字符区域连通域分析计算每个连通域的尺寸如果发现某个连通域宽度超过平均字符宽度的 1.6 倍就把它按中间谷底强制切分。5.4 性能优化与批量处理单张图片跑完整流程MATLAB 里大概耗时 200 到 500 毫秒大部分时间耗在模板匹配的循环上。如果要做批量测试建议用 parfor 并行循环或者把模板匹配改成矩阵运算一次性对比所有模板速度能提升好几倍。批量测试时我还加了一个简单的指标统计脚本自动读取测试集文件夹的所有图片跑完流程后与真实车牌标签对比输出准确率、定位成功率、识别成功率三个指标。这组数据对后续调参数非常有参考价值不要每次都靠肉眼看图判断。6. 常见问题、排查技巧与避坑经验6.1 车牌定位失败的高频原因定位失败通常不是算法不够强而是前处理没有做好。我整理过一张问题对照表排查时直接对着查就行现象可能原因处理方法颜色掩码全是噪点光照过暗或过曝先做直方图均衡化或调整 Cb、Cr 阈值车牌区域断裂结构元素太小增大闭运算结构元素尺寸误检区域很多背景里有大面积蓝色物体收紧几何筛选条件增加长宽比和填充度约束定位框偏大车牌边框与车身区域粘连缩小结构元素或先做边缘检测再筛定位不到蓝色车牌夜景下蓝色分量被压暗改用边缘检测定位颜色仅作辅助验证6.2 字符分割时的疑难杂症切分环节最常见的坑是汉字和字母粘连。汉字笔画密集投影谷底不够明显经常和后面的字母黏在一起。我的经验是对车牌字符做一次连通域分析正常情况下 7 个字符对应 7 个主要连通域汉字可能是多个连通域但外接框宽度接近字符宽度。如果某段区域宽度明显超出均值再单独对该区域做细致的垂直投影切分而不是全局重新切分。另一个常见问题是“环境光带来的阴影边”。车牌二值化后阴影边缘会产生一条斜向的黑色带垂直投影时这条阴影带可能出现伪波峰。这种情况在预处理阶段用顶帽变换做背景校正能去掉大部分光照影响。6.3 MATLAB 实现中的几个低级坑写 MATLAB 代码时有些细节特别容易踩我在这里集中列一下imread 读到的图像是 uint8 类型直接做减法可能得到负数或溢出。做像素运算前先转成 double。imbinarize 得到的是 logical 矩阵后续做 imclose、bwareaopen 都要保持 logical 类型不要中途又转成 uint8否则形态学运算结果会异常。regionprops 的 BoundingBox 边界是半开区间裁剪时直接用 imcrop 没问题但自己做索引时要小心边界越界。用 corr2 做模板匹配前确认模板和待识别图片尺寸一致且都是 double 类型否则报错或者结果异常。6.4 数据集的构建与测试策略很多人在实验室里用几张照片测试觉得效果不错一换场景就崩了。我建议测试集至少要包含这几类情况白天顺光、白天逆光、夜间、雨天、车牌倾斜、车牌部分遮挡、不同车型。分场景统计准确率比看一个总平均分有用得多。我自己实际验证下来白天顺光环境下端到端准确率在 97% 左右夜间如果补光充足能到 93%逆光场景会掉到 85% 以下。针对逆光加了一步自适应直方图均衡化后逆光场景恢复到了 90% 左右这说明预处理环节的改善对整体效果的拉动是很大的。6.5 可扩展的方向这套系统做完以后后续可以扩展的方向很多。比如增加车型识别、车辆颜色识别或者结合跟踪算法做车辆行驶轨迹分析。还有人把定位和识别分开部署定位用 MATLAB 做离线标定识别用训练好的模型做在线推理。这些都是从这套基础系统往上长出来的瓶颈往往不在模型而在数据质量和场景覆盖度。这套系统我在实际项目里反复改过很多轮从最初的 80% 准确率调到最后稳定 95% 以上最大的体会是车牌识别不是一个“调一个函数就能通”的事而是一个需要反复拆解、逐环节验证的工程问题。每一步的中间结果都要可视化出来看不要等最后输出错了才回头查。如果你也在做类似的项目建议从定位开始一步一步把每个环节的准确率量化出来先定位准再谈分割最后才是识别。这个顺序不能乱。