近年来，随着经济稳定增长和城镇化加速，我国涂镀板市场迅速发展。然而，家电行业涂镀板生产中，质量检测依赖人工目视，存在标准不一、劳动强度大、易错漏等问题。检验台位于生产末端，导致连续性缺陷无法及时发现，增加了质量事故风险。裁切过程中，尽管使用了横剪机，但对定尺裁切的涂镀板仍需人工检测，处理不良品不及时，导致浪费和成本增加。

为解决上述问题，许多钢铁企业采用开卷抽检加人工目测的传统表面缺陷检测方式，这种传统的检测方法应用在涂镀板表面缺陷检测存在不少问题。首先，涂镀板存在不同颜色、不同花纹的情况，传统图像处理方法例如边缘提取、阈值分割等方法在有花纹和颜色不统一时检测效果较差。其次，涂镀板常用于家电、汽车、包装等消费场景，对表面质量的要求要高于工业用途，所以对缺陷检测的分辨率也高于传统带钢表面检测。最后，在保证检测高分辨率的情况下还要保证涂镀产线的运行速度，据统计涂镀产线的运行速度为800m/min，所以在保证检测精度的前提下对在线检测的算法速度提出了很高的要求。

二、解决问题的思路与技术方案

基于上述检测难题，河钢数字技术股份有限公司开发了一套结合AI和物联网的智能质检系统，用于涂镀行业的全流程产品缺陷管控。该系统利用电磁辐射模式探测并分析涂镀板图像，提供缺陷分类和智能裁切决策支持。关键技术包括基于FPGA+DSP+CPU的图像处理平台和人工智能算法，实现快速、高效、精准的表面缺陷检测。该系统成本低，适应性强，支持数据共享和追溯，能与生产线系统对接，形成闭环生产控制，具有广泛的应用价值。

技术架构

该系统由成像、电气、计算机、软件和机械设备构成。成像系统利用高速工业相机和光源连续扫描涂镀板表面，生成清晰图像。这些图像，无论是否含有缺陷，都会传输到异构计算单元进行处理。处理算法会筛选掉无缺陷背景图像，对含缺陷图像进行分割和特征提取。通过三个核心算法——多有效区域提取、多模型自适应缺陷分割、多模态融合缺陷分类分级——系统能快速、高效、准确地检测涂镀板表面缺陷，并通过计算机系统展示和存储相关信息。

图1 系统技术架构图

关键技术及建设内容

1.涂镀板智能算法

（1）基于人工智能技术的算法模型设计.

在检测算法领域。本研究开发了一种基于深度学习的涂镀板表面缺陷检测技术，采用神经网络算法实现快速、高效、精确的检测。系统通过优化的图像处理算法，在高速运动中检测带钢，并在18微秒内完成图像采集、边缘检测和目标检测。疑似缺陷图像经过存储、分割、特征提取、分类和后处理等步骤，利用基于原始图像的灰度分布模型和多种图像处理技术，准确识别表面缺陷。

图2 有效区域提取结果图

①图像预处理

通过使用多种滤波器算法，对图形进行预处理。以达到消除高频噪声，增强图形边缘特征，增强不同空间区域的对比度，锐化图像等预处理功能。

图3 高频噪声

②多轴像素空间分布模型

通过对图像不同坐标轴方向进行色彩空间与灰度值直方图统计，构建灰度共现矩阵。从而建立图像内不同特征区域的灰度分布模型，以此模型为基准，分离出图像内有效特征区域与背景区域。

 图4 灰度特征图

③边缘特征像素级坐标定位

通过分割图像并计算梯度，我们能提取边缘特征。利用这些特征，建立像素级坐标系，进而精确计算纹理特征坐标，实现对检测区域的纹理特征进行像素级分割。

 图5 边缘特征

④有效区域内的特征向量提取

分割得到有效区域内的像素级纹理特征后，需要对该纹理特征进行特征向量计算。通过对特征向量的抽取，将缺陷特征转换为n维特征向量表达，该特征向量用于后续分类以及模型构建。

（2）多模型自适应缺陷分割技术

由于涂镀板存在多颜色多纹路特点，提出采用多模型自适应方式构建缺陷分割模型，利用AI模型预先感知涂镀板颜色和纹路自适应调整缺陷快速分割算法模型参数，达到对不同颜色和纹路涂镀板缺陷的快速分割。

①涂镀板颜色纹路感知模型

为提高识别效率，我们使用轻量级Mobile-Net模型，它基于深度可分离卷积神经网络，有效减少计算量。在保持精度的前提下，进一步采用MobileNetV3-small模型，结合了前代模型的优点和轻量级注意力机制，使用h-swish函数，实现快速准确识别涂镀板颜色纹路。

 图6 MobilenetV3网络结构图

②基于PaDiM的无监督缺陷分割模型

在涂镀板生产中，缺陷样本往往不足，且可能存在未知类型的缺陷，使得全监督模型难以训练。因此，通常采用单类别学习模式，仅用正常样本训练模型。为了提高检测精度，我们采用PaDiM无监督学习方法，其网络结构如下。

 图7 PaDiM网络结构图

PaDiM采用预训练CNN提取特征，特点包括：每个patch位置用多元高斯分布描述，以及考虑CNN不同语义层关联。它在检测涂镀板缺陷时，具有低时间空间复杂度，且不受训练集大小影响，适合实时检测。

 图8 无监督缺陷检测结果图

在检测到涂镀板异常区域后，对特征图进行卷积核为1，大小为16，步长为16的卷积操作，对卷积后的矩阵以阈值筛选，最终确定缺陷框。

 图9 缺陷分割框结果图

（3）多模态融合缺陷分类分级模型

①残差网络缺陷分类模型

残差网络通过引入residual结构，即隔层相加的快捷连接，有效提升了网络深度并解决了深层网络退化问题，同时便于优化和训练，更好地保留了图像特征。

 图10 residual结构

残差分类网络通过多层残差结构自动提取图像中缺陷的轮廓、大小、形状等特征。经过残差网络的计算，图像特征在更高维度展开。构建出缺陷类别的特征向量空间。从而实现对缺陷快速准确的分类，模型网络结构如下：

 图11 基于残差网络的缺陷分类结构图

②卷积神经网络缺陷分级模型

通过残差网络分类模型得到的类别特征，作为第二级深度神经网络的输入。该网络会对长度、尺寸，形状等特征信息进行多尺度融合。

 图12 卷积神经网络

卷积神经网络具有局部感受区域，特征提取与分类结合的全局训练特点，对图像的局部区域特征，有非常准确的识别能力。

图13 基于神经网络的缺陷分级结构图

在第二级的深度神经网络中，使用多层卷积神经网络构建了缺陷分级模型，分级模型将对一级网络检出的各类缺陷进行等级分类。

在经过多个卷积层进行图像特征提取后，多种缺陷类别被融合表达，被抽象成为更高维度的特征向量。对特征向量进行soft-max分类，即可对缺陷的类别进行精准预测和分类判级。

2、构建基于FPGA+DSP+CPU的高速图像采集与实时处理异构计算平台

（1）基于FPGA+DSP+CPU的图像采集技术

目前，工控机和图像采集卡主要作为ADC使用，大部分图像处理工作在服务器中完成。主流品牌产品仅支持有限数量的工业相机接入，导致需要多张采集卡和工控机协同工作，增加了成本。传统方案还需要额外的机柜或机房空间，对于未预留安装空间的产线不适用。因此，我们开发了基于FPGA、DSP和ARM架构CPU的图像采集卡，支持4路Camera-link接口和多种数字信号输入输出。该采集卡通过PCIe总线与工控机或嵌入式设备通信，性价比高。我们还开发了图像预处理算法，包括lut、gamma校正、直方图处理、位偏移、Bayer解码等，支持图像缩放、ROI截取、拼接、几何校正和镜像，以在边缘端优化图像处理，提升结果时效性。

 图14 异构计算平台架构

（2）基于FPGA的实时感兴趣区域提取技术

快速准确实时的目标检测算法是实现低延迟涂镀板在线检测的关键。考虑检测目标面积占比小，故开发快速地感兴趣区域提取算法，降低待识别窗口数量，有效缩短对涂镀板种类分类器的搜寻过程，同时进一步提升分类准确率。

根据实际生产现场环境，针对原始图像的特征开发相应的预处理算法，显著改善并提高图像采集的质量，该算法在FPGA实时运行，其目的是降低后续图像检测与识别算法计算量，提高整体检测系统的实时性，为后续对涂镀缺陷目标快速检测、定位及分类做好预处理工作。

3.成像技术

（1）光路设计

光路是指光源入射角度与工业相机拍摄角度的配置，它影响不同缺陷的信号强度。由于设备安装后光路不可更改，其精确度直接影响缺陷检测效果。因此，必须根据应用需求和缺陷类型设计合适的光路。对于穿透性缺陷，透射光路是理想的成像方式，因为它能通过缺陷部分的透光性与背景形成鲜明对比，便于图像处理和识别。工业相机与光源对射，采用散射光源确保光线穿透孔洞缺陷，同时衍射效应可放大光斑，提升检测精度。

 图15 透射光路示意图

（3）分别率设计

工业相机分辨率为4096x1像素，如果覆盖500mm横向视野和0.125mm纵向视野。系统横向分辨率=500mm/4096pixel=0.125mm/pixel（去除重叠像素），系统纵向分辨率=0.125mm/1pixel=0.125mm/pixel。若缺陷像素太少，软件无法检出；分辨率过低则可能检测到无害伪缺陷。最小缺陷大小决定系统分辨率，进而影响工业相机数量和系统规模。

三、主要创新性成果

1.基于深度学习和自适应多模型的涂镀板表面缺陷分割技术

由于涂镀板存在多颜色多纹路特点传统图像处理方法在检测涂镀板缺陷时，因纹路和颜色差异影响检测效果。本技术通过多模型自适应构建缺陷分割模型，减少纹路和颜色干扰。首先，利用图像的灰度分布构建模型，快速分割有效区域并提取边缘坐标。其次，使用MobileNetv3模型感知颜色和纹路，调整无监督分割模型，实现对涂镀板缺陷的快速准确分割。

2.基于多模态融合的涂镀板表面缺陷分类分级技术

传统缺陷分类模型，如SVM、决策树等方法只能对识别出的缺陷类型进行定义，无法对缺陷的等级定义，在实际生产中带有某些影响轻微的缺陷涂镀板可做降级处理，但传统方法无法满足此需求。

本技术针对多颜色多纹路涂镀板存在缺陷类型不统一、类型繁杂等特点，提出多模态融合的涂镀板表面缺陷分类分级模型，首先利用残差网络构建缺陷分类模型，分类模型可自动提取缺陷的特征，构建缺陷类别的特征空间，然后再融合缺陷长度、大小、形状等特征信息，利用神经网络构建缺陷分级模型，可输出不同缺陷的不同等级。

四、应用情况与效果

目前该系统已经在邯郸钢铁集团、 衡水板业包装材料科技有限公司、青岛新材料科技有限公司等多家多条产线应用。目前该技术板材AI识别缺陷算法对高速扫描相机抓拍的钢卷生产表面扫描图像进行扫描识别，自动检出的缺陷、分类、分级，结合喷码定位系统生成对每个钢卷的缺陷质量地图。系统对划伤、麻点、漆渣、漏涂、严重硌伤等常见缺陷检出率不低于98%，分级分类准确率不低于99%，检测结果输出速度不大于1秒。并且算法识别输出结果与人工复检识别结果一致率99%以上。识别数量2000米钢卷，算法识别输出结果与人工复检识别结果一致率99%以上。人工成本减少，检验人员从24名减至12名，每年节省人工成本100万元。经济效益提升，不良率从4%降至3%，减少不良品995吨，年增效业绩约497.5万元。

通过研发基于AI与物联网技术的智能质检系统能带来良好的社会效益，变革涂镀板检验模式，减少能源使用，填补行业技术空白，树立行业标杆。

信息来源：河钢数字技术股份有限公司