Surface defect detection technology of wood-based panel based on image segmentation and deep learning

系统包括图像采集设备、板件传输设备、图像处理和终端显示设备等(图1)。图像采集设备采用SICK的RangerE高速激光线阵相机，相机光轴与板件运动方向成60°角；LED光源垂直安装于运输带正上方40 cm处。板件传输设备连接编码器，编码器每旋转1圈能向相机发送2 000个脉冲信号，线阵相机会根据接收到的脉冲信号来触发扫描。图像处理设备所用系统软件为Windows 10，GPU型号为GTX1660Ti，CUDA版本11.6，算法在Halcon机器视觉软件环境下开发运行。

Figure 1.  Wood-based panel parts defect detection system

试材选用三聚氰胺浸渍纸饰面刨花板。线阵相机以行扫描400 μs·帧⁻¹，采集到的板材图像纵向分辨率约0.14 mm·像素⁻¹，横向分辨率约0.20 mm·像素⁻¹。且相机曝光时间为1 200 μs，LED光源光照强度稳定在35 lx。试验共采集饰面人造板图像样本500张，如图2A所示。对其中300张板材图像进行图像裁剪制作缺陷图像样本，并使用随机翻转、遮挡、高斯模糊、镜像等数据增强技术将样本数增加至800张用于深度学习网络进行训练与测试，缺陷数据样本如图2B所示。剩余200张人造板材图像样本用于对整体算法效果进行验证。

Figure 2.  Image data set of panel and defect

系统检测板件表面缺陷算法流程如图3所示。通过对板件表面图像进行基于图像灰度值的阈值分割算法处理^[20]，在分割区域会生成随缺陷大小变化的矩形检测框，用检测框对图像进行裁剪；然后，将裁剪后图像输入训练好的卷积神经网络分类器进行缺陷分类识别；最后，在图像上显示板件缺陷情况。

Figure 3.  Flow chart of detection algorithm based on image segmentation and classifier

使用阈值分割算法，分割板件区域与背景区域；使用全局双阈值分割算法分割崩边缺陷区域，其算法原理如式(1)。针对划痕缺陷的分割，使用局部动态阈值分割算法，其算法原理如式(2)。为减少过分割率，使用了一种基于均值滤波算法的图像增强算法对图像进行预处理，其算法原理如式(3)。

式(1)~(3)中：$ \left(i,j\right) $是大小为$ n\times n $的图像的坐标，$i,j=\mathrm{1,\,\,2},\,\,3,\, \, \cdots , \,\,n$；$ g\left(i,j\right) $是算法处理后的图像；$ f(i,j) $为原始图像，$ \bar{f}\left(i,j\right) $是$ f(i,j) $经均值滤波处理后的图像；$ g\left(i,j\right)=0 $，表示点$ \left(i,j\right) $为背景区域，$ g\left(i,j\right)=1 $为目标区域； $ {T}_{\mathrm{m}\mathrm{i}\mathrm{n}} $和$ {T}_{\mathrm{m}\mathrm{a}\mathrm{x}} $为最小和最大阈值，在光照稳定的条件下，分别取值40和125；$ T $为动态阈值常数；$ k $为图像增强因子，$ k $值越大，处理后图像的对比度越大。为分析预处理算法中$ T $和$ k $对图像分割准确率的影响，引入分割精度、过分割率和欠分割率进行评价，评价公式见式(4)~(6)。

式(4)~(6)中：A为分割精度， $ O $为过分割率，$ U $为欠分割率；${R}_{{\rm{s}}}$为实际目标区域面积，${T}_{{\rm{s}}}$为算法分割出的目标区域面积，${O}_{{\rm{s}}}$为算法分割出的非目标区域的面积，${U}_{{\rm{s}}}$为算法未能分割出的目标区域面积。算法分割结果如图4。从表1可知，随T值增大，算法分割精度增大，但算法过分割率也随之增大。当$ T $=2，$ k $=0.3时，算法能在较高分割精度上达到相对较小的过分割和欠分割率。

Figure 4.  Image segmentation result

采用一种轻量级卷积神经网络MobileNetv 2来构建缺陷图像分类器 ^[21]。在MobileNetv 2网络中引入了一系列的倒残差结构(bottlenck residual block)，该结构与传统的残差结构操作相反，会对图像特征层进行先升维再降维，且单个卷积核只对特征层向量一个维度进行卷积操作，减少了计算量。Bottlenck层卷积操作后使用了ReLU 6非线性激活函数替代了ReLU函数，增加了模型精度。调整后网络结构如表2所示。表中每行表示1个或多个相同的网络层结构，$ t $为拓展因子，所有结构中卷积核大小都是$ 3\times 3 $，每个结构重复$ n $次，每层的输出通道数量为$ c $，每个结构的第1层卷积操作步长为$ s $，其他卷积层步长为1。

为分析调整后的MobileNetv 2网络效果，将800张人造板缺陷图像样本按训练集和测试集7∶3的比例分别对调整前后的网络模型进行训练和测试。训练过程损失值和平均准确率随训练轮次变化结果如图5，模型损失值和准确率在迭代到40轮时开始收敛。调整前模型在测试集上损失值随迭代次数增加有过拟合趋势，调整后模型损失值更加稳定，准确率更高。分类模型缺陷识别结果的混淆矩阵如图6所示，调整后的MobileNetv 2网络对崩边和划痕缺陷的分类准确率均高于调整前，分别达到97.0%和99.0%。

Figure 5.  Change of accuracy and loss value with the number of iterations before adjustment

Figure 6.  Change of accuracy and loss value with the number of iterations before adjustment

为分析整体算法的缺陷检测效果，使用机器视觉系统采集200张饰面人造板作为验证集数据，比较本研究中分割算法结合改进前后的MobileNetv 2算法的精确率和召回率。同时，为分析本研究中分割算法结合深度学习分类器方法的优越性，统计了2种常见目标检测模型SSD和YOLOv 3算法检测相同数据集的精确率和召回率。精确率和召回率计算方法如式(7)~(8)。

式(7)~(8)中：N_TP (true positive)是预测正确的样本数； N_FP (false positive)是实际不为该类缺陷但预测为该类型缺陷的样本数；N_FN (false negative)是实际为该类缺陷但预测成其他类型的样本数。表3结果显示：使用图像分割算法结合改进后卷积神经网络MobileNetv 2分类模型对板件表面崩边和划痕缺陷的检测精确率分别达到了93.1%和97.5%；召回率分别为95.3%和97.6%。算法平均精确率和召回率均大于SSD算法和YOLOv 3算法。对MobileNetv 2网络结构上的改进使得算法的在崩边和划痕的精准率分别提高了1.4%和4.7%，召回率分别提高了1.8%和5.1%。在MobileNetv 2网络引入倒残差结构，使算法运行耗时从233 ms降低到163 ms。

试验过程发现：随训练样本数量的增加，SSD算法和YOLOv 3算法的精确率和准确率或许可得到进一步上升，但在模型训练样本量较小(＜1 000)的情况下，使用基于阈值分割技术结合图像分类模型对缺陷的检测效果明显更好。原因是图像分割算法不需要对目标框信息进行学习训练，而是直接根据图像灰度特征对目标区域进行定位，减少了检测算法的参数量，使模型训练时损失值能更快地收敛。另外，分割算法对缺陷进行分割时会存在一定的遗漏，导致部分缺陷不能输入到分类网络进行识别，使算法召回率下降；在对一些非缺陷区域进行矩形框截取时，可能会截取到部分缺陷区域，导致将其误识别为缺陷区域，使算法精确率下降。因此，分割算法在设计时应保证较低欠分割率的同时尽量减少过分割率。

本研究采用图像分割算法对家具板材图像中的缺陷进行分割并对图像截取，再利用深度学习中的卷积神经网络模型对截取后的图像进行缺陷类别检测，实现了使用较少训练样本即可完成人造板表面崩边和划痕的缺陷检测任务。对人造板表面崩边和划痕缺陷的检测精确率达到了93.1%和97.5%，召回率分别为95.3%和97.6%。本研究对MobileNetv 2图像分类网络进行了改进研究，使用了ReLU 6非线性激活函数替代了ReLU函数，增加了模型精度，使得算法对崩边和划痕检测的精准率分别提高了1.4%和4.7%，召回率分别提高了1.8%和5.1%。同时，在MobileNetv 2中引入倒残差结构，使算法运行耗时从233 ms降低到163 ms。经验证，在模型训练样本量较小(＜1 000)的情况下，使用图像分割结合深度学习的方法对人造板表面缺陷检测的准确率和召回率均高于SSD和YOLOv 3目标检测算法。