-
板式家具板件开料过程边缘破损、厂内运输中摩擦划痕以及碰撞损伤等原因,导致板件表面产生缺陷,直接影响其外观质量与使用性能。对家具板件表面缺陷进行检测并分类,不仅能提高制造过程自动化水平与制造效率,也能实现板材品质管理数字化。现阶段,板材缺陷检测主要以人工为主,普遍检测效率低、检测结果受主观因素影响较大,从而导致检测结果准确性无法保证等问题[1−2]。
机器视觉是一种基于光学成像和数字图像的处理技术,能实现自动化和非接触式的缺陷检测,因检测精度高、速度快等特点已被应用于制造业相关领域[3−9]。表面缺陷检测从检测算法上大致可分为3类:基于图像结构特征的传统方法、基于统计特征的机器学习方法以及深度学习方法[10]。如分别使用传统图像处理算法中的灰度共生矩阵算法、自适应阈值分割算法实现了人造板表面胶斑、松软和油污图像的分类[11−12];利用机器学习算法中的随机森林和决策树算法实现了人造板表面大刨花、油污和杂物图像的分类[13−14]。上述2类算法所需样本相对较少,但在算法的实现上需要人为确定表面缺陷特征,存在泛化能力不足的缺点,其准确率可能会受环境、板材表面纹理色彩等因素影响。在板材表面缺陷识别中,机器视觉检测技术成像设备会采集到包含背景信息的整张板材图像,而单独的图像分类模型都是针对局部样本图像进行设计,难以完成在未去除背景信息的板材图像上进行多种缺陷的检测任务。常见缺陷目标检测算法如SSD算法、Faster-RCNN及YOLOv5算法[15−19],能对目标缺陷位置信息进行回归预测,并对缺陷种类进行识别。然而,目标检测算法前期需要投入一定的人力,收集大量缺陷板件图像并对其缺陷信息进行标注,以用于模型训练。且算法需要将图像压缩成一定分辨率后再训练和预测,使得类似板件崩边这类小目标的检测任务识别精度较低。
本研究采用图像分割算法对家具板材图像中的缺陷进行分割并进行图像截取,再利用深度学习算法中的卷积神经网络模型对截取后的图像进行缺陷类别检测,旨在实现使用较少训练样本完成人造板表面崩边和划痕的缺陷检测任务。
-
系统检测板件表面缺陷算法流程如图3所示。通过对板件表面图像进行基于图像灰度值的阈值分割算法处理[20],在分割区域会生成随缺陷大小变化的矩形检测框,用检测框对图像进行裁剪;然后,将裁剪后图像输入训练好的卷积神经网络分类器进行缺陷分类识别;最后,在图像上显示板件缺陷情况。
-
使用阈值分割算法,分割板件区域与背景区域;使用全局双阈值分割算法分割崩边缺陷区域,其算法原理如式(1)。针对划痕缺陷的分割,使用局部动态阈值分割算法,其算法原理如式(2)。为减少过分割率,使用了一种基于均值滤波算法的图像增强算法对图像进行预处理,其算法原理如式(3)。
$$ g\left(i,j\right)=\left\{\begin{array}{c}0,{T}_{\min}\leqslant f\left(i,j\right)-f\left(i,j\right)\leqslant {T}_{\max}\\ 1,f\left(i,j\right) < {T}_{\min}\cup f\left(i,j\right) > {T}_{\max}\end{array}\right. \text{;} $$ (1) $$ g\left(i,j\right)=\left\{\begin{array}{c}0,f\left(i,j\right)-\bar{f}\left(i,j\right)\leqslant T\\ 1, f\left(i,j\right)-\bar{f}\left(i,j\right) > T\end{array}\right. \text{;} $$ (2) $$ g\left(i,j\right)=\left[f(i,j)-\bar{f}\left(i,j\right)\right]\times k+f\left(i,j\right) 。 $$ (3) 式(1)~(3)中:$ \left(i,j\right) $是大小为$ n\times n $的图像的坐标,$i,j=\mathrm{1,\,\,2},\,\,3,\, \, \cdots , \,\,n$;$ g\left(i,j\right) $是算法处理后的图像;$ f(i,j) $为原始图像,$ \bar{f}\left(i,j\right) $是$ f(i,j) $经均值滤波处理后的图像;$ g\left(i,j\right)=0 $,表示点$ \left(i,j\right) $为背景区域,$ g\left(i,j\right)=1 $为目标区域; $ {T}_{\mathrm{m}\mathrm{i}\mathrm{n}} $和$ {T}_{\mathrm{m}\mathrm{a}\mathrm{x}} $为最小和最大阈值,在光照稳定的条件下,分别取值40和125;$ T $为动态阈值常数;$ k $为图像增强因子,$ k $值越大,处理后图像的对比度越大。为分析预处理算法中$ T $和$ k $对图像分割准确率的影响,引入分割精度、过分割率和欠分割率进行评价,评价公式见式(4)~(6)。
$$ A=\left(1-\frac{\left|{R}_{{\rm{s}}}-{T}_{{\rm{s}}}\right|}{{R}_{{\rm{s}}}}\right)\times 100\% \text{;} $$ (4) $$ O=\left(\frac{{O}_{{\rm{s}}}}{{R}_{{\rm{s}}}+{O}_{{\rm{s}}}}\right)\times 100\% \text{;} $$ (5) $$ U=\left(\frac{{U}_{{\rm{s}}}}{{R}_{{\rm{s}}}+{O}_{{\rm{s}}}}\right)\times 100\% 。 $$ (6) 式(4)~(6)中:A为分割精度, $ O $为过分割率,$ U $为欠分割率;${R}_{{\rm{s}}}$为实际目标区域面积,${T}_{{\rm{s}}}$为算法分割出的目标区域面积,${O}_{{\rm{s}}}$为算法分割出的非目标区域的面积,${U}_{{\rm{s}}}$为算法未能分割出的目标区域面积。算法分割结果如图4。从表1可知,随T值增大,算法分割精度增大,但算法过分割率也随之增大。当$ T $=2,$ k $=0.3时,算法能在较高分割精度上达到相对较小的过分割和欠分割率。
表 1 不同T值和k值影响下的分割效果
Table 1. Segmentation effect under the influence of different T and k values
T k 过分割率/% 欠分割率/% 分割精度/% 1 0 13.04 52.61 39.50 0.1 17.70 45.68 44.50 0.2 19.68 38.96 51.50 0.3 25.09 32.96 56.00 0.4 32.89 20.81 69.00 0.5 36.51 25.08 60.50 2 0 28.32 35.48 50.50 0.1 32.89 15.77 76.50 0.2 34.21 7.24 89.00 0.3 38.08 1.24 98.00 0.4 42.36 2.88 95.00 0.5 43.18 3.69 93.50 3 0 49.37 8.35 83.50 0.1 64.09 2.33 93.50 0.2 64.41 0.36 99.00 0.3 70.59 0.74 97.50 0.4 73.40 2.13 92.00 0.5 74.13 3.10 88.00 -
采用一种轻量级卷积神经网络MobileNetv 2来构建缺陷图像分类器 [21]。在MobileNetv 2网络中引入了一系列的倒残差结构(bottlenck residual block),该结构与传统的残差结构操作相反,会对图像特征层进行先升维再降维,且单个卷积核只对特征层向量一个维度进行卷积操作,减少了计算量。Bottlenck层卷积操作后使用了ReLU 6非线性激活函数替代了ReLU函数,增加了模型精度。调整后网络结构如表2所示。表中每行表示1个或多个相同的网络层结构,$ t $为拓展因子,所有结构中卷积核大小都是$ 3\times 3 $,每个结构重复$ n $次,每层的输出通道数量为$ c $,每个结构的第1层卷积操作步长为$ s $,其他卷积层步长为1。
表 2 分类网络模型结构
Table 2. Classifier network model structure
输入尺寸 操作 $ t $ $ c $ $ n $ $ s $ 2242×3 Conv2d 32 1 2 1122×32 Bottleneck 1 16 1 1 1122×16 Bottleneck 6 24 2 2 562×24 Bottleneck 6 32 2 2 282×32 Bottleneck 6 96 3 2 142×96 Bottleneck 6 160 2 2 72×160 Bottleneck 6 320 1 1 72×320 Conv2d1×1 640 1 1 72×640 Avgpool7×7 1 1×1×640 Conv2d1×1 3 说明:t为拓展因子,c为输出通道数量,n为重复数,s为每个结构的第1层卷积操作步长。 -
为分析调整后的MobileNetv 2网络效果,将800张人造板缺陷图像样本按训练集和测试集7∶3的比例分别对调整前后的网络模型进行训练和测试。训练过程损失值和平均准确率随训练轮次变化结果如图5,模型损失值和准确率在迭代到40轮时开始收敛。调整前模型在测试集上损失值随迭代次数增加有过拟合趋势,调整后模型损失值更加稳定,准确率更高。分类模型缺陷识别结果的混淆矩阵如图6所示,调整后的MobileNetv 2网络对崩边和划痕缺陷的分类准确率均高于调整前,分别达到97.0%和99.0%。
-
为分析整体算法的缺陷检测效果,使用机器视觉系统采集200张饰面人造板作为验证集数据,比较本研究中分割算法结合改进前后的MobileNetv 2算法的精确率和召回率。同时,为分析本研究中分割算法结合深度学习分类器方法的优越性,统计了2种常见目标检测模型SSD和YOLOv 3算法检测相同数据集的精确率和召回率。精确率和召回率计算方法如式(7)~(8)。
$$ \mathrm{精}\mathrm{准}\mathrm{率}=\frac{N_{{\rm{TP}}}}{{N_{{\rm{TP}}}}+{N_{{\rm{FP}}}}}\times 100\% \text{;} $$ (7) $$ \mathrm{召}\mathrm{回}\mathrm{率}=\frac{{N_{{\rm{TP}}}}}{{N_{{\rm{TP}}}}+{N_{{\rm{FN}}}}}\times 100\% 。 $$ (8) 式(7)~(8)中:NTP (true positive)是预测正确的样本数; NFP (false positive)是实际不为该类缺陷但预测为该类型缺陷的样本数;NFN (false negative)是实际为该类缺陷但预测成其他类型的样本数。表3结果显示:使用图像分割算法结合改进后卷积神经网络MobileNetv 2分类模型对板件表面崩边和划痕缺陷的检测精确率分别达到了93.1%和97.5%;召回率分别为95.3%和97.6%。算法平均精确率和召回率均大于SSD算法和YOLOv 3算法。对MobileNetv 2网络结构上的改进使得算法的在崩边和划痕的精准率分别提高了1.4%和4.7%,召回率分别提高了1.8%和5.1%。在MobileNetv 2网络引入倒残差结构,使算法运行耗时从233 ms降低到163 ms。
表 3 不同检测方法的评价结果
Table 3. Evaluation results of different detection methods
检测方法 崩边 划痕 检测单块
板件平均
用时/ms精准
率/%召回
率/%精准
率%召回
率%文中算法+改进后MobileNetv 2 93.1 95.3 97.5 96.6 163 文中算法+MobileNetv 2 91.7 93.5 93.8 91.5 233 SSD+MobileNetv 2 85.5 87.9 93.9 83.1 216 YOLOv 3+MobileNetv 2 81.6 88.2 92.6 88.6 284 试验过程发现:随训练样本数量的增加,SSD算法和YOLOv 3算法的精确率和准确率或许可得到进一步上升,但在模型训练样本量较小(<1 000)的情况下,使用基于阈值分割技术结合图像分类模型对缺陷的检测效果明显更好。原因是图像分割算法不需要对目标框信息进行学习训练,而是直接根据图像灰度特征对目标区域进行定位,减少了检测算法的参数量,使模型训练时损失值能更快地收敛。另外,分割算法对缺陷进行分割时会存在一定的遗漏,导致部分缺陷不能输入到分类网络进行识别,使算法召回率下降;在对一些非缺陷区域进行矩形框截取时,可能会截取到部分缺陷区域,导致将其误识别为缺陷区域,使算法精确率下降。因此,分割算法在设计时应保证较低欠分割率的同时尽量减少过分割率。
Surface defect detection technology of wood-based panel based on image segmentation and deep learning
-
摘要:
目的 针对板式家具零件表面缺陷人工检测过程存在的检测效率低、准确率低、检测结果无法数字化存储等问题,提出了一种基于图像分割和深度学习算法的饰面人造板表面缺陷的检测方法。 方法 利用工业相机采集人造板图像,构建缺陷数据集,采用全局阈值和局部动态阈值算法分割表面缺陷与图像截取,通过将ReLU6非线性激活函数替代ReLU函数,并引入倒残差结构的方法,优化MobileNetv 2深度学习网络,进行缺陷识别与分类。 结果 该方法对饰面人造板表面崩边和划痕缺陷的检测精确率分别达到了93.1%和97.5%,召回率分别为95.3%和97.6%,单张板件平均检测用时为163 ms。 结论 本研究提出的方法具有较高精度与稳定性,可解决传统人工检测方法的准确率低、效率低等问题,为家具板材表面缺陷的自动化检测提供新思路。图6表3参21 Abstract:Objective Aiming at the problems of low detection efficiency, low accuracy and digital storage of detection results in the manual detection of surface defects of panel furniture parts, a surface defect detection method of veneer wood-based panel based on image segmentation and deep learning algorithm was proposed. Method The defect data set was constructed by the artificial panel images collected by industrial cameras. The global threshold and local dynamic threshold algorithms were used to segment surface defects and image interceptions. The ReLU6 nonlinear activation function was replaced by ReLU function, and the method of reciprocal residual structure was introduced to optimize the MobileNetv 2 deep learning network, and the defect identification and classification were carried out. Result The accuracy of the algorithm for the detection of edge breakage and scratch defects on the surface of the veneer panel is 93.1% and 97.5%, and the recall rate is 95.3% and 97.6%, respectively. The average detection time of a single sheet is 163 ms. Conclusion The method has high precision and stability, which can solve the problems of low accuracy and low efficiency of traditional manual detection methods, and provide a new idea for automatic detection of surface defects of furniture panels. [Ch, 6 fig. 3 tab. 21 ref.] -
Key words:
- defect detection /
- machine vision /
- image segmentation /
- deep learning /
- panel custom furniture
-
表 1 不同T值和k值影响下的分割效果
Table 1. Segmentation effect under the influence of different T and k values
T k 过分割率/% 欠分割率/% 分割精度/% 1 0 13.04 52.61 39.50 0.1 17.70 45.68 44.50 0.2 19.68 38.96 51.50 0.3 25.09 32.96 56.00 0.4 32.89 20.81 69.00 0.5 36.51 25.08 60.50 2 0 28.32 35.48 50.50 0.1 32.89 15.77 76.50 0.2 34.21 7.24 89.00 0.3 38.08 1.24 98.00 0.4 42.36 2.88 95.00 0.5 43.18 3.69 93.50 3 0 49.37 8.35 83.50 0.1 64.09 2.33 93.50 0.2 64.41 0.36 99.00 0.3 70.59 0.74 97.50 0.4 73.40 2.13 92.00 0.5 74.13 3.10 88.00 表 2 分类网络模型结构
Table 2. Classifier network model structure
输入尺寸 操作 $ t $ $ c $ $ n $ $ s $ 2242×3 Conv2d 32 1 2 1122×32 Bottleneck 1 16 1 1 1122×16 Bottleneck 6 24 2 2 562×24 Bottleneck 6 32 2 2 282×32 Bottleneck 6 96 3 2 142×96 Bottleneck 6 160 2 2 72×160 Bottleneck 6 320 1 1 72×320 Conv2d1×1 640 1 1 72×640 Avgpool7×7 1 1×1×640 Conv2d1×1 3 说明:t为拓展因子,c为输出通道数量,n为重复数,s为每个结构的第1层卷积操作步长。 表 3 不同检测方法的评价结果
Table 3. Evaluation results of different detection methods
检测方法 崩边 划痕 检测单块
板件平均
用时/ms精准
率/%召回
率/%精准
率%召回
率%文中算法+改进后MobileNetv 2 93.1 95.3 97.5 96.6 163 文中算法+MobileNetv 2 91.7 93.5 93.8 91.5 233 SSD+MobileNetv 2 85.5 87.9 93.9 83.1 216 YOLOv 3+MobileNetv 2 81.6 88.2 92.6 88.6 284 -
[1] 罗微, 孙丽萍. 利用局部二值模式和方向梯度直方图融合特征对木材缺陷的支持向量机学习分类[J]. 东北林业大学学报, 2019, 47(6): 70 − 73. LUO Wei, SUN Liping. Wood defect detection and classification by fusion feature and support vector machine [J]. Journal of Northeast Forestry University, 2019, 47(6): 70 − 73. [2] 刘英, 周晓林, 胡忠康, 等. 基于优化卷积神经网络的木材缺陷检测[J]. 林业工程学报, 2019, 4(1): 115 − 120. LIU Ying, ZHOU Xiaolin, HU Zhongkang, et al. Wood defect recognition based on optimized convolution neural network algorithm [J]. Journal of Forestry Engineering, 2019, 4(1): 115 − 120. [3] 凌嘉欣, 谢永华. 残差神经网络模型在木质板材缺陷分类中的应用[J]. 东北林业大学学报, 2021, 49(8): 111 − 116. LING Jiaxin, XIE Yonghua. Residual neural network model in wood plate defect classification [J]. Journal of Northeast Forestry University, 2021, 49(8): 111 − 116. [4] WANG Xuejuan, WU Shuhang, LIU Yunpeng. Detecting wood surface defects with fusion algorithm of visual saliency and local threshold segmentation [C/OL]// YU Hui, DONG Junyu. Ninth International Conference on Graphic and Image Processing (Icgip 2017), 2018: 10615[2023-05-02]. https://doi.org/10.1117/12.2302944. [5] LUO Wei, SUN Liping. An improved binarization algorithm of wood image defect segmentation based on non-uniform background [J]. Journal of Forestry Research, 2019, 30(4): 1527 − 1533. [6] 胡笑天, 王克俭, 王超, 等. 一种基于改进SSD的原木端面识别方法[J]. 林业工程学报, 2023, 8(1): 141 − 149. HU Xiaotian, WANG Kejian, WANG Chao, et al. Development of log end face recognition method based on improved SSD [J]. Journal of Forestry Engineering, 2023, 8(1): 141 − 149. [7] 余平平, 林耀海, 赖云锋, 等. 融合BiFPN和YOLOv5s的密集型原木端面检测方法[J]. 林业工程学报, 2023, 8(1): 126 − 134. YU Pingping, LIN Yaohai, LAI Yunfeng, et al. Dense log end face detection method using the hybrid of BiFPN and YOLOv5s [J]. Journal of Forestry Engineering, 2023, 8(1): 126 − 134. [8] 郑积仕, 张世文, 杨攀, 等. 基于深度学习与深度信息的原木材积检测方法[J]. 林业工程学报, 2023, 8(1): 135 − 140. ZHENG Jishi, ZHANG Shiwen, YANG Pan, et al. Log volume detection method based on deep learning and depth information [J]. Journal of Forestry Engineering, 2023, 8(1): 135 − 140. [9] NI Chao, LI Zhenye, ZHANG Xiong, et al. Online sorting of the film on cotton based on deep learning and hyperspectral imaging [J]. IEEE Access, 2020, 8: 93028 − 93038. [10] LUO Qiwu, FANG Xiaoxin, SU Jiaojiao, et al. Automated visual defect classification for flat steel surface: a survey [J]. Ieee Transactions on Instrumentation and Measurement, 2020, 69(12): 9329 − 9349. [11] 郭慧, 王霄, 刘传泽, 等. 人造板表面缺陷检测图像自适应快速阈值分割算法[J]. 林业科学, 2018, 54(11): 134 − 142. GUO Hui, WANG Xiao, LIU Chuanze, et al. Research on adaptive fast threshold segmentation algorithm for surface defect detection of wood-based panel [J]. Scientia Silvae Sinicae, 2018, 54(11): 134 − 142. [12] 郭慧, 王霄, 刘传泽, 等. 基于灰度共生矩阵和分层聚类的刨花板表面图像缺陷提取方法[J]. 林业科学, 2018, 54(11): 111 − 120. GUO Hui, WANG Xiao, LIU Chuanze, et al. Research on defect extraction of particleboard surface images based on gray level co-occurrence matrix and hierarchical clustering [J]. Scientia Silvae Sinicae, 2018, 54(11): 111 − 120. [13] 刘传泽, 陈龙现, 刘大伟, 等. 基于剪枝决策树的人造板表面缺陷识别[J]. 计算机系统应用, 2018, 27(11): 168 − 173. LIU Chuanze, CHEN Longxian, LIU Dawei, et al. Defect recognition of wood-based panel surface using pruning decision tree [J]. Computer Systems &Applications, 2018, 27(11): 168 − 173. [14] 刘传泽, 罗瑞, 陈龙现, 等. 基于区域筛选分割和随机森林的人造板表面缺陷识别[J]. 制造业自动化, 2018, 40(9): 9 − 13. LIU Chuanze, LUO Rui, CHEN Longxian, et al. Surface defect recognition of wood-based panel based on regional screening and segmentation and random forest [J]. Manufacturing Automation, 2018, 40(9): 9 − 13. [15] LIU Wei, ANGUELOV D, ERHAN D, et al. SSD: single shot multibox detector [M]// LEIBE B, MATAS J, SEBE N, et al. Computer Vision-ECCV 2016. Amsterdam: Springer Cham, 2016: 21 − 37. [16] GIRSHICK R. Fast R-CNN [C]// IEEE Computer Society. 2015 Ieee International Conference on Computer Vision (ICCV), Los Alamitos: IEEE, 2015: 1440 − 1448. [17] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137 − 1149. [18] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection [C]. IEEE Computer Society. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas: IEEE, 2016: 779 − 788. [19] ZHU Xingkui, LYU Shuchang, WANG Xu, et al. TPH-YOLOv5: improved yolov5 based on transformer prediction head for object detection on drone-captured scenarios [C]. IEEE Computer Society. 2021 IEEE/Cvf International Conference on Computer Vision Workshops (ICCVW 2021), Los Alamitos: IEEE, 2021: 2778 − 2788. [20] 宋小燕, 白福忠, 武建新, 等. 应用灰度直方图特征识别木材表面节子缺陷[J]. 激光与光电子学进展, 2015, 52(3): 205 − 210. SONG Xiaoyan, BAI Fuzhong, WU Jianxin, et al. Wood knot defects recognition with gray-scale histogram features [J]. Laser &Optoelectronics Progress, 2015, 52(3): 205 − 210. [21] SANDLER M, HOWARD A, ZHU M, et al. MobileNetV2: inverted residuals and linear bottlenecks [J]. IEEE Computer Society. 2018 IEEE/Cvf Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City: IEEE, 2018: 4510 − 4520. -
链接本文:
https://zlxb.zafu.edu.cn/article/doi/10.11833/j.issn.2095-0756.20230280