留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于图像分割和深度学习的人造板表面缺陷检测

杨凡 杨博凯 李荣荣

杨凡, 杨博凯, 李荣荣. 基于图像分割和深度学习的人造板表面缺陷检测[J]. 浙江农林大学学报, 2024, 41(1): 176-182. doi: 10.11833/j.issn.2095-0756.20230280
引用本文: 杨凡, 杨博凯, 李荣荣. 基于图像分割和深度学习的人造板表面缺陷检测[J]. 浙江农林大学学报, 2024, 41(1): 176-182. doi: 10.11833/j.issn.2095-0756.20230280
YANG Fan, YANG Bokai, LI Rongrong. Surface defect detection technology of wood-based panel based on image segmentation and deep learning[J]. Journal of Zhejiang A&F University, 2024, 41(1): 176-182. doi: 10.11833/j.issn.2095-0756.20230280
Citation: YANG Fan, YANG Bokai, LI Rongrong. Surface defect detection technology of wood-based panel based on image segmentation and deep learning[J]. Journal of Zhejiang A&F University, 2024, 41(1): 176-182. doi: 10.11833/j.issn.2095-0756.20230280

基于图像分割和深度学习的人造板表面缺陷检测

doi: 10.11833/j.issn.2095-0756.20230280
基金项目: 国家木竹产业技术创新战略联盟科研计划课题(Tiawbi202008)
详细信息
    作者简介: 杨凡(ORICD: 0009-0004-0710-1266),从事机器视觉技术在家具木制品生成中的应用研究。E-mail: yfan@njfu.edu.cn
    通信作者: 李荣荣(ORICD: 0000-0002-0485-3188),副教授,博士,从事家具智能制造技术与装备、木质材料先进加工技术研究。E-mail: lirongrong@njfu.edu.cn
  • 中图分类号: TP29

Surface defect detection technology of wood-based panel based on image segmentation and deep learning

  • 摘要:   目的  针对板式家具零件表面缺陷人工检测过程存在的检测效率低、准确率低、检测结果无法数字化存储等问题,提出了一种基于图像分割和深度学习算法的饰面人造板表面缺陷的检测方法。  方法  利用工业相机采集人造板图像,构建缺陷数据集,采用全局阈值和局部动态阈值算法分割表面缺陷与图像截取,通过将ReLU6非线性激活函数替代ReLU函数,并引入倒残差结构的方法,优化MobileNetv 2深度学习网络,进行缺陷识别与分类。  结果  该方法对饰面人造板表面崩边和划痕缺陷的检测精确率分别达到了93.1%和97.5%,召回率分别为95.3%和97.6%,单张板件平均检测用时为163 ms。  结论  本研究提出的方法具有较高精度与稳定性,可解决传统人工检测方法的准确率低、效率低等问题,为家具板材表面缺陷的自动化检测提供新思路。图6表3参21
  • 图  1  人造板板件缺陷检测系统组成

    Figure  1  Wood-based panel parts defect detection system

    图  2  部分板材及缺陷图像数据集

    Figure  2  Image data set of panel and defect

    图  3  基于图像分割和深度学习的检测算法流程图

    Figure  3  Flow chart of detection algorithm based on image segmentation and classifier

    图  4  图像分割结果

    Figure  4  Image segmentation result

    图  5  调整前后准确率和损失值随训练迭代次数的变化

    Figure  5  Change of accuracy and loss value with the number of iterations before adjustment

    图  6  调整前后混淆矩阵

    Figure  6  Change of accuracy and loss value with the number of iterations before adjustment

    表  1  不同T值和k值影响下的分割效果

    Table  1.   Segmentation effect under the influence of different T and k values    

    Tk过分割率/%欠分割率/%分割精度/%
    1013.0452.6139.50
    0.117.7045.6844.50
    0.219.6838.9651.50
    0.325.0932.9656.00
    0.432.8920.8169.00
    0.536.5125.0860.50
    2028.3235.4850.50
    0.132.8915.7776.50
    0.234.217.2489.00
    0.338.081.2498.00
    0.442.362.8895.00
    0.543.183.6993.50
    3049.378.3583.50
    0.164.092.3393.50
    0.264.410.3699.00
    0.370.590.7497.50
    0.473.402.1392.00
    0.574.133.1088.00
    下载: 导出CSV

    表  2  分类网络模型结构

    Table  2.   Classifier network model structure

    输入尺寸操作$ t $$ c $$ n $$ s $
    2242×3 Conv2d 32 1 2
    1122×32 Bottleneck 1 16 1 1
    1122×16 Bottleneck 6 24 2 2
    562×24 Bottleneck 6 32 2 2
    282×32 Bottleneck 6 96 3 2
    142×96 Bottleneck 6 160 2 2
    72×160 Bottleneck 6 320 1 1
    72×320 Conv2d1×1 640 1 1
    72×640 Avgpool7×7 1
    1×1×640 Conv2d1×1 3
      说明:t为拓展因子,c为输出通道数量,n为重复数,s为每个结构的第1层卷积操作步长。
    下载: 导出CSV

    表  3  不同检测方法的评价结果

    Table  3.   Evaluation results of different detection methods

    检测方法崩边划痕检测单块
    板件平均
    用时/ms
    精准
    率/%
    召回
    率/%
    精准
    率%
    召回
    率%
    文中算法+改进后MobileNetv 2 93.1 95.3 97.5 96.6 163
    文中算法+MobileNetv 2 91.7 93.5 93.8 91.5 233
    SSD+MobileNetv 2 85.5 87.9 93.9 83.1 216
    YOLOv 3+MobileNetv 2 81.6 88.2 92.6 88.6 284
    下载: 导出CSV
  • [1] 罗微, 孙丽萍. 利用局部二值模式和方向梯度直方图融合特征对木材缺陷的支持向量机学习分类[J]. 东北林业大学学报, 2019, 47(6): 70 − 73.

    LUO Wei, SUN Liping. Wood defect detection and classification by fusion feature and support vector machine [J]. Journal of Northeast Forestry University, 2019, 47(6): 70 − 73.
    [2] 刘英, 周晓林, 胡忠康, 等. 基于优化卷积神经网络的木材缺陷检测[J]. 林业工程学报, 2019, 4(1): 115 − 120.

    LIU Ying, ZHOU Xiaolin, HU Zhongkang, et al. Wood defect recognition based on optimized convolution neural network algorithm [J]. Journal of Forestry Engineering, 2019, 4(1): 115 − 120.
    [3] 凌嘉欣, 谢永华. 残差神经网络模型在木质板材缺陷分类中的应用[J]. 东北林业大学学报, 2021, 49(8): 111 − 116.

    LING Jiaxin, XIE Yonghua. Residual neural network model in wood plate defect classification [J]. Journal of Northeast Forestry University, 2021, 49(8): 111 − 116.
    [4] WANG Xuejuan, WU Shuhang, LIU Yunpeng. Detecting wood surface defects with fusion algorithm of visual saliency and local threshold segmentation [C/OL]// YU Hui, DONG Junyu. Ninth International Conference on Graphic and Image Processing (Icgip 2017), 2018: 10615[2023-05-02]. https://doi.org/10.1117/12.2302944.
    [5] LUO Wei, SUN Liping. An improved binarization algorithm of wood image defect segmentation based on non-uniform background [J]. Journal of Forestry Research, 2019, 30(4): 1527 − 1533.
    [6] 胡笑天, 王克俭, 王超, 等. 一种基于改进SSD的原木端面识别方法[J]. 林业工程学报, 2023, 8(1): 141 − 149.

    HU Xiaotian, WANG Kejian, WANG Chao, et al. Development of log end face recognition method based on improved SSD [J]. Journal of Forestry Engineering, 2023, 8(1): 141 − 149.
    [7] 余平平, 林耀海, 赖云锋, 等. 融合BiFPN和YOLOv5s的密集型原木端面检测方法[J]. 林业工程学报, 2023, 8(1): 126 − 134.

    YU Pingping, LIN Yaohai, LAI Yunfeng, et al. Dense log end face detection method using the hybrid of BiFPN and YOLOv5s [J]. Journal of Forestry Engineering, 2023, 8(1): 126 − 134.
    [8] 郑积仕, 张世文, 杨攀, 等. 基于深度学习与深度信息的原木材积检测方法[J]. 林业工程学报, 2023, 8(1): 135 − 140.

    ZHENG Jishi, ZHANG Shiwen, YANG Pan, et al. Log volume detection method based on deep learning and depth information [J]. Journal of Forestry Engineering, 2023, 8(1): 135 − 140.
    [9] NI Chao, LI Zhenye, ZHANG Xiong, et al. Online sorting of the film on cotton based on deep learning and hyperspectral imaging [J]. IEEE Access, 2020, 8: 93028 − 93038.
    [10] LUO Qiwu, FANG Xiaoxin, SU Jiaojiao, et al. Automated visual defect classification for flat steel surface: a survey [J]. Ieee Transactions on Instrumentation and Measurement, 2020, 69(12): 9329 − 9349.
    [11] 郭慧, 王霄, 刘传泽, 等. 人造板表面缺陷检测图像自适应快速阈值分割算法[J]. 林业科学, 2018, 54(11): 134 − 142.

    GUO Hui, WANG Xiao, LIU Chuanze, et al. Research on adaptive fast threshold segmentation algorithm for surface defect detection of wood-based panel [J]. Scientia Silvae Sinicae, 2018, 54(11): 134 − 142.
    [12] 郭慧, 王霄, 刘传泽, 等. 基于灰度共生矩阵和分层聚类的刨花板表面图像缺陷提取方法[J]. 林业科学, 2018, 54(11): 111 − 120.

    GUO Hui, WANG Xiao, LIU Chuanze, et al. Research on defect extraction of particleboard surface images based on gray level co-occurrence matrix and hierarchical clustering [J]. Scientia Silvae Sinicae, 2018, 54(11): 111 − 120.
    [13] 刘传泽, 陈龙现, 刘大伟, 等. 基于剪枝决策树的人造板表面缺陷识别[J]. 计算机系统应用, 2018, 27(11): 168 − 173.

    LIU Chuanze, CHEN Longxian, LIU Dawei, et al. Defect recognition of wood-based panel surface using pruning decision tree [J]. Computer Systems &Applications, 2018, 27(11): 168 − 173.
    [14] 刘传泽, 罗瑞, 陈龙现, 等. 基于区域筛选分割和随机森林的人造板表面缺陷识别[J]. 制造业自动化, 2018, 40(9): 9 − 13.

    LIU Chuanze, LUO Rui, CHEN Longxian, et al. Surface defect recognition of wood-based panel based on regional screening and segmentation and random forest [J]. Manufacturing Automation, 2018, 40(9): 9 − 13.
    [15] LIU Wei, ANGUELOV D, ERHAN D, et al. SSD: single shot multibox detector [M]// LEIBE B, MATAS J, SEBE N, et al. Computer Vision-ECCV 2016. Amsterdam: Springer Cham, 2016: 21 − 37.
    [16] GIRSHICK R. Fast R-CNN [C]// IEEE Computer Society. 2015 Ieee International Conference on Computer Vision (ICCV), Los Alamitos: IEEE, 2015: 1440 − 1448.
    [17] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137 − 1149.
    [18] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection [C]. IEEE Computer Society. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas: IEEE, 2016: 779 − 788.
    [19] ZHU Xingkui, LYU Shuchang, WANG Xu, et al. TPH-YOLOv5: improved yolov5 based on transformer prediction head for object detection on drone-captured scenarios [C]. IEEE Computer Society. 2021 IEEE/Cvf International Conference on Computer Vision Workshops (ICCVW 2021), Los Alamitos: IEEE, 2021: 2778 − 2788.
    [20] 宋小燕, 白福忠, 武建新, 等. 应用灰度直方图特征识别木材表面节子缺陷[J]. 激光与光电子学进展, 2015, 52(3): 205 − 210.

    SONG Xiaoyan, BAI Fuzhong, WU Jianxin, et al. Wood knot defects recognition with gray-scale histogram features [J]. Laser &Optoelectronics Progress, 2015, 52(3): 205 − 210.
    [21] SANDLER M, HOWARD A, ZHU M, et al. MobileNetV2: inverted residuals and linear bottlenecks [J]. IEEE Computer Society. 2018 IEEE/Cvf Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City: IEEE, 2018: 4510 − 4520.
  • [1] 刘婷婷, 杨晋帆, 周汝良, 刘琳.  基于地理栅格变量与机器学习的松材线虫病扩散风险分析 . 浙江农林大学学报, 2023, 40(3): 617-626. doi: 10.11833/j.issn.2095-0756.20220470
    [2] 程昱之, 钟丽辉, 何鑫, 王远, 李朝岚.  基于改进K-means聚类与分水岭的木材横截面管孔分割 . 浙江农林大学学报, 2022, 39(1): 173-179. doi: 10.11833/j.issn.2095-0756.20210219
    [3] 李万源, 田佳, 马琴, 金学娟, 杨泽康, 杨鹏辉.  基于Google Earth Engine与机器学习的黄土梯田动态监测 . 浙江农林大学学报, 2021, 38(4): 730-736. doi: 10.11833/j.issn.2095-0756.20200673
    [4] 柳懿祥, 汪杭军, 徐铁平.  1种基于全局对比度的害虫收集方法 . 浙江农林大学学报, 2021, 38(2): 369-376. doi: 10.11833/j.issn.2095-0756.20200318
    [5] 杜雨菲, 吴保国, 陈玉玲.  基于机器学习算法的广西桉树适宜性研究 . 浙江农林大学学报, 2020, 37(1): 122-128. doi: 10.11833/j.issn.2095-0756.2020.01.016
    [6] 王冠, 王建新, 孙钰.  面向边缘计算的轻量级植物病害识别模型 . 浙江农林大学学报, 2020, 37(5): 978-985. doi: 10.11833/j.issn.2095-0756.20190595
    [7] 明浩, 苏喜友.  利用特征分割和病斑增强的杨树叶部病害识别 . 浙江农林大学学报, 2020, 37(6): 1159-1166. doi: 10.11833/j.issn.2095-0756.20190752
    [8] 郑泽宇, 冯海林, 杜晓晨, 方益明.  木材径切面内部缺陷的应力波成像算法 . 浙江农林大学学报, 2019, 36(2): 211-218. doi: 10.11833/j.issn.2095-0756.2019.02.001
    [9] 管昉立, 徐爱俊.  基于智能手机与机器视觉技术的立木胸径测量方法 . 浙江农林大学学报, 2018, 35(5): 892-899. doi: 10.11833/j.issn.2095-0756.2018.05.014
    [10] 张广群, 李英杰, 汪杭军.  基于词袋模型的林业业务图像分类 . 浙江农林大学学报, 2017, 34(5): 791-797. doi: 10.11833/j.issn.2095-0756.2017.05.004
    [11] 周竹, 尹建新, 周素茵, 周厚奎.  基于近红外光谱技术的针叶材板材表面节子缺陷检测 . 浙江农林大学学报, 2017, 34(3): 520-527. doi: 10.11833/j.issn.2095-0756.2017.03.018
    [12] 白雪冰, 许景涛, 郭景秋, 陈凯.  基于局部二值拟合模型的板材表面节子与虫眼的图像分割 . 浙江农林大学学报, 2016, 33(2): 306-314. doi: 10.11833/j.issn.2095-0756.2016.02.017
    [13] 姚飞, 叶康, 周坚华.  植物叶图像特征分析和分类检索 . 浙江农林大学学报, 2015, 32(3): 426-433. doi: 10.11833/j.issn.2095-0756.2015.03.015
    [14] 刘博, 徐华潮, 孟俊国, 孙江华, 樊建庭.  视觉因素在松墨天牛定位寄主和交配中的作用 . 浙江农林大学学报, 2012, 29(4): 617-620. doi: 10.11833/j.issn.2095-0756.2012.04.021
    [15] 尹建新, 祁亨年, 冯海林, 杜晓晨.  一种基于混合纹理特征的木板材表面缺陷检测方法 . 浙江农林大学学报, 2011, 28(6): 937-942. doi: 10.11833/j.issn.2095-0756.2011.06.017
    [16] 仇金宏, 沈明霞, 丛静华, 李龙国.  基于单目视觉的森林火点实时定位方法 . 浙江农林大学学报, 2010, 27(5): 651-658. doi: 10.11833/j.issn.2095-0756.2010.05.003
    [17] 尹建新, 楼雄伟, 黄美丽.  灰度直方图在木材表面缺陷检测中的应用 . 浙江农林大学学报, 2008, 25(3): 272-276.
    [18] 文桂峰, 孙芳利, 于红卫.  苦槠木染色深度影响因素初探 . 浙江农林大学学报, 2004, 21(1): 6-9.
    [19] 李健, 张西林, 方躬勇.  浅析普陀山旅游业的深度开发 . 浙江农林大学学报, 2000, 17(4): 398-403.
    [20] 吕晓平, 金根明, 赵仁友, 章华祥.  鞭节华扁叶蜂生物学习性研究 . 浙江农林大学学报, 1993, 10(1): 16-22.
  • 加载中
  • 链接本文:

    https://zlxb.zafu.edu.cn/article/doi/10.11833/j.issn.2095-0756.20230280

    https://zlxb.zafu.edu.cn/article/zjnldxxb/2024/1/176

图(6) / 表(3)
计量
  • 文章访问数:  334
  • HTML全文浏览量:  123
  • PDF下载量:  28
  • 被引次数: 0
出版历程
  • 收稿日期:  2023-05-06
  • 修回日期:  2023-09-11
  • 录用日期:  2023-09-11
  • 网络出版日期:  2024-01-19
  • 刊出日期:  2024-02-20

基于图像分割和深度学习的人造板表面缺陷检测

doi: 10.11833/j.issn.2095-0756.20230280
    基金项目:  国家木竹产业技术创新战略联盟科研计划课题(Tiawbi202008)
    作者简介:

    杨凡(ORICD: 0009-0004-0710-1266),从事机器视觉技术在家具木制品生成中的应用研究。E-mail: yfan@njfu.edu.cn

    通信作者: 李荣荣(ORICD: 0000-0002-0485-3188),副教授,博士,从事家具智能制造技术与装备、木质材料先进加工技术研究。E-mail: lirongrong@njfu.edu.cn
  • 中图分类号: TP29

摘要:   目的  针对板式家具零件表面缺陷人工检测过程存在的检测效率低、准确率低、检测结果无法数字化存储等问题,提出了一种基于图像分割和深度学习算法的饰面人造板表面缺陷的检测方法。  方法  利用工业相机采集人造板图像,构建缺陷数据集,采用全局阈值和局部动态阈值算法分割表面缺陷与图像截取,通过将ReLU6非线性激活函数替代ReLU函数,并引入倒残差结构的方法,优化MobileNetv 2深度学习网络,进行缺陷识别与分类。  结果  该方法对饰面人造板表面崩边和划痕缺陷的检测精确率分别达到了93.1%和97.5%,召回率分别为95.3%和97.6%,单张板件平均检测用时为163 ms。  结论  本研究提出的方法具有较高精度与稳定性,可解决传统人工检测方法的准确率低、效率低等问题,为家具板材表面缺陷的自动化检测提供新思路。图6表3参21

English Abstract

杨凡, 杨博凯, 李荣荣. 基于图像分割和深度学习的人造板表面缺陷检测[J]. 浙江农林大学学报, 2024, 41(1): 176-182. doi: 10.11833/j.issn.2095-0756.20230280
引用本文: 杨凡, 杨博凯, 李荣荣. 基于图像分割和深度学习的人造板表面缺陷检测[J]. 浙江农林大学学报, 2024, 41(1): 176-182. doi: 10.11833/j.issn.2095-0756.20230280
YANG Fan, YANG Bokai, LI Rongrong. Surface defect detection technology of wood-based panel based on image segmentation and deep learning[J]. Journal of Zhejiang A&F University, 2024, 41(1): 176-182. doi: 10.11833/j.issn.2095-0756.20230280
Citation: YANG Fan, YANG Bokai, LI Rongrong. Surface defect detection technology of wood-based panel based on image segmentation and deep learning[J]. Journal of Zhejiang A&F University, 2024, 41(1): 176-182. doi: 10.11833/j.issn.2095-0756.20230280
  • 板式家具板件开料过程边缘破损、厂内运输中摩擦划痕以及碰撞损伤等原因,导致板件表面产生缺陷,直接影响其外观质量与使用性能。对家具板件表面缺陷进行检测并分类,不仅能提高制造过程自动化水平与制造效率,也能实现板材品质管理数字化。现阶段,板材缺陷检测主要以人工为主,普遍检测效率低、检测结果受主观因素影响较大,从而导致检测结果准确性无法保证等问题[12]

    机器视觉是一种基于光学成像和数字图像的处理技术,能实现自动化和非接触式的缺陷检测,因检测精度高、速度快等特点已被应用于制造业相关领域[39]。表面缺陷检测从检测算法上大致可分为3类:基于图像结构特征的传统方法、基于统计特征的机器学习方法以及深度学习方法[10]。如分别使用传统图像处理算法中的灰度共生矩阵算法、自适应阈值分割算法实现了人造板表面胶斑、松软和油污图像的分类[1112];利用机器学习算法中的随机森林和决策树算法实现了人造板表面大刨花、油污和杂物图像的分类[1314]。上述2类算法所需样本相对较少,但在算法的实现上需要人为确定表面缺陷特征,存在泛化能力不足的缺点,其准确率可能会受环境、板材表面纹理色彩等因素影响。在板材表面缺陷识别中,机器视觉检测技术成像设备会采集到包含背景信息的整张板材图像,而单独的图像分类模型都是针对局部样本图像进行设计,难以完成在未去除背景信息的板材图像上进行多种缺陷的检测任务。常见缺陷目标检测算法如SSD算法、Faster-RCNN及YOLOv5算法[1519],能对目标缺陷位置信息进行回归预测,并对缺陷种类进行识别。然而,目标检测算法前期需要投入一定的人力,收集大量缺陷板件图像并对其缺陷信息进行标注,以用于模型训练。且算法需要将图像压缩成一定分辨率后再训练和预测,使得类似板件崩边这类小目标的检测任务识别精度较低。

    本研究采用图像分割算法对家具板材图像中的缺陷进行分割并进行图像截取,再利用深度学习算法中的卷积神经网络模型对截取后的图像进行缺陷类别检测,旨在实现使用较少训练样本完成人造板表面崩边和划痕的缺陷检测任务。

    • 系统包括图像采集设备、板件传输设备、图像处理和终端显示设备等(图1)。图像采集设备采用SICK的RangerE高速激光线阵相机,相机光轴与板件运动方向成60°角;LED光源垂直安装于运输带正上方40 cm处。板件传输设备连接编码器,编码器每旋转1圈能向相机发送2 000个脉冲信号,线阵相机会根据接收到的脉冲信号来触发扫描。图像处理设备所用系统软件为Windows 10,GPU型号为GTX1660Ti,CUDA版本11.6,算法在Halcon机器视觉软件环境下开发运行。

      图  1  人造板板件缺陷检测系统组成

      Figure 1.  Wood-based panel parts defect detection system

    • 试材选用三聚氰胺浸渍纸饰面刨花板。线阵相机以行扫描400 μs·帧−1,采集到的板材图像纵向分辨率约0.14 mm·像素−1,横向分辨率约0.20 mm·像素−1。且相机曝光时间为1 200 μs,LED光源光照强度稳定在35 lx。试验共采集饰面人造板图像样本500张,如图2A所示。对其中300张板材图像进行图像裁剪制作缺陷图像样本,并使用随机翻转、遮挡、高斯模糊、镜像等数据增强技术将样本数增加至800张用于深度学习网络进行训练与测试,缺陷数据样本如图2B所示。剩余200张人造板材图像样本用于对整体算法效果进行验证。

      图  2  部分板材及缺陷图像数据集

      Figure 2.  Image data set of panel and defect

    • 系统检测板件表面缺陷算法流程如图3所示。通过对板件表面图像进行基于图像灰度值的阈值分割算法处理[20],在分割区域会生成随缺陷大小变化的矩形检测框,用检测框对图像进行裁剪;然后,将裁剪后图像输入训练好的卷积神经网络分类器进行缺陷分类识别;最后,在图像上显示板件缺陷情况。

      图  3  基于图像分割和深度学习的检测算法流程图

      Figure 3.  Flow chart of detection algorithm based on image segmentation and classifier

    • 使用阈值分割算法,分割板件区域与背景区域;使用全局双阈值分割算法分割崩边缺陷区域,其算法原理如式(1)。针对划痕缺陷的分割,使用局部动态阈值分割算法,其算法原理如式(2)。为减少过分割率,使用了一种基于均值滤波算法的图像增强算法对图像进行预处理,其算法原理如式(3)。

      $$ g\left(i,j\right)=\left\{\begin{array}{c}0,{T}_{\min}\leqslant f\left(i,j\right)-f\left(i,j\right)\leqslant {T}_{\max}\\ 1,f\left(i,j\right) < {T}_{\min}\cup f\left(i,j\right) > {T}_{\max}\end{array}\right. \text{;} $$ (1)
      $$ g\left(i,j\right)=\left\{\begin{array}{c}0,f\left(i,j\right)-\bar{f}\left(i,j\right)\leqslant T\\ 1, f\left(i,j\right)-\bar{f}\left(i,j\right) > T\end{array}\right. \text{;} $$ (2)
      $$ g\left(i,j\right)=\left[f(i,j)-\bar{f}\left(i,j\right)\right]\times k+f\left(i,j\right) 。 $$ (3)

      式(1)~(3)中:$ \left(i,j\right) $是大小为$ n\times n $的图像的坐标,$i,j=\mathrm{1,\,\,2},\,\,3,\, \, \cdots , \,\,n$;$ g\left(i,j\right) $是算法处理后的图像;$ f(i,j) $为原始图像,$ \bar{f}\left(i,j\right) $是$ f(i,j) $经均值滤波处理后的图像;$ g\left(i,j\right)=0 $,表示点$ \left(i,j\right) $为背景区域,$ g\left(i,j\right)=1 $为目标区域; $ {T}_{\mathrm{m}\mathrm{i}\mathrm{n}} $和$ {T}_{\mathrm{m}\mathrm{a}\mathrm{x}} $为最小和最大阈值,在光照稳定的条件下,分别取值40和125;$ T $为动态阈值常数;$ k $为图像增强因子,$ k $值越大,处理后图像的对比度越大。为分析预处理算法中$ T $和$ k $对图像分割准确率的影响,引入分割精度、过分割率和欠分割率进行评价,评价公式见式(4)~(6)。

      $$ A=\left(1-\frac{\left|{R}_{{\rm{s}}}-{T}_{{\rm{s}}}\right|}{{R}_{{\rm{s}}}}\right)\times 100\% \text{;} $$ (4)
      $$ O=\left(\frac{{O}_{{\rm{s}}}}{{R}_{{\rm{s}}}+{O}_{{\rm{s}}}}\right)\times 100\% \text{;} $$ (5)
      $$ U=\left(\frac{{U}_{{\rm{s}}}}{{R}_{{\rm{s}}}+{O}_{{\rm{s}}}}\right)\times 100\% 。 $$ (6)

      式(4)~(6)中:A为分割精度, $ O $为过分割率,$ U $为欠分割率;${R}_{{\rm{s}}}$为实际目标区域面积,${T}_{{\rm{s}}}$为算法分割出的目标区域面积,${O}_{{\rm{s}}}$为算法分割出的非目标区域的面积,${U}_{{\rm{s}}}$为算法未能分割出的目标区域面积。算法分割结果如图4。从表1可知,随T值增大,算法分割精度增大,但算法过分割率也随之增大。当$ T $=2,$ k $=0.3时,算法能在较高分割精度上达到相对较小的过分割和欠分割率。

      图  4  图像分割结果

      Figure 4.  Image segmentation result

      表 1  不同T值和k值影响下的分割效果

      Table 1.  Segmentation effect under the influence of different T and k values    

      Tk过分割率/%欠分割率/%分割精度/%
      1013.0452.6139.50
      0.117.7045.6844.50
      0.219.6838.9651.50
      0.325.0932.9656.00
      0.432.8920.8169.00
      0.536.5125.0860.50
      2028.3235.4850.50
      0.132.8915.7776.50
      0.234.217.2489.00
      0.338.081.2498.00
      0.442.362.8895.00
      0.543.183.6993.50
      3049.378.3583.50
      0.164.092.3393.50
      0.264.410.3699.00
      0.370.590.7497.50
      0.473.402.1392.00
      0.574.133.1088.00
    • 采用一种轻量级卷积神经网络MobileNetv 2来构建缺陷图像分类器 [21]。在MobileNetv 2网络中引入了一系列的倒残差结构(bottlenck residual block),该结构与传统的残差结构操作相反,会对图像特征层进行先升维再降维,且单个卷积核只对特征层向量一个维度进行卷积操作,减少了计算量。Bottlenck层卷积操作后使用了ReLU 6非线性激活函数替代了ReLU函数,增加了模型精度。调整后网络结构如表2所示。表中每行表示1个或多个相同的网络层结构,$ t $为拓展因子,所有结构中卷积核大小都是$ 3\times 3 $,每个结构重复$ n $次,每层的输出通道数量为$ c $,每个结构的第1层卷积操作步长为$ s $,其他卷积层步长为1。

      表 2  分类网络模型结构

      Table 2.  Classifier network model structure

      输入尺寸操作$ t $$ c $$ n $$ s $
      2242×3 Conv2d 32 1 2
      1122×32 Bottleneck 1 16 1 1
      1122×16 Bottleneck 6 24 2 2
      562×24 Bottleneck 6 32 2 2
      282×32 Bottleneck 6 96 3 2
      142×96 Bottleneck 6 160 2 2
      72×160 Bottleneck 6 320 1 1
      72×320 Conv2d1×1 640 1 1
      72×640 Avgpool7×7 1
      1×1×640 Conv2d1×1 3
        说明:t为拓展因子,c为输出通道数量,n为重复数,s为每个结构的第1层卷积操作步长。
    • 为分析调整后的MobileNetv 2网络效果,将800张人造板缺陷图像样本按训练集和测试集7∶3的比例分别对调整前后的网络模型进行训练和测试。训练过程损失值和平均准确率随训练轮次变化结果如图5,模型损失值和准确率在迭代到40轮时开始收敛。调整前模型在测试集上损失值随迭代次数增加有过拟合趋势,调整后模型损失值更加稳定,准确率更高。分类模型缺陷识别结果的混淆矩阵如图6所示,调整后的MobileNetv 2网络对崩边和划痕缺陷的分类准确率均高于调整前,分别达到97.0%和99.0%。

      图  5  调整前后准确率和损失值随训练迭代次数的变化

      Figure 5.  Change of accuracy and loss value with the number of iterations before adjustment

      图  6  调整前后混淆矩阵

      Figure 6.  Change of accuracy and loss value with the number of iterations before adjustment

    • 为分析整体算法的缺陷检测效果,使用机器视觉系统采集200张饰面人造板作为验证集数据,比较本研究中分割算法结合改进前后的MobileNetv 2算法的精确率和召回率。同时,为分析本研究中分割算法结合深度学习分类器方法的优越性,统计了2种常见目标检测模型SSD和YOLOv 3算法检测相同数据集的精确率和召回率。精确率和召回率计算方法如式(7)~(8)。

      $$ \mathrm{精}\mathrm{准}\mathrm{率}=\frac{N_{{\rm{TP}}}}{{N_{{\rm{TP}}}}+{N_{{\rm{FP}}}}}\times 100\% \text{;} $$ (7)
      $$ \mathrm{召}\mathrm{回}\mathrm{率}=\frac{{N_{{\rm{TP}}}}}{{N_{{\rm{TP}}}}+{N_{{\rm{FN}}}}}\times 100\% 。 $$ (8)

      式(7)~(8)中:NTP (true positive)是预测正确的样本数; NFP (false positive)是实际不为该类缺陷但预测为该类型缺陷的样本数;NFN (false negative)是实际为该类缺陷但预测成其他类型的样本数。表3结果显示:使用图像分割算法结合改进后卷积神经网络MobileNetv 2分类模型对板件表面崩边和划痕缺陷的检测精确率分别达到了93.1%和97.5%;召回率分别为95.3%和97.6%。算法平均精确率和召回率均大于SSD算法和YOLOv 3算法。对MobileNetv 2网络结构上的改进使得算法的在崩边和划痕的精准率分别提高了1.4%和4.7%,召回率分别提高了1.8%和5.1%。在MobileNetv 2网络引入倒残差结构,使算法运行耗时从233 ms降低到163 ms。

      表 3  不同检测方法的评价结果

      Table 3.  Evaluation results of different detection methods

      检测方法崩边划痕检测单块
      板件平均
      用时/ms
      精准
      率/%
      召回
      率/%
      精准
      率%
      召回
      率%
      文中算法+改进后MobileNetv 2 93.1 95.3 97.5 96.6 163
      文中算法+MobileNetv 2 91.7 93.5 93.8 91.5 233
      SSD+MobileNetv 2 85.5 87.9 93.9 83.1 216
      YOLOv 3+MobileNetv 2 81.6 88.2 92.6 88.6 284

      试验过程发现:随训练样本数量的增加,SSD算法和YOLOv 3算法的精确率和准确率或许可得到进一步上升,但在模型训练样本量较小(<1 000)的情况下,使用基于阈值分割技术结合图像分类模型对缺陷的检测效果明显更好。原因是图像分割算法不需要对目标框信息进行学习训练,而是直接根据图像灰度特征对目标区域进行定位,减少了检测算法的参数量,使模型训练时损失值能更快地收敛。另外,分割算法对缺陷进行分割时会存在一定的遗漏,导致部分缺陷不能输入到分类网络进行识别,使算法召回率下降;在对一些非缺陷区域进行矩形框截取时,可能会截取到部分缺陷区域,导致将其误识别为缺陷区域,使算法精确率下降。因此,分割算法在设计时应保证较低欠分割率的同时尽量减少过分割率。

    • 本研究采用图像分割算法对家具板材图像中的缺陷进行分割并对图像截取,再利用深度学习中的卷积神经网络模型对截取后的图像进行缺陷类别检测,实现了使用较少训练样本即可完成人造板表面崩边和划痕的缺陷检测任务。对人造板表面崩边和划痕缺陷的检测精确率达到了93.1%和97.5%,召回率分别为95.3%和97.6%。本研究对MobileNetv 2图像分类网络进行了改进研究,使用了ReLU 6非线性激活函数替代了ReLU函数,增加了模型精度,使得算法对崩边和划痕检测的精准率分别提高了1.4%和4.7%,召回率分别提高了1.8%和5.1%。同时,在MobileNetv 2中引入倒残差结构,使算法运行耗时从233 ms降低到163 ms。经验证,在模型训练样本量较小(<1 000)的情况下,使用图像分割结合深度学习的方法对人造板表面缺陷检测的准确率和召回率均高于SSD和YOLOv 3目标检测算法。

参考文献 (21)

目录

    /

    返回文章
    返回