留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于图像分割和深度学习的人造板表面缺陷检测

杨凡 杨博凯 李荣荣

陈佳寅, 黄程鹏, 郑梦琦, 等. 有机肥和炭基肥替代化肥对甘薯坡耕地径流氮磷损失的影响[J]. 浙江农林大学学报, 2023, 40(3): 540-549. DOI: 10.11833/j.issn.2095-0756.20220360
引用本文: 杨凡, 杨博凯, 李荣荣. 基于图像分割和深度学习的人造板表面缺陷检测[J]. 浙江农林大学学报, 2024, 41(1): 176-182. DOI: 10.11833/j.issn.2095-0756.20230280
CHEN Jiayin, HUANG Chengpeng, ZHENG Mengqi, et al. Effects of substituting organic fertilizer and biochar-based fertilizer instead of chemical fertilizer on nitrogen and phosphorus runoff loss in sweet potato sloping farmland[J]. Journal of Zhejiang A&F University, 2023, 40(3): 540-549. DOI: 10.11833/j.issn.2095-0756.20220360
Citation: YANG Fan, YANG Bokai, LI Rongrong. Surface defect detection technology of wood-based panel based on image segmentation and deep learning[J]. Journal of Zhejiang A&F University, 2024, 41(1): 176-182. DOI: 10.11833/j.issn.2095-0756.20230280

基于图像分割和深度学习的人造板表面缺陷检测

DOI: 10.11833/j.issn.2095-0756.20230280
基金项目: 国家木竹产业技术创新战略联盟科研计划课题(Tiawbi202008)
详细信息
    作者简介: 杨凡(ORICD: 0009-0004-0710-1266),从事机器视觉技术在家具木制品生成中的应用研究。E-mail: yfan@njfu.edu.cn
    通信作者: 李荣荣(ORICD: 0000-0002-0485-3188),副教授,博士,从事家具智能制造技术与装备、木质材料先进加工技术研究。E-mail: lirongrong@njfu.edu.cn
  • 中图分类号: TP29

Surface defect detection technology of wood-based panel based on image segmentation and deep learning

  • 摘要:   目的  针对板式家具零件表面缺陷人工检测过程存在的检测效率低、准确率低、检测结果无法数字化存储等问题,提出了一种基于图像分割和深度学习算法的饰面人造板表面缺陷的检测方法。  方法  利用工业相机采集人造板图像,构建缺陷数据集,采用全局阈值和局部动态阈值算法分割表面缺陷与图像截取,通过将ReLU6非线性激活函数替代ReLU函数,并引入倒残差结构的方法,优化MobileNetv 2深度学习网络,进行缺陷识别与分类。  结果  该方法对饰面人造板表面崩边和划痕缺陷的检测精确率分别达到了93.1%和97.5%,召回率分别为95.3%和97.6%,单张板件平均检测用时为163 ms。  结论  本研究提出的方法具有较高精度与稳定性,可解决传统人工检测方法的准确率低、效率低等问题,为家具板材表面缺陷的自动化检测提供新思路。图6表3参21
  • 过量施用无机肥导致地表水体富营养化和土壤退化,从而使土壤生产力下降[14]。因此,优化养分管理措施,减少土壤氮磷的流失和提高肥料利用效率迫在眉睫。有机肥和炭基肥替代化肥是减少环境污染和维持作物产量的有效选择[5-7],两者均是通过调整土壤养分供应与作物养分需求,以达到增加肥料利用效率和减少氮磷流失的目的。有机肥养分供应速率取决于有机物质的矿化[8],炭基肥则取决于生物质炭和包覆材料的溶解与扩散[6]。有机肥替代化肥能减少稻田氮素淋溶和径流损失8.7%~25.6%[9-10] 并提高水稻Oryza sativa产量21%~24%[11],水稻氮素利用效率随有机肥比例的增高而增高,但有机肥比例超过 75%则氮素利用效率降低[10]。炭基肥能减少烟草Nicotiana tabacum地氮素淋溶损失的6.45%~8.36%,但减少氮素淋溶效应量随炭基肥添加量的增加而降低[12]。有机肥及炭基肥替代化肥对氮素利用效率和产量的影响效应量大小受肥料类型、施用量、替代率、栽培类型和作物种类影响。如相比尿素,炭基肥能分别提高茶Camellia sinensis 、肉桂Cinnamomum cassia和甜瓜Cucumis mel 产量43%、166%和 176%[13]。坡耕地土壤有着更高侵蚀风险,且即使同为坡耕地,种植甘薯Ipomoea batatas比荒草和谷子的侵蚀风险更高[14]。由于氮磷流失方式的间歇性、流失时间的随机性、流失机制的复杂性、流失途径和流失量的不确定性[15],坡地强化径流的条件下,甘薯坡耕地采用有机肥和炭基肥替代化肥的措施对氮磷养分径流损失的影响难以预测。本研究旨在探讨有机肥和炭基肥替代化肥对甘薯坡耕地土壤径流氮磷流失质量浓度、径流氮磷流失量及其形态的影响,同时分析了径流养分流失量和土壤化学性质之间的关系,以期为甘薯坡耕地径流流失情况和施肥管理措施提供理论依据。

    研究区位于浙江省杭州市临安区板桥镇葱坑村( 30°05′27.64″N,119°44′03.44″E)。该区属亚热带湿润季风气候,四季分明,年日照时数为1 946 h,无霜期为239 d,年平均气温为15.8 ℃,年平均降水量为1 629 mm。海拔为150 m,土壤为红壤土类黄红壤亚类。

    按照随机区组设计4个施肥处理(表1):不施肥(对照)、常规化肥、50%质量分数有机肥+50%质量分数化肥(有机肥50%替代)、炭基肥,每个处理重复3次,小区面积为30 m2。为防止发生侧渗和串灌,各小区之间均用水泥浇灌了宽20 cm,深30 cm的水泥墙。每个小区均配有1个单独的排水口和坡地径流池用于采集地表径流水。甘薯 ‘清香’I. batatas ‘Qingxiang’等高起垄栽插薯苗,行距50 cm,株距30 cm,密度为6.8 万株·hm−2。2020年6月8日施基肥,6月9日移栽插秧,7月20日施追肥,肥料均匀撒施后翻耕,肥料施于土层0~5 cm处。于2020年10月24日收获。

    表 1  施肥方案
    Table 1  Fertilizer types and rates
    处理施用量/(kg·hm−2)m(氮)︰m(五氧化二磷)︰
    m(氧化钾)
    基肥追肥
    不施肥(对照) 0 0 0︰0︰0
    常规化肥 尿素 195.66;钙镁磷肥 500.00;
     硫酸钾 577.00
    尿素 195.66;钙镁磷肥500.00;
     硫酸钾 577.00
    90︰60︰300
    50%质量分数有机肥+50%质量
     分数化肥 (有机肥50%替代)
    菜籽饼900.00;尿素 97.67;
     钙镁磷肥312.67;硫酸钾 559.67
    菜籽饼900.00;尿素 97.67;钙
     镁磷肥312.67;硫酸钾 559.67
    90︰60︰300
    炭基肥 炭基肥500.00;钙镁磷肥291.67;硫
    酸钾480.67
    炭基肥500.00;钙镁磷肥291.67;
     硫酸钾480.67
    90︰60︰300
      说明:尿素中氮质量分数为46%;钙镁磷肥中五氧化二磷质量分数为12%;硫酸钾中氧化钾质量分数为52%;菜籽饼中m(氮)∶m(五氧化二磷)∶m(氧化钾)∶m(碳)=5.0∶2.5∶1.0∶46.0,有机质质量分数为85%;炭基肥由遂昌绿金有机肥有限公司研制,m(氮)∶m(五氧化二磷)∶m(氧化钾)∶m(碳)=18∶5∶10∶25,直径为2~4 mm。其中,生物质炭质量分数为12%,由稻草通过在400~500 ℃缓慢热解,在无氧条件下热解1 h。生物炭质比表面积和孔体积分别为224.2 m2·g−1和0.11 cm3·g−1
    下载: 导出CSV 
    | 显示表格

    分别在2020年的6月22日、7月1日、7月7日、7月12日、7月17日、7月30日及9月21日收集地表径流,先测量径流池水位高度以计算径流水量,再将池内径流水充分搅匀,最后在池中不同部位、不同深度用采水器进行多点混合采集。水样置于4  ℃保存,并带回实验室即刻处理。

    收获甘薯后,每个小区随机选择 5 个位置采集 0~20 cm 土层土样,充分混合后组成一个土样。在土壤样品采集过程中,使用不锈钢容重环刀(直径5.05 cm,高5.00 cm)采集土壤容重样品。将样品分为2份,1份湿土除去可见的根,过 2 mm 筛,用于测定土壤铵态氮和硝态氮。另1份风干,除去可见的根和有机物,然后木盘研磨并过2 mm筛,用于测定土壤pH、速效钾、有效磷。再从过2 mm 筛土壤样品中挑选部分土样用玛瑙研钵研磨并过0.15 mm 筛,用于测定土壤有机碳、总氮、总磷和总钾。

    径流水样总氮、可溶性氮采用碱性过硫酸钾消解紫外分光光度法(GB 11894—1989)测定。径流水样总磷和可溶性磷采用过硫酸钾消解钼蓝比色法(GB 11893—1989)。径流水样铵态氮和硝态氮采用间断分析仪测定。采用 pH 计法测定径流水样 pH。

    土壤样品中的有机碳和总氮采用元素分析仪测定;土壤全磷采用高氯酸-硫酸消煮、钼锑抗比色法测定;土壤全钾采用氢氧化钠熔融、火焰光度法测定;土壤有效磷采用0.030 mol·L−1氟化铵-0.025 mol·L−1盐酸浸提、钼锑抗比色法测定;土壤速效钾采用醋酸铵浸提、火焰光度法测定;土壤硝态氮、氨态氮采用氯化钾浸提—间断分析仪测定。

    氮磷流失量(R, kg·hm−2):$ R = \displaystyle \sum\limits_{n = 1}^n {{C_i}} {V_i} $ ;氮磷流失系数(Cr):$ {C}_{\text{r}}=({R}_{\text{m}}-{R}_{0})/{R}_{\text{f}} $ ;颗粒态氮(PN)质量浓度(NP,mg·L−1): $ {N_{\rm{P}}} = {N_{\rm{T}}} - {N_{\rm{D}}} $ ;颗粒态磷(PP)质量浓度(PP,mg·L−1):$ {P_{\rm{P}}} = {P_{\rm{T}}} - {P_{\rm{D}}} $  ;可溶性有机氮(DON)质量浓度(NDO,mg·L−1):$ {N_{{\rm{DO}}}} = {N_{\rm{D}}} - {N_{\rm{N}}} - {N_{\rm{A}}} $ 。其中:Ci为第 i 次径流水中氮、磷的质量浓度(mg·L−1);Vi为第 i 次径流水的体积(m3);n为总径流次数;Rm为不同施肥类型氮磷流失量;R0为不施肥氮磷流失量;Rf 为不同施肥类型肥料施用量;NT为总氮(TN)质量浓度(mg·L−1);ND为可溶性总氮(DN)质量浓度(mg·L−1);PT为总磷(TP)质量浓度(mg·L−1);PD为可溶性总磷(DP)质量浓度(mg·L−1);NN为硝态氮(NN)质量浓度(mg·L−1);NA为铵态氮(AN)质量浓度(mg·L−1)。

    利用SPSS 26.0进行数据统计分析,采用单因素方差分析和邓肯法多重比较检验不同处理间的差异显著性(P<0.05)。利用主成分分析(PCA)确定径流氮磷及其形态之间相互依存的结构。利用冗余分析(RDA)检查土壤特性与土壤径流氮磷及其形态之间的关系。

    重复测量模型(图1)表明:不同处理、径流产流时间及其相互作用对径流总氮、颗粒氮、硝态氮和铵态氮质量浓度均存在显著影响(P<0.05),地表径流总氮、颗粒氮、硝态氮和铵态氮质量浓度存在峰值效应,并且不同径流产流过程中不同处理的影响也不同。施肥初期,与常规化肥相比,有机肥50%替代和炭基肥处理的径流总氮质量浓度分别减少了58.4%和49.0%;颗粒氮质量浓度分别减少了84.5%和78.3%;硝态氮质量浓度分别减少了32.1%和26.4%;铵态氮质量浓度分别减少了66.1%和80.0%。施肥中后期,常规化肥、有机肥50%替代和炭基肥对径流中总氮、颗粒氮、硝态氮和铵态氮质量浓度的影响较小。

    图 1  不同处理不同时间径流中不同形态氮磷质量浓度和 pH
    Figure 1  Effects of fertilizer types and runoff dates on nitrogen, phosphorus contents and pH value in the runoff

    不同处理和径流产流时间显著影响径流可溶性氮和总磷质量浓度(P<0.05),且不同肥料类型的影响趋向一致。无论径流产流时间如何变化,有机肥50%替代处理的径流中可溶性氮和总磷质量浓度分别为5.23 、1.03 mg·L−1,炭基肥处理的径流中分别为2.85、0.91 mg·L−1,均显著低于常规化肥处理(分别为8.59 和1.33 mg·L−1)。

    径流产流时间显著影响径流可溶性有机氮和可溶性磷质量浓度(P<0.05),但两者并不受不同处理的影响(P>0.05)。另外,pH并不随径流产流时间变化而变化(P>0.05),常规化肥处理中pH值(7.45)低于有机肥50%替代(7.62)和炭基肥(7.79)处理。

    图2A可见:在7次径流产流中,不同处理的径流流失量均无显著差异(P>0.05)。对于常规化肥处理,第1次降雨的径流氮素流失量占全年径流流失总量的46.2%,在这个时期,有机肥50%替代和炭基肥处理可分别减少总氮流失量1.78和1.25 kg·hm−2、硝态氮流失量0.29和0.21 kg·hm−2、铵态氮流失量0.27和0.32 kg·hm−2、可溶性有机氮0.64和0.30 kg·hm−2。由图2B可见:第1次降雨时径流中的磷素流失量占全年径流流失总量的53.9%。有机肥50%替代和炭基肥处理可分别减少总磷流失量的35.3%和32.1%、可溶性磷流失量的54.3%和13.5%、颗粒磷流失量的24.9%和42.3%。

    图 2  不同处理不同时间径流中不同形态氮磷素流失量
    Figure 2  Effects of fertilizer types on different fractions of nitrogen and phosphorus loss rate in runoff in different runoff dates

    图3A图3B可见:不施肥处理每年径流中的总氮和总磷流失量分别为2.27和0.40 kg·hm−2。常规化肥处理每年径流总氮流失量是7.75 kg·hm−2,分别是有机肥50%替代处理(4.02 kg·hm−2)和炭基肥处理(4.68 kg·hm−2)的1.93和1.66倍。有机肥50%替代和炭基肥处理每年径流总磷流失量分别为1.22、1.11 kg·hm−2,是常规化肥处理(1.65 kg·hm−2)的73.9%和67.4%。

    图 3  不同处理的径流中总氮(A)和总磷(B)的流失量及径流系数(C)
    Figure 3  Effects of fertilizer types on total nitrogen (A) and total phosphorus (B) loss rate and runoff coefficients (C) in the runoff

    图3C可见:常规化肥、有机肥50%替代和炭基肥处理总氮流失系数分别为6.09%、1.94%和2.67%, 而总磷流失系数分别为6.91%、4.53%和3.94%。相比常规化肥,有机肥50%替代和炭基肥处理的总氮流失系数分别降低了68.09%和56.11%,而总磷流失系数分别降低了34.54%和43.00%。

    表2可见:与常规化肥处理相比,有机肥50%替代和炭基肥处理的土壤有机碳、全磷、全钾、有机氮、铵态氮和有效钾质量分数都有所提高,但除了炭基肥处理显著提高了土壤有机碳质量分数(P<0.05)外,其余处理均未达显著水平。且与常规化肥处理相比,有机肥50%替代和炭基肥处理的硝态氮和有效磷质量分数分别显著降低了18.1%~26.2%和45.0%~65.0% (P<0.05)。

    表 2  不同处理土壤化学性质
    Table 2  Effects of fertilizer types on soil properties
    处理pH有机碳/
    (g·kg−1)
    全磷/
    (g·kg−1)
    全钾/
    (g·kg−1)
    有机氮/
    (g·kg−1)
    硝态氮/
    (mg·g−1)
    铵态氮/
    (mg·kg−1)
    有效磷/
    (mg·kg−1)
    有效钾/
    (mg·kg−1)
    不施肥 5.62 bc 11.39 b 0.36 a 31.15 a 1.93 a 36.30 b 5.08 a 9.30 b 179.60 b
    常规化肥 5.51 c 11.08 b 0.33 a 27.56 a 1.93 a 49.10 a 6.28 a 26.00 a 241.60 ab
    有机肥50%替代 5.66 b 13.63 ab 0.41 a 27.73 a 2.10 a 40.28 b 7.72 a 9.10 b 212.10 ab
    炭基肥 5.91 a 14.54 a 0.30 a 29.22 a 2.17 a 36.20 b 5.57 a 14.30 b 269.40 a
      说明:同列不同小写字母表示差异显著(P<0.05)。
    下载: 导出CSV 
    | 显示表格

    与常规化肥处理相比,有机肥50%替代处理使硝态氮和可溶性有机氮的占比分别提高了28%和46%,但使铵态氮和颗粒态氮的占比分别减少了9%和18%;炭基肥处理则使硝态氮和可溶性有机氮的占比分别提高了26%和46%,但使铵态氮和颗粒态氮的占比分别减少了8%和20%(图4A)。常规化肥处理的可溶性磷占比(30%)高于有机肥50%替代处理(25%),而低于炭基肥处理(40%) (图4B)。

    图 4  不同处理径流中不同形态氮磷组分
    Figure 4  Effects of fertilizer types on proportions of nitrogen and phosphorus fractions in the runoff

    主成分分析(图5A)发现:2 个轴解释了径流氮磷形态组成中总变异的 90.1%,其中主成分1 对氮磷径流流失形态的贡献率为78.97%,这意味着横坐标是主要的变异因素。本研究中,径流氮磷组分分为 3 个主要组分,并且在主成分1的因素上,有机肥50%替代和炭基肥处理与不施肥、常规化肥处理均显著分开,这表明甘薯坡耕地土壤在经过不同施肥处理后,其径流中氮磷的组分与对照、常规处理相比发生了显著的变化,而有机肥50%替代和炭基肥处理之间的径流氮磷组分趋于一致。冗余分析中两坐标轴能够解释75.86%的关系信息, 说明该结果可较好地反映土壤的化学性质和径流氮磷及其形态之间的关系。冗余分析(图5B)显示:土壤有效磷质量分数与径流氮磷形态组成呈正相关(F=7.0,P=0.007),尤其是常规化肥处理土壤中硝态氮、铵态氮、可溶性有机氮、可溶性总氮、总氮、颗粒态磷、可溶性总磷和总磷径流流失量。

    图 5  不同处理径流中氮磷组分的主成分分析(A)和冗余分析(B)
    Figure 5  Principal component analysis (A) and redundancy analysis (B) of nitrogen and phosphorus fractions in different fertilizer types

    总氮与硝态氮、铵态氮、可溶性有机氮、颗粒态氮和可溶性氮的相关系数分别为0.88、0.71、0.94、0.90和0.98。意味着氮素之间转化是相互依赖和相互转化的。总磷与可溶性磷和颗粒态磷之间的相关系数分别为0.87和0.98,表明各个形态的磷组分间存在显著正相关(P<0.05)。甚至总氮与总磷的相关系数为0.82,即两者之间也呈显著正相关(图6),意味着氮和磷流失量之间为协变关系。径流氮磷流失与土壤化学性质息息相关,如土壤硝态氮能解释径流总氮和总磷的 49%和48%的变化。径流总氮(R2=0.60)和总磷(R2=0.41)流失量随土壤有效磷质量分数增大而增大(图7)。

    图 6  径流中氮磷形态之间的相关关系
    Figure 6  Correlations between runoff nitrogen and phosphorus
    图 7  径流养分流失量和土壤氮磷钾不同形态质量分数及pH之间的相关关系
    Figure 7  Relationships between runoff nutrient loss and soil nitrogen,phosphorus, potassium contents and pH

    本研究表明:有机肥50%替代和炭基肥处理可减少甘薯坡耕地径流总氮质量浓度。在施肥初期,随着施肥时间延长,它们的效应大小甚至方向趋向一致,这可能与作物生长和施肥有关,在施肥初期植株的保水保肥能力较弱,刚施入的肥料未完全与土壤相结合,易于流失。而氮作为植株生长过程中需求量较大的元素,被植株吸收较多,因此土壤径流中各处理氮的质量浓度大幅降低。而孔文杰 [16]研究发现:有机肥和炭基肥对甘薯坡耕地径流总磷质量浓度的影响不随施肥时间推移而变化。然而,有机肥和炭基肥对稻田和蔬菜径流总磷和总氮的质量浓度影响则相反[17],表明在不同种植模式下有机肥和炭基肥影响径流养分质量浓度的效应是不同的。

    不同肥料会影响径流中不同形态氮磷组成,如有机肥50%替代和炭基肥处理均较常规化肥处理可分别提升硝态氮、可溶性有机氮的占比,同时降低铵态氮、颗粒态氮的占比。这是由于有机肥的氮素矿化释放速率慢,以硝态氮和铵态氮形态存在于土壤和径流中相对少,不易发生损失[18]。王静等[19]研究发现:炭基肥对径流中氮磷产生影响的原因可能是增强了土壤持水能力,进而提高可溶性磷和硝态氮含量。肥料类型是影响甘薯氮磷径流流失量的一个重要因素。本研究有机肥50%替代处理较常规化肥处理减少了径流总氮和总磷的流失量,降低了总氮和总磷流失系数,与已有研究结果相同[20-22]。这表明有机肥无论是对菜田、稻田还是坡耕地都能起到减少径流总氮流失量,并能减少坡耕地和菜田径流总磷流失量。然而,有机肥对减少菜地、稻田和坡耕地径流氮磷流失量存在差异[23]。炭基肥处理较常规化肥处理可减少径流氮、磷总量,降低总氮和总磷流失系数,与已有研究结果[24-25]相同。

    脱云飞等[26]、陈晓鹏等[27]研究证明:土壤有效磷、硝态氮的质量分数是影响径流氮磷流失量主要因素。本研究表明:径流总磷的流失量与土壤有效磷质量分数呈正相关,磷的移动性很小,径流中有效磷的累积流失量主要取决于径流对地表的冲刷和浸提,有效磷质量分数高的土壤能够有效指示径流携带的含磷量[28],同时王莺等[29]、刘晓玲等[30]在山核桃Carya cathayensis林和稻田上研究发现:土壤有效磷的质量分数与径流总磷流失量的关系与甘薯田基本一致。而地表径流氮素主要来源于土壤表层氮素的冲刷、溶出和淋溶,土壤硝态氮质量分数与径流总氮的流失量呈正比,王琼等[31]对土壤中硝态氮会直接影响径流中氮的流失进行过研究,而徐爱国等[32]在稻田和菜田中证明土壤硝态氮质量分数与径流液总氮流失量并没有显著相关性,表明土壤硝态氮质量分数预测总氮径流流失量因土地利用方式而异[33]

    本研究结果表明:①有机肥50%替代和炭基肥处理显著影响径流氮磷流失;相比较常规化肥处理,分别降低径流总氮质量浓度的58.4%和49.0%,降低径流总磷质量浓度的22.6%和31.6%;降低总氮流失量的48.1%和39.6%,降低总磷流失量的26.1%和32.7%。②有机肥50%替代和炭基肥处理改变了径流氮磷形态的组成,相比常规化肥处理显著降低了径流氮磷养分流失系数;有机肥50%替代和炭基肥处理的总氮流失系数分别降低了68.09%和56.11%,总磷流失系数分别降低了34.54%和43.00%。③有机肥和炭基肥施用主要是减少施肥前期氮磷养分的流失。随着施肥时间的延长,有机肥和炭基肥在减少氮磷径流流失与常规化肥施肥并无区别,意味着肥效逐渐递减效应和作物吸收的平衡。④土壤化学性质是影响径流氮磷流失量的主要因素。其中土壤硝态氮的质量分数仅可预测甘薯坡耕地土壤养分的流失,土壤有效磷的质量分数可以指示土壤的养分流失。因此,施用有机肥和炭基肥显著影响了径流氮磷流失,但不同肥料之间影响效果存在差别,比较而言,有机肥50%替代化肥处理更适合用于减少甘薯坡耕地径流氮流失,而炭基肥更适用于减少径流磷流失。合理的施肥措施可以有效减少土壤径流氮磷的流失。

  • 图  1  人造板板件缺陷检测系统组成

    Figure  1  Wood-based panel parts defect detection system

    图  2  部分板材及缺陷图像数据集

    Figure  2  Image data set of panel and defect

    图  3  基于图像分割和深度学习的检测算法流程图

    Figure  3  Flow chart of detection algorithm based on image segmentation and classifier

    图  4  图像分割结果

    Figure  4  Image segmentation result

    图  5  调整前后准确率和损失值随训练迭代次数的变化

    Figure  5  Change of accuracy and loss value with the number of iterations before adjustment

    图  6  调整前后混淆矩阵

    Figure  6  Change of accuracy and loss value with the number of iterations before adjustment

    表  1  不同T值和k值影响下的分割效果

    Table  1.   Segmentation effect under the influence of different T and k values    

    Tk过分割率/%欠分割率/%分割精度/%
    1013.0452.6139.50
    0.117.7045.6844.50
    0.219.6838.9651.50
    0.325.0932.9656.00
    0.432.8920.8169.00
    0.536.5125.0860.50
    2028.3235.4850.50
    0.132.8915.7776.50
    0.234.217.2489.00
    0.338.081.2498.00
    0.442.362.8895.00
    0.543.183.6993.50
    3049.378.3583.50
    0.164.092.3393.50
    0.264.410.3699.00
    0.370.590.7497.50
    0.473.402.1392.00
    0.574.133.1088.00
    下载: 导出CSV

    表  2  分类网络模型结构

    Table  2.   Classifier network model structure

    输入尺寸操作$ t $$ c $$ n $$ s $
    2242×3 Conv2d 32 1 2
    1122×32 Bottleneck 1 16 1 1
    1122×16 Bottleneck 6 24 2 2
    562×24 Bottleneck 6 32 2 2
    282×32 Bottleneck 6 96 3 2
    142×96 Bottleneck 6 160 2 2
    72×160 Bottleneck 6 320 1 1
    72×320 Conv2d1×1 640 1 1
    72×640 Avgpool7×7 1
    1×1×640 Conv2d1×1 3
      说明:t为拓展因子,c为输出通道数量,n为重复数,s为每个结构的第1层卷积操作步长。
    下载: 导出CSV

    表  3  不同检测方法的评价结果

    Table  3.   Evaluation results of different detection methods

    检测方法崩边划痕检测单块
    板件平均
    用时/ms
    精准
    率/%
    召回
    率/%
    精准
    率%
    召回
    率%
    文中算法+改进后MobileNetv 2 93.1 95.3 97.5 96.6 163
    文中算法+MobileNetv 2 91.7 93.5 93.8 91.5 233
    SSD+MobileNetv 2 85.5 87.9 93.9 83.1 216
    YOLOv 3+MobileNetv 2 81.6 88.2 92.6 88.6 284
    下载: 导出CSV
  • [1] 罗微, 孙丽萍. 利用局部二值模式和方向梯度直方图融合特征对木材缺陷的支持向量机学习分类[J]. 东北林业大学学报, 2019, 47(6): 70 − 73.

    LUO Wei, SUN Liping. Wood defect detection and classification by fusion feature and support vector machine [J]. Journal of Northeast Forestry University, 2019, 47(6): 70 − 73.
    [2] 刘英, 周晓林, 胡忠康, 等. 基于优化卷积神经网络的木材缺陷检测[J]. 林业工程学报, 2019, 4(1): 115 − 120.

    LIU Ying, ZHOU Xiaolin, HU Zhongkang, et al. Wood defect recognition based on optimized convolution neural network algorithm [J]. Journal of Forestry Engineering, 2019, 4(1): 115 − 120.
    [3] 凌嘉欣, 谢永华. 残差神经网络模型在木质板材缺陷分类中的应用[J]. 东北林业大学学报, 2021, 49(8): 111 − 116.

    LING Jiaxin, XIE Yonghua. Residual neural network model in wood plate defect classification [J]. Journal of Northeast Forestry University, 2021, 49(8): 111 − 116.
    [4] WANG Xuejuan, WU Shuhang, LIU Yunpeng. Detecting wood surface defects with fusion algorithm of visual saliency and local threshold segmentation [C/OL]// YU Hui, DONG Junyu. Ninth International Conference on Graphic and Image Processing (Icgip 2017), 2018: 10615[2023-05-02]. https://doi.org/10.1117/12.2302944.
    [5] LUO Wei, SUN Liping. An improved binarization algorithm of wood image defect segmentation based on non-uniform background [J]. Journal of Forestry Research, 2019, 30(4): 1527 − 1533.
    [6] 胡笑天, 王克俭, 王超, 等. 一种基于改进SSD的原木端面识别方法[J]. 林业工程学报, 2023, 8(1): 141 − 149.

    HU Xiaotian, WANG Kejian, WANG Chao, et al. Development of log end face recognition method based on improved SSD [J]. Journal of Forestry Engineering, 2023, 8(1): 141 − 149.
    [7] 余平平, 林耀海, 赖云锋, 等. 融合BiFPN和YOLOv5s的密集型原木端面检测方法[J]. 林业工程学报, 2023, 8(1): 126 − 134.

    YU Pingping, LIN Yaohai, LAI Yunfeng, et al. Dense log end face detection method using the hybrid of BiFPN and YOLOv5s [J]. Journal of Forestry Engineering, 2023, 8(1): 126 − 134.
    [8] 郑积仕, 张世文, 杨攀, 等. 基于深度学习与深度信息的原木材积检测方法[J]. 林业工程学报, 2023, 8(1): 135 − 140.

    ZHENG Jishi, ZHANG Shiwen, YANG Pan, et al. Log volume detection method based on deep learning and depth information [J]. Journal of Forestry Engineering, 2023, 8(1): 135 − 140.
    [9] NI Chao, LI Zhenye, ZHANG Xiong, et al. Online sorting of the film on cotton based on deep learning and hyperspectral imaging [J]. IEEE Access, 2020, 8: 93028 − 93038.
    [10] LUO Qiwu, FANG Xiaoxin, SU Jiaojiao, et al. Automated visual defect classification for flat steel surface: a survey [J]. Ieee Transactions on Instrumentation and Measurement, 2020, 69(12): 9329 − 9349.
    [11] 郭慧, 王霄, 刘传泽, 等. 人造板表面缺陷检测图像自适应快速阈值分割算法[J]. 林业科学, 2018, 54(11): 134 − 142.

    GUO Hui, WANG Xiao, LIU Chuanze, et al. Research on adaptive fast threshold segmentation algorithm for surface defect detection of wood-based panel [J]. Scientia Silvae Sinicae, 2018, 54(11): 134 − 142.
    [12] 郭慧, 王霄, 刘传泽, 等. 基于灰度共生矩阵和分层聚类的刨花板表面图像缺陷提取方法[J]. 林业科学, 2018, 54(11): 111 − 120.

    GUO Hui, WANG Xiao, LIU Chuanze, et al. Research on defect extraction of particleboard surface images based on gray level co-occurrence matrix and hierarchical clustering [J]. Scientia Silvae Sinicae, 2018, 54(11): 111 − 120.
    [13] 刘传泽, 陈龙现, 刘大伟, 等. 基于剪枝决策树的人造板表面缺陷识别[J]. 计算机系统应用, 2018, 27(11): 168 − 173.

    LIU Chuanze, CHEN Longxian, LIU Dawei, et al. Defect recognition of wood-based panel surface using pruning decision tree [J]. Computer Systems &Applications, 2018, 27(11): 168 − 173.
    [14] 刘传泽, 罗瑞, 陈龙现, 等. 基于区域筛选分割和随机森林的人造板表面缺陷识别[J]. 制造业自动化, 2018, 40(9): 9 − 13.

    LIU Chuanze, LUO Rui, CHEN Longxian, et al. Surface defect recognition of wood-based panel based on regional screening and segmentation and random forest [J]. Manufacturing Automation, 2018, 40(9): 9 − 13.
    [15] LIU Wei, ANGUELOV D, ERHAN D, et al. SSD: single shot multibox detector [M]// LEIBE B, MATAS J, SEBE N, et al. Computer Vision-ECCV 2016. Amsterdam: Springer Cham, 2016: 21 − 37.
    [16] GIRSHICK R. Fast R-CNN [C]// IEEE Computer Society. 2015 Ieee International Conference on Computer Vision (ICCV), Los Alamitos: IEEE, 2015: 1440 − 1448.
    [17] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137 − 1149.
    [18] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection [C]. IEEE Computer Society. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas: IEEE, 2016: 779 − 788.
    [19] ZHU Xingkui, LYU Shuchang, WANG Xu, et al. TPH-YOLOv5: improved yolov5 based on transformer prediction head for object detection on drone-captured scenarios [C]. IEEE Computer Society. 2021 IEEE/Cvf International Conference on Computer Vision Workshops (ICCVW 2021), Los Alamitos: IEEE, 2021: 2778 − 2788.
    [20] 宋小燕, 白福忠, 武建新, 等. 应用灰度直方图特征识别木材表面节子缺陷[J]. 激光与光电子学进展, 2015, 52(3): 205 − 210.

    SONG Xiaoyan, BAI Fuzhong, WU Jianxin, et al. Wood knot defects recognition with gray-scale histogram features [J]. Laser &Optoelectronics Progress, 2015, 52(3): 205 − 210.
    [21] SANDLER M, HOWARD A, ZHU M, et al. MobileNetV2: inverted residuals and linear bottlenecks [J]. IEEE Computer Society. 2018 IEEE/Cvf Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City: IEEE, 2018: 4510 − 4520.
  • [1] 郑倩.  基于文献计量学和机器学习的小麦生物育种文献分析 . 浙江农林大学学报, 2025, 42(1): 210-217. doi: 10.11833/j.issn.2095-0756.20240485
    [2] 刘婷婷, 杨晋帆, 周汝良, 刘琳.  基于地理栅格变量与机器学习的松材线虫病扩散风险分析 . 浙江农林大学学报, 2023, 40(3): 617-626. doi: 10.11833/j.issn.2095-0756.20220470
    [3] 程昱之, 钟丽辉, 何鑫, 王远, 李朝岚.  基于改进K-means聚类与分水岭的木材横截面管孔分割 . 浙江农林大学学报, 2022, 39(1): 173-179. doi: 10.11833/j.issn.2095-0756.20210219
    [4] 李万源, 田佳, 马琴, 金学娟, 杨泽康, 杨鹏辉.  基于Google Earth Engine与机器学习的黄土梯田动态监测 . 浙江农林大学学报, 2021, 38(4): 730-736. doi: 10.11833/j.issn.2095-0756.20200673
    [5] 柳懿祥, 汪杭军, 徐铁平.  1种基于全局对比度的害虫收集方法 . 浙江农林大学学报, 2021, 38(2): 369-376. doi: 10.11833/j.issn.2095-0756.20200318
    [6] 杜雨菲, 吴保国, 陈玉玲.  基于机器学习算法的广西桉树适宜性研究 . 浙江农林大学学报, 2020, 37(1): 122-128. doi: 10.11833/j.issn.2095-0756.2020.01.016
    [7] 王冠, 王建新, 孙钰.  面向边缘计算的轻量级植物病害识别模型 . 浙江农林大学学报, 2020, 37(5): 978-985. doi: 10.11833/j.issn.2095-0756.20190595
    [8] 明浩, 苏喜友.  利用特征分割和病斑增强的杨树叶部病害识别 . 浙江农林大学学报, 2020, 37(6): 1159-1166. doi: 10.11833/j.issn.2095-0756.20190752
    [9] 郑泽宇, 冯海林, 杜晓晨, 方益明.  木材径切面内部缺陷的应力波成像算法 . 浙江农林大学学报, 2019, 36(2): 211-218. doi: 10.11833/j.issn.2095-0756.2019.02.001
    [10] 管昉立, 徐爱俊.  基于智能手机与机器视觉技术的立木胸径测量方法 . 浙江农林大学学报, 2018, 35(5): 892-899. doi: 10.11833/j.issn.2095-0756.2018.05.014
    [11] 张广群, 李英杰, 汪杭军.  基于词袋模型的林业业务图像分类 . 浙江农林大学学报, 2017, 34(5): 791-797. doi: 10.11833/j.issn.2095-0756.2017.05.004
    [12] 周竹, 尹建新, 周素茵, 周厚奎.  基于近红外光谱技术的针叶材板材表面节子缺陷检测 . 浙江农林大学学报, 2017, 34(3): 520-527. doi: 10.11833/j.issn.2095-0756.2017.03.018
    [13] 白雪冰, 许景涛, 郭景秋, 陈凯.  基于局部二值拟合模型的板材表面节子与虫眼的图像分割 . 浙江农林大学学报, 2016, 33(2): 306-314. doi: 10.11833/j.issn.2095-0756.2016.02.017
    [14] 姚飞, 叶康, 周坚华.  植物叶图像特征分析和分类检索 . 浙江农林大学学报, 2015, 32(3): 426-433. doi: 10.11833/j.issn.2095-0756.2015.03.015
    [15] 刘博, 徐华潮, 孟俊国, 孙江华, 樊建庭.  视觉因素在松墨天牛定位寄主和交配中的作用 . 浙江农林大学学报, 2012, 29(4): 617-620. doi: 10.11833/j.issn.2095-0756.2012.04.021
    [16] 尹建新, 祁亨年, 冯海林, 杜晓晨.  一种基于混合纹理特征的木板材表面缺陷检测方法 . 浙江农林大学学报, 2011, 28(6): 937-942. doi: 10.11833/j.issn.2095-0756.2011.06.017
    [17] 尹建新, 楼雄伟, 黄美丽.  灰度直方图在木材表面缺陷检测中的应用 . 浙江农林大学学报, 2008, 25(3): 272-276.
    [18] 文桂峰, 孙芳利, 于红卫.  苦槠木染色深度影响因素初探 . 浙江农林大学学报, 2004, 21(1): 6-9.
    [19] 李健, 张西林, 方躬勇.  浅析普陀山旅游业的深度开发 . 浙江农林大学学报, 2000, 17(4): 398-403.
    [20] 吕晓平, 金根明, 赵仁友, 章华祥.  鞭节华扁叶蜂生物学习性研究 . 浙江农林大学学报, 1993, 10(1): 16-22.
  • 期刊类型引用(0)

    其他类型引用(4)

  • 加载中
  • 链接本文:

    https://zlxb.zafu.edu.cn/article/doi/10.11833/j.issn.2095-0756.20230280

    https://zlxb.zafu.edu.cn/article/zjnldxxb/2024/1/176

图(6) / 表(3)
计量
  • 文章访问数:  796
  • HTML全文浏览量:  215
  • PDF下载量:  49
  • 被引次数: 4
出版历程
  • 收稿日期:  2023-05-06
  • 修回日期:  2023-09-11
  • 录用日期:  2023-09-11
  • 网络出版日期:  2024-01-19
  • 刊出日期:  2024-02-20

基于图像分割和深度学习的人造板表面缺陷检测

doi: 10.11833/j.issn.2095-0756.20230280
    基金项目:  国家木竹产业技术创新战略联盟科研计划课题(Tiawbi202008)
    作者简介:

    杨凡(ORICD: 0009-0004-0710-1266),从事机器视觉技术在家具木制品生成中的应用研究。E-mail: yfan@njfu.edu.cn

    通信作者: 李荣荣(ORICD: 0000-0002-0485-3188),副教授,博士,从事家具智能制造技术与装备、木质材料先进加工技术研究。E-mail: lirongrong@njfu.edu.cn
  • 中图分类号: TP29

摘要:   目的  针对板式家具零件表面缺陷人工检测过程存在的检测效率低、准确率低、检测结果无法数字化存储等问题,提出了一种基于图像分割和深度学习算法的饰面人造板表面缺陷的检测方法。  方法  利用工业相机采集人造板图像,构建缺陷数据集,采用全局阈值和局部动态阈值算法分割表面缺陷与图像截取,通过将ReLU6非线性激活函数替代ReLU函数,并引入倒残差结构的方法,优化MobileNetv 2深度学习网络,进行缺陷识别与分类。  结果  该方法对饰面人造板表面崩边和划痕缺陷的检测精确率分别达到了93.1%和97.5%,召回率分别为95.3%和97.6%,单张板件平均检测用时为163 ms。  结论  本研究提出的方法具有较高精度与稳定性,可解决传统人工检测方法的准确率低、效率低等问题,为家具板材表面缺陷的自动化检测提供新思路。图6表3参21

English Abstract

陈佳寅, 黄程鹏, 郑梦琦, 等. 有机肥和炭基肥替代化肥对甘薯坡耕地径流氮磷损失的影响[J]. 浙江农林大学学报, 2023, 40(3): 540-549. DOI: 10.11833/j.issn.2095-0756.20220360
引用本文: 杨凡, 杨博凯, 李荣荣. 基于图像分割和深度学习的人造板表面缺陷检测[J]. 浙江农林大学学报, 2024, 41(1): 176-182. DOI: 10.11833/j.issn.2095-0756.20230280
CHEN Jiayin, HUANG Chengpeng, ZHENG Mengqi, et al. Effects of substituting organic fertilizer and biochar-based fertilizer instead of chemical fertilizer on nitrogen and phosphorus runoff loss in sweet potato sloping farmland[J]. Journal of Zhejiang A&F University, 2023, 40(3): 540-549. DOI: 10.11833/j.issn.2095-0756.20220360
Citation: YANG Fan, YANG Bokai, LI Rongrong. Surface defect detection technology of wood-based panel based on image segmentation and deep learning[J]. Journal of Zhejiang A&F University, 2024, 41(1): 176-182. DOI: 10.11833/j.issn.2095-0756.20230280
  • 板式家具板件开料过程边缘破损、厂内运输中摩擦划痕以及碰撞损伤等原因,导致板件表面产生缺陷,直接影响其外观质量与使用性能。对家具板件表面缺陷进行检测并分类,不仅能提高制造过程自动化水平与制造效率,也能实现板材品质管理数字化。现阶段,板材缺陷检测主要以人工为主,普遍检测效率低、检测结果受主观因素影响较大,从而导致检测结果准确性无法保证等问题[12]

    机器视觉是一种基于光学成像和数字图像的处理技术,能实现自动化和非接触式的缺陷检测,因检测精度高、速度快等特点已被应用于制造业相关领域[39]。表面缺陷检测从检测算法上大致可分为3类:基于图像结构特征的传统方法、基于统计特征的机器学习方法以及深度学习方法[10]。如分别使用传统图像处理算法中的灰度共生矩阵算法、自适应阈值分割算法实现了人造板表面胶斑、松软和油污图像的分类[1112];利用机器学习算法中的随机森林和决策树算法实现了人造板表面大刨花、油污和杂物图像的分类[1314]。上述2类算法所需样本相对较少,但在算法的实现上需要人为确定表面缺陷特征,存在泛化能力不足的缺点,其准确率可能会受环境、板材表面纹理色彩等因素影响。在板材表面缺陷识别中,机器视觉检测技术成像设备会采集到包含背景信息的整张板材图像,而单独的图像分类模型都是针对局部样本图像进行设计,难以完成在未去除背景信息的板材图像上进行多种缺陷的检测任务。常见缺陷目标检测算法如SSD算法、Faster-RCNN及YOLOv5算法[1519],能对目标缺陷位置信息进行回归预测,并对缺陷种类进行识别。然而,目标检测算法前期需要投入一定的人力,收集大量缺陷板件图像并对其缺陷信息进行标注,以用于模型训练。且算法需要将图像压缩成一定分辨率后再训练和预测,使得类似板件崩边这类小目标的检测任务识别精度较低。

    本研究采用图像分割算法对家具板材图像中的缺陷进行分割并进行图像截取,再利用深度学习算法中的卷积神经网络模型对截取后的图像进行缺陷类别检测,旨在实现使用较少训练样本完成人造板表面崩边和划痕的缺陷检测任务。

    • 系统包括图像采集设备、板件传输设备、图像处理和终端显示设备等(图1)。图像采集设备采用SICK的RangerE高速激光线阵相机,相机光轴与板件运动方向成60°角;LED光源垂直安装于运输带正上方40 cm处。板件传输设备连接编码器,编码器每旋转1圈能向相机发送2 000个脉冲信号,线阵相机会根据接收到的脉冲信号来触发扫描。图像处理设备所用系统软件为Windows 10,GPU型号为GTX1660Ti,CUDA版本11.6,算法在Halcon机器视觉软件环境下开发运行。

      图  1  人造板板件缺陷检测系统组成

      Figure 1.  Wood-based panel parts defect detection system

    • 试材选用三聚氰胺浸渍纸饰面刨花板。线阵相机以行扫描400 μs·帧−1,采集到的板材图像纵向分辨率约0.14 mm·像素−1,横向分辨率约0.20 mm·像素−1。且相机曝光时间为1 200 μs,LED光源光照强度稳定在35 lx。试验共采集饰面人造板图像样本500张,如图2A所示。对其中300张板材图像进行图像裁剪制作缺陷图像样本,并使用随机翻转、遮挡、高斯模糊、镜像等数据增强技术将样本数增加至800张用于深度学习网络进行训练与测试,缺陷数据样本如图2B所示。剩余200张人造板材图像样本用于对整体算法效果进行验证。

      图  2  部分板材及缺陷图像数据集

      Figure 2.  Image data set of panel and defect

    • 系统检测板件表面缺陷算法流程如图3所示。通过对板件表面图像进行基于图像灰度值的阈值分割算法处理[20],在分割区域会生成随缺陷大小变化的矩形检测框,用检测框对图像进行裁剪;然后,将裁剪后图像输入训练好的卷积神经网络分类器进行缺陷分类识别;最后,在图像上显示板件缺陷情况。

      图  3  基于图像分割和深度学习的检测算法流程图

      Figure 3.  Flow chart of detection algorithm based on image segmentation and classifier

    • 使用阈值分割算法,分割板件区域与背景区域;使用全局双阈值分割算法分割崩边缺陷区域,其算法原理如式(1)。针对划痕缺陷的分割,使用局部动态阈值分割算法,其算法原理如式(2)。为减少过分割率,使用了一种基于均值滤波算法的图像增强算法对图像进行预处理,其算法原理如式(3)。

      $$ g\left(i,j\right)=\left\{\begin{array}{c}0,{T}_{\min}\leqslant f\left(i,j\right)-f\left(i,j\right)\leqslant {T}_{\max}\\ 1,f\left(i,j\right) < {T}_{\min}\cup f\left(i,j\right) > {T}_{\max}\end{array}\right. \text{;} $$ (1)
      $$ g\left(i,j\right)=\left\{\begin{array}{c}0,f\left(i,j\right)-\bar{f}\left(i,j\right)\leqslant T\\ 1, f\left(i,j\right)-\bar{f}\left(i,j\right) > T\end{array}\right. \text{;} $$ (2)
      $$ g\left(i,j\right)=\left[f(i,j)-\bar{f}\left(i,j\right)\right]\times k+f\left(i,j\right) 。 $$ (3)

      式(1)~(3)中:$ \left(i,j\right) $是大小为$ n\times n $的图像的坐标,$i,j=\mathrm{1,\,\,2},\,\,3,\, \, \cdots , \,\,n$;$ g\left(i,j\right) $是算法处理后的图像;$ f(i,j) $为原始图像,$ \bar{f}\left(i,j\right) $是$ f(i,j) $经均值滤波处理后的图像;$ g\left(i,j\right)=0 $,表示点$ \left(i,j\right) $为背景区域,$ g\left(i,j\right)=1 $为目标区域; $ {T}_{\mathrm{m}\mathrm{i}\mathrm{n}} $和$ {T}_{\mathrm{m}\mathrm{a}\mathrm{x}} $为最小和最大阈值,在光照稳定的条件下,分别取值40和125;$ T $为动态阈值常数;$ k $为图像增强因子,$ k $值越大,处理后图像的对比度越大。为分析预处理算法中$ T $和$ k $对图像分割准确率的影响,引入分割精度、过分割率和欠分割率进行评价,评价公式见式(4)~(6)。

      $$ A=\left(1-\frac{\left|{R}_{{\rm{s}}}-{T}_{{\rm{s}}}\right|}{{R}_{{\rm{s}}}}\right)\times 100\% \text{;} $$ (4)
      $$ O=\left(\frac{{O}_{{\rm{s}}}}{{R}_{{\rm{s}}}+{O}_{{\rm{s}}}}\right)\times 100\% \text{;} $$ (5)
      $$ U=\left(\frac{{U}_{{\rm{s}}}}{{R}_{{\rm{s}}}+{O}_{{\rm{s}}}}\right)\times 100\% 。 $$ (6)

      式(4)~(6)中:A为分割精度, $ O $为过分割率,$ U $为欠分割率;${R}_{{\rm{s}}}$为实际目标区域面积,${T}_{{\rm{s}}}$为算法分割出的目标区域面积,${O}_{{\rm{s}}}$为算法分割出的非目标区域的面积,${U}_{{\rm{s}}}$为算法未能分割出的目标区域面积。算法分割结果如图4。从表1可知,随T值增大,算法分割精度增大,但算法过分割率也随之增大。当$ T $=2,$ k $=0.3时,算法能在较高分割精度上达到相对较小的过分割和欠分割率。

      图  4  图像分割结果

      Figure 4.  Image segmentation result

      表 1  不同T值和k值影响下的分割效果

      Table 1.  Segmentation effect under the influence of different T and k values    

      Tk过分割率/%欠分割率/%分割精度/%
      1013.0452.6139.50
      0.117.7045.6844.50
      0.219.6838.9651.50
      0.325.0932.9656.00
      0.432.8920.8169.00
      0.536.5125.0860.50
      2028.3235.4850.50
      0.132.8915.7776.50
      0.234.217.2489.00
      0.338.081.2498.00
      0.442.362.8895.00
      0.543.183.6993.50
      3049.378.3583.50
      0.164.092.3393.50
      0.264.410.3699.00
      0.370.590.7497.50
      0.473.402.1392.00
      0.574.133.1088.00
    • 采用一种轻量级卷积神经网络MobileNetv 2来构建缺陷图像分类器 [21]。在MobileNetv 2网络中引入了一系列的倒残差结构(bottlenck residual block),该结构与传统的残差结构操作相反,会对图像特征层进行先升维再降维,且单个卷积核只对特征层向量一个维度进行卷积操作,减少了计算量。Bottlenck层卷积操作后使用了ReLU 6非线性激活函数替代了ReLU函数,增加了模型精度。调整后网络结构如表2所示。表中每行表示1个或多个相同的网络层结构,$ t $为拓展因子,所有结构中卷积核大小都是$ 3\times 3 $,每个结构重复$ n $次,每层的输出通道数量为$ c $,每个结构的第1层卷积操作步长为$ s $,其他卷积层步长为1。

      表 2  分类网络模型结构

      Table 2.  Classifier network model structure

      输入尺寸操作$ t $$ c $$ n $$ s $
      2242×3 Conv2d 32 1 2
      1122×32 Bottleneck 1 16 1 1
      1122×16 Bottleneck 6 24 2 2
      562×24 Bottleneck 6 32 2 2
      282×32 Bottleneck 6 96 3 2
      142×96 Bottleneck 6 160 2 2
      72×160 Bottleneck 6 320 1 1
      72×320 Conv2d1×1 640 1 1
      72×640 Avgpool7×7 1
      1×1×640 Conv2d1×1 3
        说明:t为拓展因子,c为输出通道数量,n为重复数,s为每个结构的第1层卷积操作步长。
    • 为分析调整后的MobileNetv 2网络效果,将800张人造板缺陷图像样本按训练集和测试集7∶3的比例分别对调整前后的网络模型进行训练和测试。训练过程损失值和平均准确率随训练轮次变化结果如图5,模型损失值和准确率在迭代到40轮时开始收敛。调整前模型在测试集上损失值随迭代次数增加有过拟合趋势,调整后模型损失值更加稳定,准确率更高。分类模型缺陷识别结果的混淆矩阵如图6所示,调整后的MobileNetv 2网络对崩边和划痕缺陷的分类准确率均高于调整前,分别达到97.0%和99.0%。

      图  5  调整前后准确率和损失值随训练迭代次数的变化

      Figure 5.  Change of accuracy and loss value with the number of iterations before adjustment

      图  6  调整前后混淆矩阵

      Figure 6.  Change of accuracy and loss value with the number of iterations before adjustment

    • 为分析整体算法的缺陷检测效果,使用机器视觉系统采集200张饰面人造板作为验证集数据,比较本研究中分割算法结合改进前后的MobileNetv 2算法的精确率和召回率。同时,为分析本研究中分割算法结合深度学习分类器方法的优越性,统计了2种常见目标检测模型SSD和YOLOv 3算法检测相同数据集的精确率和召回率。精确率和召回率计算方法如式(7)~(8)。

      $$ \mathrm{精}\mathrm{准}\mathrm{率}=\frac{N_{{\rm{TP}}}}{{N_{{\rm{TP}}}}+{N_{{\rm{FP}}}}}\times 100\% \text{;} $$ (7)
      $$ \mathrm{召}\mathrm{回}\mathrm{率}=\frac{{N_{{\rm{TP}}}}}{{N_{{\rm{TP}}}}+{N_{{\rm{FN}}}}}\times 100\% 。 $$ (8)

      式(7)~(8)中:NTP (true positive)是预测正确的样本数; NFP (false positive)是实际不为该类缺陷但预测为该类型缺陷的样本数;NFN (false negative)是实际为该类缺陷但预测成其他类型的样本数。表3结果显示:使用图像分割算法结合改进后卷积神经网络MobileNetv 2分类模型对板件表面崩边和划痕缺陷的检测精确率分别达到了93.1%和97.5%;召回率分别为95.3%和97.6%。算法平均精确率和召回率均大于SSD算法和YOLOv 3算法。对MobileNetv 2网络结构上的改进使得算法的在崩边和划痕的精准率分别提高了1.4%和4.7%,召回率分别提高了1.8%和5.1%。在MobileNetv 2网络引入倒残差结构,使算法运行耗时从233 ms降低到163 ms。

      表 3  不同检测方法的评价结果

      Table 3.  Evaluation results of different detection methods

      检测方法崩边划痕检测单块
      板件平均
      用时/ms
      精准
      率/%
      召回
      率/%
      精准
      率%
      召回
      率%
      文中算法+改进后MobileNetv 2 93.1 95.3 97.5 96.6 163
      文中算法+MobileNetv 2 91.7 93.5 93.8 91.5 233
      SSD+MobileNetv 2 85.5 87.9 93.9 83.1 216
      YOLOv 3+MobileNetv 2 81.6 88.2 92.6 88.6 284

      试验过程发现:随训练样本数量的增加,SSD算法和YOLOv 3算法的精确率和准确率或许可得到进一步上升,但在模型训练样本量较小(<1 000)的情况下,使用基于阈值分割技术结合图像分类模型对缺陷的检测效果明显更好。原因是图像分割算法不需要对目标框信息进行学习训练,而是直接根据图像灰度特征对目标区域进行定位,减少了检测算法的参数量,使模型训练时损失值能更快地收敛。另外,分割算法对缺陷进行分割时会存在一定的遗漏,导致部分缺陷不能输入到分类网络进行识别,使算法召回率下降;在对一些非缺陷区域进行矩形框截取时,可能会截取到部分缺陷区域,导致将其误识别为缺陷区域,使算法精确率下降。因此,分割算法在设计时应保证较低欠分割率的同时尽量减少过分割率。

    • 本研究采用图像分割算法对家具板材图像中的缺陷进行分割并对图像截取,再利用深度学习中的卷积神经网络模型对截取后的图像进行缺陷类别检测,实现了使用较少训练样本即可完成人造板表面崩边和划痕的缺陷检测任务。对人造板表面崩边和划痕缺陷的检测精确率达到了93.1%和97.5%,召回率分别为95.3%和97.6%。本研究对MobileNetv 2图像分类网络进行了改进研究,使用了ReLU 6非线性激活函数替代了ReLU函数,增加了模型精度,使得算法对崩边和划痕检测的精准率分别提高了1.4%和4.7%,召回率分别提高了1.8%和5.1%。同时,在MobileNetv 2中引入倒残差结构,使算法运行耗时从233 ms降低到163 ms。经验证,在模型训练样本量较小(<1 000)的情况下,使用图像分割结合深度学习的方法对人造板表面缺陷检测的准确率和召回率均高于SSD和YOLOv 3目标检测算法。

参考文献 (21)

目录

/

返回文章
返回