下载:
-
板式家具板件开料过程边缘破损、厂内运输中摩擦划痕以及碰撞损伤等原因，导致板件表面产生缺陷，直接影响其外观质量与使用性能。对家具板件表面缺陷进行检测并分类，不仅能提高制造过程自动化水平与制造效率，也能实现板材品质管理数字化。现阶段，板材缺陷检测主要以人工为主，普遍检测效率低、检测结果受主观因素影响较大，从而导致检测结果准确性无法保证等问题[1−2]。
机器视觉是一种基于光学成像和数字图像的处理技术，能实现自动化和非接触式的缺陷检测，因检测精度高、速度快等特点已被应用于制造业相关领域[3−9]。表面缺陷检测从检测算法上大致可分为3类：基于图像结构特征的传统方法、基于统计特征的机器学习方法以及深度学习方法[10]。如分别使用传统图像处理算法中的灰度共生矩阵算法、自适应阈值分割算法实现了人造板表面胶斑、松软和油污图像的分类[11−12]；利用机器学习算法中的随机森林和决策树算法实现了人造板表面大刨花、油污和杂物图像的分类[13−14]。上述2类算法所需样本相对较少，但在算法的实现上需要人为确定表面缺陷特征，存在泛化能力不足的缺点，其准确率可能会受环境、板材表面纹理色彩等因素影响。在板材表面缺陷识别中，机器视觉检测技术成像设备会采集到包含背景信息的整张板材图像，而单独的图像分类模型都是针对局部样本图像进行设计，难以完成在未去除背景信息的板材图像上进行多种缺陷的检测任务。常见缺陷目标检测算法如SSD算法、Faster-RCNN及YOLOv5算法[15−19]，能对目标缺陷位置信息进行回归预测，并对缺陷种类进行识别。然而，目标检测算法前期需要投入一定的人力，收集大量缺陷板件图像并对其缺陷信息进行标注，以用于模型训练。且算法需要将图像压缩成一定分辨率后再训练和预测，使得类似板件崩边这类小目标的检测任务识别精度较低。
本研究采用图像分割算法对家具板材图像中的缺陷进行分割并进行图像截取，再利用深度学习算法中的卷积神经网络模型对截取后的图像进行缺陷类别检测，旨在实现使用较少训练样本完成人造板表面崩边和划痕的缺陷检测任务。
-
系统包括图像采集设备、板件传输设备、图像处理和终端显示设备等(图1)。图像采集设备采用SICK的RangerE高速激光线阵相机，相机光轴与板件运动方向成60°角；LED光源垂直安装于运输带正上方40 cm处。板件传输设备连接编码器，编码器每旋转1圈能向相机发送2 000个脉冲信号，线阵相机会根据接收到的脉冲信号来触发扫描。图像处理设备所用系统软件为Windows 10，GPU型号为GTX1660Ti，CUDA版本11.6，算法在Halcon机器视觉软件环境下开发运行。
图 1 人造板板件缺陷检测系统组成
Figure 1. Wood-based panel parts defect detection system
-
试材选用三聚氰胺浸渍纸饰面刨花板。线阵相机以行扫描400 μs·帧−1，采集到的板材图像纵向分辨率约0.14 mm·像素−1，横向分辨率约0.20 mm·像素−1。且相机曝光时间为1 200 μs，LED光源光照强度稳定在35 lx。试验共采集饰面人造板图像样本500张，如图2A所示。对其中300张板材图像进行图像裁剪制作缺陷图像样本，并使用随机翻转、遮挡、高斯模糊、镜像等数据增强技术将样本数增加至800张用于深度学习网络进行训练与测试，缺陷数据样本如图2B所示。剩余200张人造板材图像样本用于对整体算法效果进行验证。
图 2 部分板材及缺陷图像数据集
Figure 2. Image data set of panel and defect
-
系统检测板件表面缺陷算法流程如图3所示。通过对板件表面图像进行基于图像灰度值的阈值分割算法处理[20]，在分割区域会生成随缺陷大小变化的矩形检测框，用检测框对图像进行裁剪；然后，将裁剪后图像输入训练好的卷积神经网络分类器进行缺陷分类识别；最后，在图像上显示板件缺陷情况。
图 3 基于图像分割和深度学习的检测算法流程图
Figure 3. Flow chart of detection algorithm based on image segmentation and classifier
-
使用阈值分割算法，分割板件区域与背景区域；使用全局双阈值分割算法分割崩边缺陷区域，其算法原理如式(1)。针对划痕缺陷的分割，使用局部动态阈值分割算法，其算法原理如式(2)。为减少过分割率，使用了一种基于均值滤波算法的图像增强算法对图像进行预处理，其算法原理如式(3)。
$$ g\left(i,j\right)=\left\{\begin{array}{c}0,{T}_{\min}\leqslant f\left(i,j\right)-f\left(i,j\right)\leqslant {T}_{\max}\\ 1,f\left(i,j\right) ＜ {T}_{\min}\cup f\left(i,j\right) ＞ {T}_{\max}\end{array}\right. \text{；} $$ (1) $$ g\left(i,j\right)=\left\{\begin{array}{c}0,f\left(i,j\right)-\bar{f}\left(i,j\right)\leqslant T\\ 1, f\left(i,j\right)-\bar{f}\left(i,j\right) ＞ T\end{array}\right. \text{；} $$ (2) $$ g\left(i,j\right)=\left[f(i,j)-\bar{f}\left(i,j\right)\right]\times k+f\left(i,j\right) 。 $$ (3) 式(1)~(3)中：$ \left(i,j\right) $是大小为$ n\times n $的图像的坐标，$i,j=\mathrm{1,\,\,2},\,\,3,\, \, \cdots , \,\,n$；$ g\left(i,j\right) $是算法处理后的图像；$ f(i,j) $为原始图像，$ \bar{f}\left(i,j\right) $是$ f(i,j) $经均值滤波处理后的图像；$ g\left(i,j\right)=0 $，表示点$ \left(i,j\right) $为背景区域，$ g\left(i,j\right)=1 $为目标区域； $ {T}_{\mathrm{m}\mathrm{i}\mathrm{n}} $和$ {T}_{\mathrm{m}\mathrm{a}\mathrm{x}} $为最小和最大阈值，在光照稳定的条件下，分别取值40和125；$ T $为动态阈值常数；$ k $为图像增强因子，$ k $值越大，处理后图像的对比度越大。为分析预处理算法中$ T $和$ k $对图像分割准确率的影响，引入分割精度、过分割率和欠分割率进行评价，评价公式见式(4)~(6)。
$$ A=\left(1-\frac{\left|{R}_{{\rm{s}}}-{T}_{{\rm{s}}}\right|}{{R}_{{\rm{s}}}}\right)\times 100\% \text{；} $$ (4) $$ O=\left(\frac{{O}_{{\rm{s}}}}{{R}_{{\rm{s}}}+{O}_{{\rm{s}}}}\right)\times 100\% \text{；} $$ (5) $$ U=\left(\frac{{U}_{{\rm{s}}}}{{R}_{{\rm{s}}}+{O}_{{\rm{s}}}}\right)\times 100\% 。 $$ (6) 式(4)~(6)中：A为分割精度， $ O $为过分割率，$ U $为欠分割率；${R}_{{\rm{s}}}$为实际目标区域面积，${T}_{{\rm{s}}}$为算法分割出的目标区域面积，${O}_{{\rm{s}}}$为算法分割出的非目标区域的面积，${U}_{{\rm{s}}}$为算法未能分割出的目标区域面积。算法分割结果如图4。从表1可知，随T值增大，算法分割精度增大，但算法过分割率也随之增大。当$ T $=2，$ k $=0.3时，算法能在较高分割精度上达到相对较小的过分割和欠分割率。
图 4 图像分割结果
Figure 4. Image segmentation result
表 1 不同T值和k值影响下的分割效果
Table 1. Segmentation effect under the influence of different T and k values
T k 过分割率/% 欠分割率/% 分割精度/% 1 0 13.04 52.61 39.50 0.1 17.70 45.68 44.50 0.2 19.68 38.96 51.50 0.3 25.09 32.96 56.00 0.4 32.89 20.81 69.00 0.5 36.51 25.08 60.50 2 0 28.32 35.48 50.50 0.1 32.89 15.77 76.50 0.2 34.21 7.24 89.00 0.3 38.08 1.24 98.00 0.4 42.36 2.88 95.00 0.5 43.18 3.69 93.50 3 0 49.37 8.35 83.50 0.1 64.09 2.33 93.50 0.2 64.41 0.36 99.00 0.3 70.59 0.74 97.50 0.4 73.40 2.13 92.00 0.5 74.13 3.10 88.00 -
采用一种轻量级卷积神经网络MobileNetv 2来构建缺陷图像分类器 [21]。在MobileNetv 2网络中引入了一系列的倒残差结构(bottlenck residual block)，该结构与传统的残差结构操作相反，会对图像特征层进行先升维再降维，且单个卷积核只对特征层向量一个维度进行卷积操作，减少了计算量。Bottlenck层卷积操作后使用了ReLU 6非线性激活函数替代了ReLU函数，增加了模型精度。调整后网络结构如表2所示。表中每行表示1个或多个相同的网络层结构，$ t $为拓展因子，所有结构中卷积核大小都是$ 3\times 3 $，每个结构重复$ n $次，每层的输出通道数量为$ c $，每个结构的第1层卷积操作步长为$ s $，其他卷积层步长为1。
表 2 分类网络模型结构
Table 2. Classifier network model structure
输入尺寸 操作 $ t $ $ c $ $ n $ $ s $ 2242×3 Conv2d 32 1 2 1122×32 Bottleneck 1 16 1 1 1122×16 Bottleneck 6 24 2 2 562×24 Bottleneck 6 32 2 2 282×32 Bottleneck 6 96 3 2 142×96 Bottleneck 6 160 2 2 72×160 Bottleneck 6 320 1 1 72×320 Conv2d1×1 640 1 1 72×640 Avgpool7×7 1 1×1×640 Conv2d1×1 3 说明：t为拓展因子，c为输出通道数量，n为重复数，s为每个结构的第1层卷积操作步长。 -
为分析调整后的MobileNetv 2网络效果，将800张人造板缺陷图像样本按训练集和测试集7∶3的比例分别对调整前后的网络模型进行训练和测试。训练过程损失值和平均准确率随训练轮次变化结果如图5，模型损失值和准确率在迭代到40轮时开始收敛。调整前模型在测试集上损失值随迭代次数增加有过拟合趋势，调整后模型损失值更加稳定，准确率更高。分类模型缺陷识别结果的混淆矩阵如图6所示，调整后的MobileNetv 2网络对崩边和划痕缺陷的分类准确率均高于调整前，分别达到97.0%和99.0%。
图 5 调整前后准确率和损失值随训练迭代次数的变化
Figure 5. Change of accuracy and loss value with the number of iterations before adjustment
图 6 调整前后混淆矩阵
Figure 6. Change of accuracy and loss value with the number of iterations before adjustment
-
为分析整体算法的缺陷检测效果，使用机器视觉系统采集200张饰面人造板作为验证集数据，比较本研究中分割算法结合改进前后的MobileNetv 2算法的精确率和召回率。同时，为分析本研究中分割算法结合深度学习分类器方法的优越性，统计了2种常见目标检测模型SSD和YOLOv 3算法检测相同数据集的精确率和召回率。精确率和召回率计算方法如式(7)~(8)。
$$ \mathrm{精}\mathrm{准}\mathrm{率}=\frac{N_{{\rm{TP}}}}{{N_{{\rm{TP}}}}+{N_{{\rm{FP}}}}}\times 100\% \text{；} $$ (7) $$ \mathrm{召}\mathrm{回}\mathrm{率}=\frac{{N_{{\rm{TP}}}}}{{N_{{\rm{TP}}}}+{N_{{\rm{FN}}}}}\times 100\% 。 $$ (8) 式(7)~(8)中：NTP (true positive)是预测正确的样本数； NFP (false positive)是实际不为该类缺陷但预测为该类型缺陷的样本数；NFN (false negative)是实际为该类缺陷但预测成其他类型的样本数。表3结果显示：使用图像分割算法结合改进后卷积神经网络MobileNetv 2分类模型对板件表面崩边和划痕缺陷的检测精确率分别达到了93.1%和97.5%；召回率分别为95.3%和97.6%。算法平均精确率和召回率均大于SSD算法和YOLOv 3算法。对MobileNetv 2网络结构上的改进使得算法的在崩边和划痕的精准率分别提高了1.4%和4.7%，召回率分别提高了1.8%和5.1%。在MobileNetv 2网络引入倒残差结构，使算法运行耗时从233 ms降低到163 ms。
表 3 不同检测方法的评价结果
Table 3. Evaluation results of different detection methods
检测方法 崩边 划痕 检测单块
板件平均
用时/ms精准
率/%召回
率/%精准
率%召回
率%文中算法+改进后MobileNetv 2 93.1 95.3 97.5 96.6 163 文中算法+MobileNetv 2 91.7 93.5 93.8 91.5 233 SSD+MobileNetv 2 85.5 87.9 93.9 83.1 216 YOLOv 3+MobileNetv 2 81.6 88.2 92.6 88.6 284 试验过程发现：随训练样本数量的增加，SSD算法和YOLOv 3算法的精确率和准确率或许可得到进一步上升，但在模型训练样本量较小(＜1 000)的情况下，使用基于阈值分割技术结合图像分类模型对缺陷的检测效果明显更好。原因是图像分割算法不需要对目标框信息进行学习训练，而是直接根据图像灰度特征对目标区域进行定位，减少了检测算法的参数量，使模型训练时损失值能更快地收敛。另外，分割算法对缺陷进行分割时会存在一定的遗漏，导致部分缺陷不能输入到分类网络进行识别，使算法召回率下降；在对一些非缺陷区域进行矩形框截取时，可能会截取到部分缺陷区域，导致将其误识别为缺陷区域，使算法精确率下降。因此，分割算法在设计时应保证较低欠分割率的同时尽量减少过分割率。
-
本研究采用图像分割算法对家具板材图像中的缺陷进行分割并对图像截取，再利用深度学习中的卷积神经网络模型对截取后的图像进行缺陷类别检测，实现了使用较少训练样本即可完成人造板表面崩边和划痕的缺陷检测任务。对人造板表面崩边和划痕缺陷的检测精确率达到了93.1%和97.5%，召回率分别为95.3%和97.6%。本研究对MobileNetv 2图像分类网络进行了改进研究，使用了ReLU 6非线性激活函数替代了ReLU函数，增加了模型精度，使得算法对崩边和划痕检测的精准率分别提高了1.4%和4.7%，召回率分别提高了1.8%和5.1%。同时，在MobileNetv 2中引入倒残差结构，使算法运行耗时从233 ms降低到163 ms。经验证，在模型训练样本量较小(＜1 000)的情况下，使用图像分割结合深度学习的方法对人造板表面缺陷检测的准确率和召回率均高于SSD和YOLOv 3目标检测算法。
Surface defect detection technology of wood-based panel based on image segmentation and deep learning
-
摘要:
目的 针对板式家具零件表面缺陷人工检测过程存在的检测效率低、准确率低、检测结果无法数字化存储等问题，提出了一种基于图像分割和深度学习算法的饰面人造板表面缺陷的检测方法。 方法 利用工业相机采集人造板图像，构建缺陷数据集，采用全局阈值和局部动态阈值算法分割表面缺陷与图像截取，通过将ReLU6非线性激活函数替代ReLU函数，并引入倒残差结构的方法，优化MobileNetv 2深度学习网络，进行缺陷识别与分类。 结果 该方法对饰面人造板表面崩边和划痕缺陷的检测精确率分别达到了93.1%和97.5%，召回率分别为95.3%和97.6%，单张板件平均检测用时为163 ms。 结论 本研究提出的方法具有较高精度与稳定性，可解决传统人工检测方法的准确率低、效率低等问题，为家具板材表面缺陷的自动化检测提供新思路。图6表3参21 Abstract:Objective Aiming at the problems of low detection efficiency, low accuracy and digital storage of detection results in the manual detection of surface defects of panel furniture parts, a surface defect detection method of veneer wood-based panel based on image segmentation and deep learning algorithm was proposed. Method The defect data set was constructed by the artificial panel images collected by industrial cameras. The global threshold and local dynamic threshold algorithms were used to segment surface defects and image interceptions. The ReLU6 nonlinear activation function was replaced by ReLU function, and the method of reciprocal residual structure was introduced to optimize the MobileNetv 2 deep learning network, and the defect identification and classification were carried out. Result The accuracy of the algorithm for the detection of edge breakage and scratch defects on the surface of the veneer panel is 93.1% and 97.5%, and the recall rate is 95.3% and 97.6%, respectively. The average detection time of a single sheet is 163 ms. Conclusion The method has high precision and stability, which can solve the problems of low accuracy and low efficiency of traditional manual detection methods, and provide a new idea for automatic detection of surface defects of furniture panels. [Ch, 6 fig. 3 tab. 21 ref.] -
Key words:
- defect detection /
- machine vision /
- image segmentation /
- deep learning /
- panel custom furniture
-
森林作为陆地生态系统的主体，是全球气候系统的重要组成部分，森林生态系统的碳循环是全球陆地碳循环与气候变化响应研究的重要内容[1−4]。森林容易受海陆位置以及气候条件(如夏季高温、台风等)的影响，同时，人类活动对森林的干扰也较为频繁，因此森林所受干扰特性较为复杂。森林干扰与恢复引起的森林变化，直接影响地表水文、气候以及生物地球化学循环过程[5−7]。干扰与恢复是森林生态系统动态变化的主要驱动力，干扰与恢复的历史会影响林分的生长状态，不同干扰与恢复的类别、强度与大小将会改变林分物种组成与林分结构[8−10]。典型的自然干扰(雨雪灾害等)与人为干扰(采伐、土地利用变化等)以及干扰后更新，都将影响森林碳汇[11−12]。目前，缺乏长时期的森林时空动态监测资料，森林干扰与恢复对于森林碳循环的贡献仍不确定[13−15]。因此，监测森林干扰与恢复，揭示和掌握森林干扰与恢复的时空变化特征，对于理解景观、区域甚至全球尺度的森林碳循环和气候变化至关重要[16−17]。
遥感技术具有大面积同步观测、覆盖范围广、时效性好等特点，可作为森林干扰与恢复监测的重要技术手段[11, 18−19]。传统的森林变化监测往往采用时间跨度大的2期或者多期同一地区影像进行分类对比分析[20]。过去20 a内通常采用MODIS和AVHRR等高时间分辨率和低空间分辨率的影像进行长时间序列分析[21]。此类方法对于面积较小区域的(如县域)森林变化监测能力较差。近年来，30 m的Landsat卫星影像构成的时间序列堆栈(LTSS)数据为精确的森林干扰监测提供了重要的数据支撑[22−23]。
森林干扰与恢复的监测方法主要有分类比较法、影像差异法、分类及统计分析法、时间序列分析法、数据融合法等[16, 23]。与其他方法相比，时间序列分析方法能够确定森林干扰与恢复发生的年份、持续时间、干扰强度等信息，能够有效地监测森林的长期变化状况[19, 23]。时间序列分析法主要包含基于光谱轨迹的Landsat干扰和恢复趋势监测(LandTrendr)、持续变化监测与分类(CCDC)、植被变化跟踪(VCT)以及季节与趋势断点监测(BFAST)等算法[24−29]。其中，VCT能够较好监测森林变化，但不能有效监测间伐与森林退化等干扰；BFAST算法对于影像要求较高，在云覆盖高的区域监测效果欠佳；LandTrendr算法却能识别急剧(皆伐等)和缓慢变化(干扰后更新等)的事件，能够有效且精确地监测到森林干扰与恢复。因此，采用LandTrendr算法监测森林干扰与恢复逐渐成为森林干扰与恢复监测的主要方法[30−33]。
自20世纪80年代起，中国亚热带森林覆盖率显著增加，较小的林龄结构与充沛的雨热条件使得该区域森林有可能成为全球较大的碳汇区[34−35]。持续的森林干扰与恢复带来的林龄效应将会严重影响该区域的碳收支情况[16, 36]。浙江省松阳县森林资源丰富，碳汇潜力巨大，是百山祖国家公园三级联动区，因此，监测松阳县森林变化可为准确评估该区域森林发展态势，为森林经营规划提供理论依据与技术支撑，也对提高亚热带森林的抗干扰能力，增强亚热带森林的自然恢复能力和保护百山祖国家公园生态环境具有重要的参考意义。本研究以松阳县为例，基于长时间序列的LandsatTM/OLI影像数据，采用LandTrendr算法监测松阳县森林干扰与恢复，分析其时空动态变化，从而为松阳县亚热带森林管理提供参考。
1. 材料与方法
1.1 研究区概况
松阳县位于浙江省丽水市，地理坐标为28°14′~28°36′N，119°10′~119°42′E。地处浙江省西南部，东连丽水市莲都区，南接龙泉市、云和县，西北靠遂昌县，东北与金华市武义县接壤。全境以中、低山丘陵地带为主，属亚热带季风气候，温暖湿润，四季分明。全县辖3个街道，5个镇，11个乡，总面积为1406.00 km2。截至2022年，松阳县森林面积达1 119.23 km2，森林覆盖率为79.83%。其中公益林面积为637.88 km2，占全县林地总面积的54.9%，松林面积占全县森林面积的59.39%。
1.2 数据与处理
1.2.1 遥感时间序列数据
本研究基于谷歌地球引擎(GEE)云平台，选取1987—2020年所有可获得的LandsatTM/OLI地表反射率影像作为LandTrendr算法的数据基础。所选择的影像都属于Landsat Collection 1 L1TP级别，且经过辐射定标、大气校正和几何校正等，质量较高，适用于长时间序列的定量分析。影像选取原则为：①尽量获取在植被生长茂盛期(6—9月)的影像，以减少物候对植被光谱识别的干扰；②尽量选取云量少(＜10%)的影像，以保证时间序列内有相对较高的影像质量。利用美国地质勘探局(USGS)的CFMask算法去云，并使用邻近月份的清晰像素填充，以确保生成无云影像。最终，收集到符合条件的影像共计52幅。将所有选定的地表反射率影像组合在一起，形成年度Landsat时间序列影像堆栈(LTSS)，通过每年1幅影像组成Landsat影像的时间序列。每年1幅影像的像元值是该年符合时间和云量条件的影像对应像元值的中值，后续通过年度LTSS数据与LandTrendr算法监测森林干扰。
1.2.2 土地覆盖数据
松阳县森林信息分布数据(图1A~B)来源于ZHANG等[37]的1985—2020年全球30 m精细地表覆盖动态监测产品(GLC_FCS30-1985-2020)。从产品中剔除水体、农田、不透水表面3类土地覆盖，确定1985与2020年森林(阔叶林、针叶林)区域，并将2期森林区域合并，取两者并集作为本研究的森林变化潜在区域。此森林变化潜在区域将用来掩膜LandTrendr结果中非林地区域，以此来避免与农田、草地的错误检测。
图 1 1985和2020年研究区土地覆盖空间格局Figure 1 Spatial pattern of land cover in 1985 (A) and 2020 (B) of the study area1.2.3 验证样本数据
森林干扰与恢复的样点数据来源于1986—2014年浙江省森林资源连续清查与谷歌高清影像目视解译。根据样点位置，结合样地的地类、树种及林龄等信息，通过目视解译来区分1987—2020年清查样点的变化情况(森林干扰、恢复、稳定)。共随机标记了100个样点，其中包括32个森林损失样点，40个森林恢复样点，其余为森林持续(未变化)样点。这些样点将用于LandTrendr分割结果的验证分析。
1.3 LandTrendr算法
LandTrendr算法是最有效的监测森林干扰和恢复的方法之一[38−39]，主要通过时间序列分割算法获取影像光谱值突变和缓慢变化的信息[25, 40]。目前，LandTrendr算法移植到GEE平台后，简化了数据管理与图像预处理，作为LT-GEE算法被广泛使用[41−42]。本研究采用LT-GEE来实现LandTrendr算法。
KENNEDY等[25]与COHEN等[40]研究表明：归一化燃烧比指数(RNB)对于捕捉干扰事件具有最大敏感性，且具备较好的解释能力[25, 40]。因此，本研究使用$ {R}_{\mathrm{N}\mathrm{B}} $作为LandTrendr算法的监测指数，其计算公式为：
$$ {R}_{\mathrm{N}\mathrm{B}}=\frac{{\sigma }_{\mathrm{N}\mathrm{I}\mathrm{R}}-{\sigma }_{\mathrm{S}\mathrm{W}\mathrm{I}\mathrm{R}2}}{{\mathrm{\sigma }}_{\mathrm{N}\mathrm{I}\mathrm{R}}+{\sigma }_{{\rm{S}}\mathrm{W}\mathrm{I}\mathrm{R}2}} 。 $$ (1) 式(1)中：$ {\sigma }_{\mathrm{N}\mathrm{I}\mathrm{R}} $为近红外波段反射率，反映健康绿色植被，$ {\sigma }_{\mathrm{S}\mathrm{W}\mathrm{I}\mathrm{R}2} $为短波中红外波段反射率，反映岩石和裸土。健康的森林有高的$ {\sigma }_{\mathrm{N}\mathrm{I}\mathrm{R}} $值与低的$ {\sigma }_{{\rm{SWIR2}}} $值，从而具备高的$ {R}_{\mathrm{N}\mathrm{B}} $值。一旦森林经过干扰，$ {R}_{\mathrm{N}\mathrm{B}} $将会大幅度下降。
LandTrendr算法将对时间序列LTSS中的每个像元构建归一化燃烧比指数光谱轨迹，并利用时间序列分割算法来回归出归一化燃烧比指数光谱直线轨迹，从而识别归一化燃烧比指数急剧变化的断点并判断得到变化的年份。整个过程将识别归一化燃烧比指数值的3种特性，即整体下降(干扰)、整体增加(恢复)和整体保持不变(稳定)。LandTrendr算法在GEE上运行的具体参数设置如表1所示。分别利用LandTrendr算法对森林干扰与恢复事件进行检测，从而获得1987—2020年松阳县森林干扰与恢复发生的年份。基于森林干扰与恢复的样点数据，通过混淆矩阵计算总体精度、生产者精度、用户者精度，评估森林干扰与恢复的监测效果。
表 1 基于GEE的LandTrendr运行所需参数Table 1 Parameters used in LandTrendr processing过程 参数 值 过程 参数 值 过程 参数 值 分割 光谱指数 RNB 分割 恢复阈值 0.25 过滤 年份 1987—2020 轨迹分割最大数量 6.0 拟合最大P值 0.05 变化量 ＞200 尖峰抑制参数 0.9 最优模型比例 0.75 持续时间 ＜4 顶点数量控制参数 3.0 最小观测值数量 6.00 变化前光谱值 ＞300 是否允许1 a恢复 true 2. 结果与分析
2.1 森林干扰与恢复精度评价
图2是森林干扰与恢复监测结果的2个示例。由图2A可见：标记处RNB光谱值在2016年急剧下降，表明森林干扰发生在2016年，与LandTrendr算法计算结果一致；图2B标记处RNB光谱值在2003年开始下降，到2014年最小，并在2014年后逐渐升高，表明森林恢复发生在2004年，也与LandTrendr算法计算结果相一致。由此可见：LandTrendr算法分割的光谱轨迹可有效区分森林干扰与恢复年份。
为了定量评估森林干扰与恢复精度，计算混淆矩阵(表2)。由表2可见：LandTrendr算法计算的总体精度达到了82.00%，森林干扰与恢复监测的生产者精度分别达87.50%、80.00%，干扰与恢复监测的用户者精度分别达84.80%、82.05%。精度均在80.00%，表明LandTrendr可以有效地监测到松阳县森林干扰与恢复情况。
表 2 基于混淆矩阵的LandTrendr检测精度评价Table 2 Accuracy evaluation of LandTrendr detection based on confusion matrix类型 生产精度/% 用户精度/% 总体精度/% 干扰 87.50 84.80 82.00 恢复 80.00 82.05 稳定 78.57 78.57 2.2 森林干扰与恢复空间格局
由图3可见：水体、非森林、持续森林已被掩膜。从空间分布上来看，1987—2020年森林干扰较为破碎，多数分布在不透水地表周边，尤其集中在松阳县东南角(如西屏街道、水南街道、象溪镇)等区域，而森林恢复在各个区域均有发生，分布较广。
图 3 1987—2020年间松阳县森林干扰(A)与恢复(B)发生年份以及各年份森林减少(C)与增加(D)面积Figure 3 Years of forest disturbance (A) and restoration (B) and areas of forest loss (C) and gain (D) in Songyang County during 1987－2020经统计，1987—2020年森林干扰总面积达148.14 km2，占林地面积的12.00%。其中2006—2010年森林干扰面积最高，达36.62 km2，占总干扰的24.00%。这一段时间内森林干扰严重，一方面是受松材线虫Bursaphelenchus xylophilus病影响，松阳县大量马尾松Pinus massoniana林因受侵害而被砍伐；另一方面是由于2008年松阳县受特大暴雪和冻雨灾害侵袭，森林资源损失严重[43]。而1987—2020年森林恢复总面积达236.86 km2，占林地面积的20.37%。其中1987—1990和2006—2010年森林恢复面积较高，分别达67.90和59.55 km2，占总森林恢复的28.67%和25.14%。1987—1990年森林恢复主要原因是改革开放后退耕还林、植树造林等重大工程项目的实施，而2006—2010年森林恢复主要是因为自2008年雪灾后的2009与2010年森林自然更新与人为再造林。
除森林重大受灾或国家重大植树造林工程展开的年份外，松阳县隔5 a的森林干扰与恢复面积一般稳定在20.00~30.00 km2。整体上，松阳县森林恢复面积高于森林干扰面积，森林面积呈现逐渐增加趋势。
2.3 松阳县各乡(镇)森林干扰与恢复面积统计
由表3可见：各乡(镇)在1987—2020年森林总干扰面积为1.62~25.96 km2，总恢复面积为2.43~46.00 km2。各个乡(镇)总恢复面积均高于总干扰面积，说明1987—2020年各乡(镇)森林总面积净增长。其中，大东坝镇、板桥畲族乡、新兴镇、玉岩镇总恢复面积远远高于总干扰面积，森林面积分别增加了20.04、11.03、10.33、8.49 km2。这些乡(镇)位于山地丘陵，自然林和公益林较多，受自然灾害与人为破坏后，森林自然更新以及造林再造林活动等促使了森林大量恢复。位于松阳县平原且人类活动频繁的城镇中心，如往松街道、古市镇、斋坛乡、樟溪乡等乡(镇)森林干扰面积与恢复面积相当，森林面积增加较少。
表 3 松阳县乡(镇)级别森林干扰与恢复面积统计Table 3 Statistics of forest disturbance and restoration area at township level in Songyang County乡(镇) 森林面积/km2 乡(镇) 森林面积/km2 乡(镇) 森林面积/km2 干扰面积 恢复面积 干扰面积 恢复面积 干扰面积 恢复面积 大东坝镇 25.96 46.00 裕溪乡 9.89 14.57 玉岩镇 15.10 25.43 望松街道 1.62 3.84 三都乡 9.05 14.44 竹源乡 5.40 8.60 水南街道 6.63 10.61 古市镇 3.31 4.63 板桥畲族乡 3.54 5.52 西屏街道 8.86 14.22 斋坛乡 2.01 2.43 象溪镇 16.04 27.07 叶村乡 2.60 5.03 新兴镇 14.00 21.64 赤寿乡 6.73 8.00 四都乡 3.40 6.16 枫坪乡 8.04 13.84 安民乡 9.41 17.91 樟溪乡 2.11 3.74 3. 讨论
LandTrendr算法的主要思想是从Landsat时间序列数据中提取归一化燃烧比指数等光谱变化轨迹，并分割轨迹及线性拟合，去除光谱尖峰噪音信息，将复杂的变化特征简化为几段光谱直线，以此来突出变化时刻断点，从而捕获时间序列数据的干扰与恢复信息。本研究利用LandTrendr算法有效地提取了1987—2020年浙江省松阳县森林干扰与恢复发生年份，精度均在70%以上，表明LandTrendr算法可有效监测松阳县森林变化。LandTrendr算法不仅能够监测干扰年份，同时也能够监测干扰量[11, 19]。已有研究通过干扰量来区分干扰类型，以及识别主要与次要干扰的分布，或者划分森林干扰与恢复等级[11, 19, 25, 34]。以往采用最佳的单一指数作为LandTrendr算法监测，不同指数运行好坏的贡献未知，监测效果好坏不一。当前，利用LandTrendr算法完善森林干扰与恢复的研究越来越全面，LandTrendr算法综合多波段、多光谱指数的监测方法已得到很好应用，监测效果要优于单一指数监测效果[44−46]。后续，可以尝试利用多光谱指数，结合LandTrendr监测干扰与恢复变化量来识别松阳县森林主要与次要干扰，区分干扰强度，从而提出相应措施减少森林主要干扰，避免森林急剧减少。
本研究采用的验证方法为基于样地的目视解译。经目视解释可知：松阳县森林干扰类型多为人工采伐以及台风雪灾等自然灾害，恢复类型多为人工造林等，但并没有通过LandTrendr进行具体的类型划分。后续，可结合其他技术手段对干扰与恢复类型进行区分，并优化验证方法。目前，国外研究多采用Timesync工具来验证LandTrendr算法，这种工具可自动获取解译结果，并与算法分割结果作比较[8, 25]。综合现有结果分析，尽管本研究尚未能分析出松阳县森林干扰与恢复的类型和强度，但可有效监测森林干扰与恢复发生的年份，并分析了松阳县森林变化情况，为松阳县森林经营管理提供相应参考数据。
4. 结论
本研究采用GEE云平台的LandTrendr算法监测浙江省松阳县1987—2020年森林干扰与恢复状况，并进行森林干扰与恢复时空特征分析。结论如下：①LandTrendr算法监测森林干扰与恢复的总体精度达到了82%，森林干扰与恢复的生产者精度用户精度均高于80%，表明松阳县森林干扰与恢复监测效果较好。②松阳县森林干扰与恢复总面积分别为148.14与236.86 km2，分别占林地面积的12.74%、20.37%，表明松阳县1987—2020年森林面积呈净增加趋势。③松阳县大东坝镇、板桥畲族乡、新兴镇、玉岩镇森林面积变化较为频繁，森林干扰与恢复面积均比其他乡(镇)高。大东坝镇森林面积变化最大，增加了20.04 km2。
-
图 3 基于图像分割和深度学习的检测算法流程图
Figure 3 Flow chart of detection algorithm based on image segmentation and classifier
图 5 调整前后准确率和损失值随训练迭代次数的变化
Figure 5 Change of accuracy and loss value with the number of iterations before adjustment
图 6 调整前后混淆矩阵
Figure 6 Change of accuracy and loss value with the number of iterations before adjustment
表 1 不同T值和k值影响下的分割效果
Table 1. Segmentation effect under the influence of different T and k values
T k 过分割率/% 欠分割率/% 分割精度/% 1 0 13.04 52.61 39.50 0.1 17.70 45.68 44.50 0.2 19.68 38.96 51.50 0.3 25.09 32.96 56.00 0.4 32.89 20.81 69.00 0.5 36.51 25.08 60.50 2 0 28.32 35.48 50.50 0.1 32.89 15.77 76.50 0.2 34.21 7.24 89.00 0.3 38.08 1.24 98.00 0.4 42.36 2.88 95.00 0.5 43.18 3.69 93.50 3 0 49.37 8.35 83.50 0.1 64.09 2.33 93.50 0.2 64.41 0.36 99.00 0.3 70.59 0.74 97.50 0.4 73.40 2.13 92.00 0.5 74.13 3.10 88.00 
下载: 导出CSV
表 2 分类网络模型结构
Table 2. Classifier network model structure
输入尺寸 操作 $ t $ $ c $ $ n $ $ s $ 2242×3 Conv2d 32 1 2 1122×32 Bottleneck 1 16 1 1 1122×16 Bottleneck 6 24 2 2 562×24 Bottleneck 6 32 2 2 282×32 Bottleneck 6 96 3 2 142×96 Bottleneck 6 160 2 2 72×160 Bottleneck 6 320 1 1 72×320 Conv2d1×1 640 1 1 72×640 Avgpool7×7 1 1×1×640 Conv2d1×1 3 说明：t为拓展因子，c为输出通道数量，n为重复数，s为每个结构的第1层卷积操作步长。
下载: 导出CSV
表 3 不同检测方法的评价结果
Table 3. Evaluation results of different detection methods
检测方法 崩边 划痕 检测单块
板件平均
用时/ms精准
率/%召回
率/%精准
率%召回
率%文中算法+改进后MobileNetv 2 93.1 95.3 97.5 96.6 163 文中算法+MobileNetv 2 91.7 93.5 93.8 91.5 233 SSD+MobileNetv 2 85.5 87.9 93.9 83.1 216 YOLOv 3+MobileNetv 2 81.6 88.2 92.6 88.6 284
下载: 导出CSV
-
[1] 罗微, 孙丽萍. 利用局部二值模式和方向梯度直方图融合特征对木材缺陷的支持向量机学习分类[J]. 东北林业大学学报, 2019, 47(6): 70 − 73. LUO Wei, SUN Liping. Wood defect detection and classification by fusion feature and support vector machine [J]. Journal of Northeast Forestry University, 2019, 47(6): 70 − 73. [2] 刘英, 周晓林, 胡忠康, 等. 基于优化卷积神经网络的木材缺陷检测[J]. 林业工程学报, 2019, 4(1): 115 − 120. LIU Ying, ZHOU Xiaolin, HU Zhongkang, et al. Wood defect recognition based on optimized convolution neural network algorithm [J]. Journal of Forestry Engineering, 2019, 4(1): 115 − 120. [3] 凌嘉欣, 谢永华. 残差神经网络模型在木质板材缺陷分类中的应用[J]. 东北林业大学学报, 2021, 49(8): 111 − 116. LING Jiaxin, XIE Yonghua. Residual neural network model in wood plate defect classification [J]. Journal of Northeast Forestry University, 2021, 49(8): 111 − 116. [4] WANG Xuejuan, WU Shuhang, LIU Yunpeng. Detecting wood surface defects with fusion algorithm of visual saliency and local threshold segmentation [C/OL]// YU Hui, DONG Junyu. Ninth International Conference on Graphic and Image Processing (Icgip 2017), 2018: 10615[2023-05-02]. https://doi.org/10.1117/12.2302944. [5] LUO Wei, SUN Liping. An improved binarization algorithm of wood image defect segmentation based on non-uniform background [J]. Journal of Forestry Research, 2019, 30(4): 1527 − 1533. [6] 胡笑天, 王克俭, 王超, 等. 一种基于改进SSD的原木端面识别方法[J]. 林业工程学报, 2023, 8(1): 141 − 149. HU Xiaotian, WANG Kejian, WANG Chao, et al. Development of log end face recognition method based on improved SSD [J]. Journal of Forestry Engineering, 2023, 8(1): 141 − 149. [7] 余平平, 林耀海, 赖云锋, 等. 融合BiFPN和YOLOv5s的密集型原木端面检测方法[J]. 林业工程学报, 2023, 8(1): 126 − 134. YU Pingping, LIN Yaohai, LAI Yunfeng, et al. Dense log end face detection method using the hybrid of BiFPN and YOLOv5s [J]. Journal of Forestry Engineering, 2023, 8(1): 126 − 134. [8] 郑积仕, 张世文, 杨攀, 等. 基于深度学习与深度信息的原木材积检测方法[J]. 林业工程学报, 2023, 8(1): 135 − 140. ZHENG Jishi, ZHANG Shiwen, YANG Pan, et al. Log volume detection method based on deep learning and depth information [J]. Journal of Forestry Engineering, 2023, 8(1): 135 − 140. [9] NI Chao, LI Zhenye, ZHANG Xiong, et al. Online sorting of the film on cotton based on deep learning and hyperspectral imaging [J]. IEEE Access, 2020, 8: 93028 − 93038. [10] LUO Qiwu, FANG Xiaoxin, SU Jiaojiao, et al. Automated visual defect classification for flat steel surface: a survey [J]. Ieee Transactions on Instrumentation and Measurement, 2020, 69(12): 9329 − 9349. [11] 郭慧, 王霄, 刘传泽, 等. 人造板表面缺陷检测图像自适应快速阈值分割算法[J]. 林业科学, 2018, 54(11): 134 − 142. GUO Hui, WANG Xiao, LIU Chuanze, et al. Research on adaptive fast threshold segmentation algorithm for surface defect detection of wood-based panel [J]. Scientia Silvae Sinicae, 2018, 54(11): 134 − 142. [12] 郭慧, 王霄, 刘传泽, 等. 基于灰度共生矩阵和分层聚类的刨花板表面图像缺陷提取方法[J]. 林业科学, 2018, 54(11): 111 − 120. GUO Hui, WANG Xiao, LIU Chuanze, et al. Research on defect extraction of particleboard surface images based on gray level co-occurrence matrix and hierarchical clustering [J]. Scientia Silvae Sinicae, 2018, 54(11): 111 − 120. [13] 刘传泽, 陈龙现, 刘大伟, 等. 基于剪枝决策树的人造板表面缺陷识别[J]. 计算机系统应用, 2018, 27(11): 168 − 173. LIU Chuanze, CHEN Longxian, LIU Dawei, et al. Defect recognition of wood-based panel surface using pruning decision tree [J]. Computer Systems &Applications, 2018, 27(11): 168 − 173. [14] 刘传泽, 罗瑞, 陈龙现, 等. 基于区域筛选分割和随机森林的人造板表面缺陷识别[J]. 制造业自动化, 2018, 40(9): 9 − 13. LIU Chuanze, LUO Rui, CHEN Longxian, et al. Surface defect recognition of wood-based panel based on regional screening and segmentation and random forest [J]. Manufacturing Automation, 2018, 40(9): 9 − 13. [15] LIU Wei, ANGUELOV D, ERHAN D, et al. SSD: single shot multibox detector [M]// LEIBE B, MATAS J, SEBE N, et al. Computer Vision-ECCV 2016. Amsterdam: Springer Cham, 2016: 21 − 37. [16] GIRSHICK R. Fast R-CNN [C]// IEEE Computer Society. 2015 Ieee International Conference on Computer Vision (ICCV), Los Alamitos: IEEE, 2015: 1440 − 1448. [17] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137 − 1149. [18] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection [C]. IEEE Computer Society. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas: IEEE, 2016: 779 − 788. [19] ZHU Xingkui, LYU Shuchang, WANG Xu, et al. TPH-YOLOv5: improved yolov5 based on transformer prediction head for object detection on drone-captured scenarios [C]. IEEE Computer Society. 2021 IEEE/Cvf International Conference on Computer Vision Workshops (ICCVW 2021), Los Alamitos: IEEE, 2021: 2778 − 2788. [20] 宋小燕, 白福忠, 武建新, 等. 应用灰度直方图特征识别木材表面节子缺陷[J]. 激光与光电子学进展, 2015, 52(3): 205 − 210. SONG Xiaoyan, BAI Fuzhong, WU Jianxin, et al. Wood knot defects recognition with gray-scale histogram features [J]. Laser &Optoelectronics Progress, 2015, 52(3): 205 − 210. [21] SANDLER M, HOWARD A, ZHU M, et al. MobileNetV2: inverted residuals and linear bottlenecks [J]. IEEE Computer Society. 2018 IEEE/Cvf Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City: IEEE, 2018: 4510 − 4520. -
-
链接本文:
https://zlxb.zafu.edu.cn/article/doi/10.11833/j.issn.2095-0756.20230280
点击查看大图
计量
- 文章访问数: 796
- HTML全文浏览量: 215
- PDF下载量: 49
- 被引次数: 0
