-
现代农业和林业害虫给粮食安全带来严重威胁，每年产生巨大的经济损失[1]。准确地监测害虫数量变化，预测害虫爆发趋势，可为害虫管理行动提供可靠依据和正确管理方法[2-3]。近年来，出现了许多用于虫害测报的新型害虫诱杀设备及监测系统，这些设备配有多种传感器，可以上传数据到用户手机端，且可以定时对诱杀的害虫拍摄然后识别计数[4-5]，节省了大量人力。害虫诱杀设备及监测系统进行虫害测报的重要前提是如何准确分割害虫，针对此问题，许多国内外学者对害虫分割方法进行了研究。SOLIS-SÁNCHEZ等[6]利用目标的几何形态特征(偏心率、面积等)从诱虫板上分割粉虱Aleyrodidae。NING等[7]提出交互式分割方法从复杂背景中分割害虫。吕金娜[8]提出了基于LAB颜色空间的棉花Gossypium spp.害虫普适K聚类害虫图像分割方案，对典型棉花害虫图像进行分割。杨信廷等[9]提出了基于Prewitt、Canny边缘检测算子分割和支持向量机(SVM)的温室粉虱和蓟马Thripidae诱虫板的图像识别算法。陈树越等[10]提出改进的凹点检测和精确分割点定位的方法，实现对黏连害虫的分割。然而，上述方法大多用于单个害虫情况，对于野外诱虫装置获得图像、害虫产生轻微堆叠及颜色不一等问题还有待解决。害虫的分割效果与设备的收集功能密不可分。李芝茹等[11]采用了追踪式太阳能监测装置，在稳定供能的同时也可升降采集不同高度的害虫；张红涛等[12]、张昊辰等[13]针对捕虫诱集部分，设计了多种采集方法以及通道，来提升害虫图像质量。本研究针对害虫收集装置中的采集害虫图像分割精度的要求，根据害虫面积与采样盘面积的比例进行智能翻转，针对翻转功能需要克服的实际拍摄图像光照不均匀，阴影干扰大，及害虫种类颜色繁多等问题，提出了基于全局对比度的图像分割方法，对装置中的实际图像进行分割处理，使其满足采样盘的智能翻转要求。
-
害虫的智能收集通过害虫面积占比控制采样盘翻转完成，为了准确获取此比例，需要对获取的害虫图像有较高精度的分割。本研究结合基于直方图对比度的显著性检测(HC)算法与阈值迭代算法，提出了满足害虫图像精度的分割方法。整体方法流程如图1所示。
图 1 方法流程图
Figure 1. Algorithm flow chart
为了减少多种颜色害虫同时出现的频率，首先将害虫图像分成150个同等大小的区域，每个区域大小约1只害虫的面积。在分割区域操作的同时，计算颜色的出现频率，高频颜色替换低频颜色，保证算法运行速度。在此基础上通过HC算法检测图像中的浅色害虫，结合阈值迭代算法分割背景颜色。得到的图像浅色害虫轮廓清晰，并避免了阴影的影响，但图像中深色害虫均未被分割，故将此前检测出的浅色害虫图像中的像素点更新为黑色，加强深色害虫与背景颜色的对比度。再根据直方图计算显著值完成对所有目标害虫的检测。显著值的计算公式为：
$$S({{\mathit{\boldsymbol{a}}}}) = \frac{{{{\mathit{\boldsymbol{a}}}} - {a_{\min }}}}{{{a_{\max }} - {a_{\min }}}}\text{。}$$ (1) 式(1)中：a为每个像素的颜色值构成的矩阵；amax为a矩阵中所有值的最大值；amin为a矩阵中所有值的最小值；S为显著值。
最后通过sigmoid函数对结果的图像进行二值化计算得到最终的害虫分割图像，用此图像可对害虫面积比例进行计算，完成采样盘翻转的判定。公式为：
$$\sigma (S) = \frac{1}{{1 + {{\rm{e}}^{ - S}}}}\text{。}$$ (2) 式(2)中：S为显著值；
$\sigma $ 为sigmoid函数。改进后的方法简易且运行快速，效果显著，可以更好地分割背景和害虫，同时也能分割出深色害虫清晰的轮廓。 -
在显著性检测算法中，HC算法运行速度较快，且可以保留颜色特征、有效地体现不同颜色的边缘纹理。HC算法根据图像的颜色直方图分布，对颜色级数进行量化和平滑操作，最终计算每个像素的颜色与其他像素颜色的对比度定义为显著值[14]。其计算公式为：
$$S({I_k}) = \sum\limits_{i = 0}^n {D({I_k},{I_i})} \text{。}$$ (3) 式(3)中：Ik为k点图像颜色转化为Lab颜色空间后的当前像素；Ii则是其余i点的每个像素；n是其余像素的个数；D为2个像素的欧式距离度量；S为显著值。
在害虫图像中，会出现图像颜色过多影响处理速度的问题。为了解决这个问题，采用了量化图像颜色数据降低颜色数量的方法。对害虫图像压缩，将具有相同颜色像素的组合在一起。公式为：
$$S({I_k}) = \sum\limits_{j = 0}^n {{f_j}D({c_i},{c_j})} \text{。}$$ (4) 式(4)中：ci为i点当前像素Ik的颜色值；cj为其余j点的颜色值；n为颜色不同的像素数量；fj为j点像素颜色出现的频率；D为颜色值间的欧式距离度量；S为显著值。
由于自然图像中的颜色种类只占全颜色空间的小部分，采取忽略出现频率低的颜色值来进一步缩减颜色的数量，删除的颜色值用保留下来的相近颜色值所代替。为了防止缩减颜色数量导致害虫的轮廓细节被忽略，需保证选择留下的高频颜色在图像中覆盖的像素不少于95%。由于目的是完成对害虫轮廓的分割，从而计算害虫的面积，故此操作既不影响分割的精度，还成功提高了算法的运行效率。
由于在缩减颜色数量时，相近的颜色也许会被量化为不同的值，为了减少这类颜色对检测害虫区域时产生的噪声，使用相近颜色的显著值加权平均值代替原本的显著值。其计算公式为：
$$S'(c) = \frac{1}{{(m - 1)T}}\sum\limits_{i = 1}^m {[T - D(c,{c_i})]S({c_i})} \text{。}$$ (5) 式(5)中：S′为平滑颜色后的显著值；S为原本的显著值；T为要改善颜色c和m个最近的颜色ci之间的距离之和；D为要改善颜色c与最接近颜色ci的欧式距离度量。
接着获取处理后图像的颜色直方图，计算1个像素与其余像素的欧式距离，求出所有距离之和，将此定义为显著值。最后将像素的颜色值更新为求出的显著值即处理完毕。
同时存在多种颜色害虫时，单一使用HC算法存在无法提取深浅色害虫的缺陷。原因是图像中害虫的种类以及颜色多样，害虫间的对比度过大，且存在一定的阴影及轻微重叠干扰。故本研究决定结合阈值迭代对害虫图像进行处理，以此优化前景与背景之间的颜色差。
-
利用阈值迭代分割算法解决了图像各区域亮度不同等因素，可更好地分割图像背景[15-16]。该算法可在不同区域采用不同的阈值进行分割，适合处理多种颜色害虫混合的图像，解决了害虫阴影的干扰问题，完成了分割单一颜色背景的目的。
该算法主要通过迭代方式逼近最佳阈值，从而达到分割背景的目的，关键步骤在于找到最佳阈值。先将整幅图像分成多张互相之间有50%重叠的子图像，分别作出这些子图像的直方图。对这些子图像的直方图进行检测，查看是否为双峰，如果是双峰，则进行阈值迭代法确定阈值，如果不是双峰，就不进行处理。接着确定阈值，以此为依据划分前景和背景。然后分出阈值的2边数据为A和B部分。分别计算A和B部分的均值，然后再总的求A和B部分的均值即为新的阈值。设定迭代次数进行不断寻找最佳阈值，用得到的阈值进行图像的二值化。公式如下：
$${R_0} = \frac{{\displaystyle\sum\limits_{R(i,j) = 0}^{{T_{\rm{K}}}} {R(i,j) \times N(i,j)} }}{{\displaystyle\sum\limits_{R(i.j) = 0}^{{T_{\rm{K}}}} {N(i,j)} }}\text{；}$$ (6) $${R_{\rm{G}}} = \frac{{\displaystyle\sum\limits_{R(i,j) = {T_{\rm{K}}}}^m {R(i,j) \times N(i.j)} }}{{\displaystyle\sum\limits_{R(i,j) = {T_{\rm{K}}}}^m {N(i,j)} }}\text{。}$$ (7) 式(6)~(7)中：R(i, j)为图像(i, j)像素点的灰度值；N(i, j)为(i, j)像素点的权重系数；TK为确定阈值；m为像素个数；R0与RG分别为目标和背景的平均灰度值。
-
图像获取的步骤分为害虫的诱杀收集和拍摄2步。害虫的诱杀通过打开图2的黑光灯引诱害虫，害虫飞至黑光灯边上的电网时，被电死掉落到下方漏斗状装置内部，然后滑落到采样盘上。摄像头在LED灯点亮后进行拍摄，采集图像大小为2592像素×1944像素。最后将拍摄的图像传送至控制系统内部进行图像处理。
图 2 害虫收集装置示意图
Figure 2. Schematic diagram of pest collection device
-
本研究设备为Intel(R) Core(TM)i7-8750H CPU、16G 64位PC机和树莓派官方500万像素摄像头，系统和软件环境为Window10，Jupyter Notebook，Raspberry Pi3 B+。在实际装置托盘上方20 cm处使用装置内部的树莓派摄像头进行拍摄。研究样本为5种害虫在白底托盘和红底托盘上的实际图像。为了验证本研究的可靠性与有效性，共选用100张实际拍摄图像后运行算法，取平均值作为最后研究结果数据。因实际装置的硬件性能所限制，且实际装置对智能翻转的图像处理有一定的速度和精度需求，故排除与深度学习分割方法的对比。本研究选取了4种综合处理效果较好的经典算法作为比较。
使用不同算法对实际摄像头拍摄的图片白底样本进行分割。由图3可见：本研究算法与实际比率的接近程度明显高于其他算法。且在白底托盘中，本研究算法可以更好避免阴影的影响，分割出目标害虫的轮廓。比较图4和图5可知：大津算法(OTSU)出现了错误分割阴影的结果，它将较多的阴影区域分割，将会导致害虫比例严重误判。而本研究算法较好改善了该问题，至于仅剩的阴影噪声问题将通过改善拍摄条件弥补。
图 3 白底样本分割效果对比
Figure 3. Comparison of sample segmentation effects on white background
图 4 OTSU算法与本研究算法对阴影分割的比较
Figure 4. Comparison of shadow segmentation between OTSU and research algorithm
图 5 HC算法与本研究算法对害虫细节分割的比较
Figure 5. Comparison of HC algorithm and research algorithm on pest detail segmentation
白底样本的分割结果(图5)进一步表明：HC算法无法识别害虫颜色与背景颜色对比度不高的害虫，而本研究算法在改进其算法后，可以较清晰地分割出这些原本分割效果不佳的害虫。
综合了白底样本采样盘易出现灯光照射以及阴影的干扰，且由于浅色害虫与白色采样盘背景对比度过于接近，更加不利于对害虫的分割，故改进装置的采样盘为红色。拍摄深色害虫与浅色害虫同时存在于采样盘上时的图像，作为红底样本，并使用不同算法对其进行分割处理。从图6和图7可见：其他算法主要完成了浅色害虫的分割，但均无法分割出深色害虫并计算害虫面积。本研究算法则完成了深浅害虫的同时分割，从图7可清晰观察到深色害虫的翅膀及触角等细节，证明本研究算法在多种颜色害虫存在时分割结果更精确可靠。
图 6 红底样本分割效果对比
Figure 6. Comparison of sample segmentation effects on red background
图 7 HC算法与本研究算法对深色害虫分割的比较
Figure 7. Comparison of HC algorithm and research algorithm on dark pest segmentation
-
为了评价算法的分割图像效果优劣，本研究将采用平均分割时间、准确率和召回率对算法的分割结果进行衡量[17]。为了比较各算法的效率，将使其对每幅图像进行多次分割，然后取平均处理时间来作最终评价。准确率(P)和召回率(R)的公式如下：
$$P = \frac{{\displaystyle\sum\limits_{n = 1}^N {{G_n} \times {S_n}} }}{{\displaystyle\sum\limits_{n = 1}^N {{S_n}} }}\text{；}$$ (8) $$R = \frac{{\displaystyle\sum\limits_{n = 1}^N {{G_n} \times {S_n}} }}{{\displaystyle\sum\limits_{n = 1}^N {{G_n}} }}\text{。}$$ (9) 式(8)~(9)中：N为像素个数；Gn表示基准图像第n个像素是否为分割目标像素；Sn表示分割图像第n个像素是否为分割目标像素，值为0或1。本研究取权重系数为0.3，来防止由于显著性检测导致召回率过高的问题。准确率表示目标分割的准确性，召回率为检测区域与基准图像区域的比值，表示算法分割的完整性。使用选取的5种算法对样本进行图像处理，并且将人工分割的图像作为基准图像，得到3个评价指标(表1)。
表 1 准确率、召回率和分割速度对比
Table 1. Comparison of accuracy recall, and segmentation speed
分割算法 准确率 召回率 分割速度 白底样本 红底样本 白底样本 红底样本 白底样本 红底样本 水平集算法 0.72 0.74 0.62 0.64 1.68 4.35 OTSU算法 0.70 0.77 0.63 0.70 0.36 0.84 阈值迭代算法 0.83 0.83 0.81 0.69 0.56 0.87 HC算法 0.86 0.88 0.86 0.63 0.43 0.98 本研究算法 0.92 0.95 0.95 0.89 0.66 1.05 由表1可知：本研究算法的准确率及召回率最高，其他算法易出现分割阴影等非目标轮廓，或分割不出深色害虫。准确率相比其他4种算法均提高约13%。在召回率上，本研究算法提高了10%以上，最高达53%。准确率和召回率的提升，体现了本研究算法的精确性和可靠性。在分割速度方面，本研究算法高出水平集算法约3倍，且总耗时满足装置的实际需求。除水平集算法外，其他3种算法虽然分割时间短，但无法分割多种害虫同时存在的图像，故可以接受本研究算法小幅延长分割时间后，完成了更高要求的分割。
-
本研究算法处理后得到的结果误差控制在5%以内。即使在光照不稳定和害虫种类以及姿态复杂的环境下采集的图像中，本研究算法也可以较精确避免轻微重叠和阴影的影响进行分割。在多种颜色害虫同时存在时，本研究算法也可分割出几乎接近实际害虫的轮廓。因此，本研究算法简单、高效且充分满足分割精度和速度的需求，适宜于害虫收集装置内部使用，达到对害虫比例进行准确计算的目的。
A pest collection method based on global contrast
-
摘要:
目的 目前利用测报灯，通过灯光诱捕昆虫，并由计算机完成昆虫图像的采集、计数和识别已逐步成为害虫测报的重要方法。为了减少昆虫在采样盘上重叠造成的计数和识别误差，基于害虫图像，根据昆虫密度研究采样盘中昆虫的收集方法，从而提高采集效率和精度。 方法 根据昆虫在采样盘上姿态特点，提出基于全局对比度的图像分割方法，结合阈值迭代分割获得昆虫区域，计算昆虫比例，并控制采样盘翻转完成对昆虫的收集。 结果 通过对5种害虫的实际图像进行的试验表明：与水平集、大津法(OTSU)、阈值迭代法和基于直方图对比度的显著性检测(HC)4种算法相比，本研究方法在准确率和召回率上均提高10%以上，取得了较好的结果；同时，在分割速度上比水平集快3倍，与阈值和HC算法基本持平。 结论 基于全局对比度的分割方法简单、高效，在害虫自动测报中具有较高的实际应用价值。图7表1参17 Abstract:Objective The real-time and accurate forecast of field pests has gradually become an important method of pest forecasting to trap insects by light, and to collect, count and identify insect images by computer. This study aims to explore the method of collecting insects in the sampling plate based on insect image and insect density, so as to improve the collection efficiency and accuracy, and reduce the counting and identification errors caused by the overlapping of insects on the sampling plate. Method According to the characteristics of insects’ posture on the sampling plate, an image segmentation method based on global contrast was proposed. Combined with threshold iterative segmentation, the insect area was obtained, the insect proportion was calculated, and the collection of insects was completed by controlling the flip of the sampling plate. Result Experiments on the actual images of 5 pest species showed that compared with the 4 algorithms, namely level set, OTSU, threshold iteration and saliency detection based on histogram contrast(HC), the accuracy and recall rate of this method were improved by more than 10%, and good results were obtained. At the same time, the segmentation speed was 3 times faster than that of the level set, which was basically the same as the threshold and HC algorithm. Conclusion Due to its simplicity and high efficiency, the segmentation method based on global contrast has high practical application value in automatic pest detection and reporting. [Ch, 7 fig. 1 tab. 17 ref.] -
Key words:
- forest protection /
- pest forecasting /
- pest collection /
- image segmentation /
- sampling disk /
- global contrast
-
图 4 OTSU算法与本研究算法对阴影分割的比较
Figure 4 Comparison of shadow segmentation between OTSU and research algorithm
图 5 HC算法与本研究算法对害虫细节分割的比较
Figure 5 Comparison of HC algorithm and research algorithm on pest detail segmentation
图 7 HC算法与本研究算法对深色害虫分割的比较
Figure 7 Comparison of HC algorithm and research algorithm on dark pest segmentation
表 1 准确率、召回率和分割速度对比
Table 1. Comparison of accuracy recall, and segmentation speed
分割算法 准确率 召回率 分割速度 白底样本 红底样本 白底样本 红底样本 白底样本 红底样本 水平集算法 0.72 0.74 0.62 0.64 1.68 4.35 OTSU算法 0.70 0.77 0.63 0.70 0.36 0.84 阈值迭代算法 0.83 0.83 0.81 0.69 0.56 0.87 HC算法 0.86 0.88 0.86 0.63 0.43 0.98 本研究算法 0.92 0.95 0.95 0.89 0.66 1.05 
下载: 导出CSV
-
[1] 张芳群. 基于Web技术的虫害预测系统的研究[D]. 杭州: 浙江理工大学, 2017. ZHANG Fangqun. Research on the Pest Forecasting System based on Web Technology[D]. Hangzhou: Zhejiang Sci-Tech University, 2017. [2] 陈梅香, 杨信廷, 石宝才, 等. 害虫自动识别与计数技术研究进展与展望[J]. 环境昆虫学报, 2015, 37(1): 176 − 183. CHEN Meixiang, YANG Xinting, SHI Baocai, et al. Research progress and prospect of technologies for automatic identifying and counting of pests [J]. J Environ Entomol, 2015, 37(1): 176 − 183. [3] 张书平, 余燕, 毕守东, 等. 灾变模型在马尾松毛虫幼虫发生量预报中的应用[J]. 浙江农林大学学报, 2020, 37(1): 93 − 99. ZHANG Shuping, YU Yan, BI Shoudong, et al. A catastrophe model to forecast larvae occurrence of Dendrolimus punctatus [J]. J Zhejiang A&F Univ, 2020, 37(1): 93 − 99. [4] 张鸣华, 丁鑫, 刘持标. 基于二值化图像识别的新型农业害虫诱杀监测系统研究[J]. 南昌航空大学学报(自然科学版), 2019, 33(1): 74 − 79. ZHANG Minghua, DING Xin, LIU Chibiao. Research on new agricultural pest trapping and killing monitoring system based on binarized image recognition [J]. J Nanchang Hangkong Univ Nat Sci, 2019, 33(1): 74 − 79. [5] 陈京, 刘德营, 谢堂胜, 等. 田间稻飞虱图像远程实时采集系统的研制[J]. 湖南农业大学学报(自然科学版), 2016, 42(6): 693 − 698. CHEN Jing, LIU Deying, XIE Tangsheng, et al. A remote real-time acquisition system for rice plant hopper images in the fields [J]. J Hunan Agric Univ Nat Sci, 2016, 42(6): 693 − 698. [6] SOLIS-SÁNCHEZ L O, GARCÍA-ESCALANTE J J, CASTAÑEDA-MIRANDA R, et al. Machine vision algorithm for whiteflies(Bemisia tabaci Genn)scouting under greenhouse environment [J]. J Appl Entomol, 2009, 133(7): 546 − 552. [7] NING Jifeng, ZHANG Lei, ZHANG David, et al. Interactive image segmentation by maximal similarity based region merging [J]. Pattern Recognition, 2009, 43(2): 445 − 456. [8] 吕金娜. 基于LAB空间和自适应聚类的害虫图像分割方法[J]. 河南科技学院学报(自然科学版), 2016, 44(1): 57 − 61. LÜ Jinna. Image segmentation based on LAB color space adaptive clustering algorithm for pest image segmentation [J]. J Henan Inst Sci Technol Nat Sci Ed, 2016, 44(1): 57 − 61. [9] 杨信廷, 刘蒙蒙, 许建平, 等. 自动监测装置用温室粉虱和蓟马成虫图像分割识别算法[J]. 农业工程学报, 2018, 34(1): 164 − 170. YANG Xinting, LIU Mengmeng, XU Jianping, et al. Image segmentation and recognition algorithm of greenhouse whitefly and thrip adults for automatic monitoring device [J]. Trans Chin Soc Agric Eng, 2018, 34(1): 164 − 170. [10] 陈树越, 吴正林, 朱军, 等. 基于凹点检测的粮仓粘连害虫图像分割算法[J]. 计算机工程, 2018, 44(6): 213 − 218. CHEN Shuyue, WU Zhenglin, ZHU Jun, et al. Image segmentation algorithm for grain overlapping pests based on pitting detection [J]. Comput Eng, 2018, 44(6): 213 − 218. [11] 李芝茹, 吴晓峰, 李全罡, 等. 自动追踪式可升降太阳能虫害监测装置的设计[J]. 森林工程, 2016, 32(6): 85 − 88. LI Zhiru, WU Xiaofeng, LI Quangang, et al. Design of the solar liftable device for pest monitoring with automatic trac-king [J]. For Eng, 2016, 32(6): 85 − 88. [12] 张红涛, 胡玉霞, 刘新宇, 等. 农田害虫实时检测装置的设计与实现[J]. 河南农业科学, 2007(12): 63 − 65. ZHANG Hongtao, HU Yuxia, LIU Xinyu, et al. Design and implementation of real-time detection device for farmland pests [J]. J Henan Agric Sci, 2007(12): 63 − 65. [13] 张昊辰, 申小艳, 张欣铃. 智能粮仓害虫监测系统的设计[J]. 通信电源技术, 2013, 30(4): 111 − 112, 126. ZHANG Haochen, SHEN Xiaoyan, ZHANG Xinling. Design of smart granary pests monitoring system [J]. Telecom Power Technol, 2013, 30(4): 111 − 112, 126. [14] CHENG Mingming, ZHANG Guoxin, MITRA N J, et al. Global contrast based salient region detection[C]// IEEE. International Conferene on Computer Vision and Pattern Recognition. Colorado: IEEE, 2011: 409 − 416. [15] 陈宁宁. 几种图像阈值分割算法的实现与比较[J]. 电脑知识与技术, 2011, 7(13): 3109 − 3111. CHEN Ningning. Achieve and comparison of image segmentation thresholding method [J]. Comput Knowl Technol, 2011, 7(13): 3109 − 3111. [16] 白雪冰, 许景涛, 郭景秋, 等. 基于局部二值拟合模型的板材表面节子与虫眼的图像分割[J]. 浙江农林大学学报, 2016, 33(2): 306 − 314. BAI Xuebing, XU Jingtao, GUO Jingqiu, et al. Segmentation of wood surface knots and wormholes based on an improvedLBF Model [J]. J Zhejiang A&F Univ, 2016, 33(2): 306 − 314. [17] BORJI J, CHENG Mingming, JIANG Huaizu, et al. Salient object detection: a benchmark [J]. IEEE Trans Image Process, 2012, 24(12): 5706 − 5722. -
-
链接本文:
https://zlxb.zafu.edu.cn/article/doi/10.11833/j.issn.2095-0756.20200318
点击查看大图
图(7) / 表(1)
计量
- 文章访问数: 791
- HTML全文浏览量: 156
- PDF下载量: 39
- 被引次数: 0
