-
根据国家标准GB/T 18107−2017《红木》,红木共5属8类29种。由于不同种类的红木在表层宏观特征不具有唯一性,但在横切面上它们具有十分明显的结构差异,只有少部分红木如乌木的结构特征体现在弦切面上,因此,红木识别目前主要依据红木切片在光学显微镜下的结构特征差异[1]。目前,红木的特征识别主要是通用木材识别技术[2-3],如红外光谱识技术[4-5]和气相色谱技术[6-7]。此类红木识别方法具有2个主要的缺陷:其一,根据红木切片照片的特征进行人工识别,识别的准确度受限于识别人员的专业素养和经验,特别是对于较为罕见的红木品种,时常发生不同识别人员识别结果不一致的情况;其二,现行的红木识别并没有结合红木的结构特征进行相关优化。由于不同种类红木的结构特征差异使得红木切片上的纹理特征不同[3],这就可以运用图像识别技术来进行红木分类识别。王学顺等[8]、ESTEBAN等[9]、LAZARESCU等[10]、MOHAN等[3]等已将机器学习和一些图像识别技术应用于木材识别。卷积神经网络[11-12]作为目前图像识别领域中最先进的技术,利用该模型对红木切片纹理特征进行红木识别,可大幅降低红木识别的专业要求,又能提高红木识别率[13]。相比于传统的红木识别技术和一些特殊的技术如应力波[14-15]、热重曲线[16]等,这些方法的识别效果对所提取特征的表示性要求较高,为取得最优的识别效果还需对比众多分类算法[17-19]。卷积神经网络可以自动提取红木切片的纹理特征并分类识别。为了简化红木识别流程,提升识别精度,使用卷积神经网络对红木树种分类识别研究。
-
红木切片样本来自国家林业和草原局木材与木竹制品质量检验检测中心(昆明)实际检测业务中累积的数据,包括黄檀属Dalbergia和紫檀属Pterocarpus中交趾黄檀D. cochinchinensis、刀状黑黄檀D. cultrata、卢氏黑黄檀D. louvelii、巴里黄檀D. bariensis、奥氏黄檀D. oliveri、大果紫檀P. macrocarpus、檀香紫檀P. santalinus等7种红木的376个样本。由于在实际木材检验中,结合宏观特征与横切面结构特征就可确定许多红木种类,因此,横切面(显微镜30倍)样本数据较多。在分别针对红木的横切面、径切面、弦切面的部分数据初步建立卷积神经网络时,同样发现针对横切面的数据识别模型精度较高(图1)。因此,选用横切面数据做识别训练。
-
受试剂的影响,切片图像存在气泡和空白,很容易产生噪声数据影响识别精度,因此设计RGB图像空白处裁剪算法。算法需要先行设置空白率r,1幅图像中1行的白色像素数在整行所占的比列小于r后,则认为从这一行开始包含有效信息,此行后的像素行不再进行裁剪。处理流程为先拷贝图像A的副本A2,对A2进行灰度化处理,使得空白处像素点的值接近于1。从左到右逐列比较空白率,得出x1;再从右到左逐列比较空白率,得出x2;同理从上到下、从下到上比较空白率,得出y1和y2。依据(x1, x2, y1, y2)得矩形的4个点,依据4个点的位置裁剪目标图片(图2)。
-
切片在取样时可能存在薄厚不均,在放入载玻片操作时会导致切片折叠产生黑块,且红木切片的颜色很容易受试剂的影响。因此,先将图像从RGB空间转换到HSV空间[20],再在V通道进行直方图均衡化处理后再转换到RGB空间。均衡化处理后,图像上的黑块变淡、纹理清晰(图3)。
-
切片大小不一会造成切片图像尺寸和旋转方向不一致,卷积神经网络模型需要输入固定尺寸和方向的图像,会导致图像因缩放纹理结构发生形变,同时样本数量有限,因此提出旋转随机裁剪法来统一和扩充样本。处理流程为每张图片旋转36次,每次旋转10°,每次旋转都依据图片的面积比裁剪出相应数量的子图。为了使子图尽可能小同时又包含更多信息,子图的尺寸被统一为(224, 224),如输入图像的尺寸为(w, h),共裁剪出的子图数量n为wh/(224×224)。经过空白处理后的图像在边角部分仍存在连续的空白区块,这使得旋转后的图像存在不少黑色填充区域,导致随机裁剪出的部分图像存在连续的黑色或白色区域。为了减少这种影响,使用白点率、黑点率丢弃法,统计图像中白色或黑色像素点的数量,如果所占比例超过阈值就直接丢弃。黑点丢弃的阈值设置为0.06,考虑到红木切片管孔的空白部分,白点丢弃得阈值为0.17,处理如图4所示。最终,扩展得到可用样本21 495个(表1)。将这些样本按照3∶1∶1的比例划分为训练集、验证集、测试集3部分。
表 1 样本数量表
Table 1. Number of samples
红木种类 原始数据数量/个 扩充后数量/个 交趾黄檀 56 2 673 刀状黑黄檀 53 2 535 卢氏黑黄檀 49 3 102 大果紫檀 51 4 259 奥氏黄檀 52 2 857 巴里黄檀 57 3 216 檀香紫檀 58 2 853 -
卷积神经网络通过构建人工神经网络[21],模拟人类的大脑思考过程自动从带有标签的数据中学习特征,进行分类预测。卷积神经网络由3种网络层结构组成,前面部分由卷积层、池化层交替连接,后面部分由全连接层组成。利用卷积神经网络模型进行红木切片识别,先要使用被标注过的切片样本训练模型,然后通过代价函数评估模型的拟合能力,并以反向传播的过程不断调试模型参数,最终使得模型能提取并拟合红木切片的结构特征。
-
红木切片的识别模型有12层,卷积核的数目逐层增多。连续的2个3×3的卷积核,使卷积核的视野与5×5的卷积核一致,而运算量减少28%;同样为了减少卷积的运算量,将裁剪后的图像统一缩放到150×150。模型在卷积层中,设计了多个卷积通道,能以不用角度的视野提取特征。为了能对边缘像素点提取特征,将卷积运算模式设置为填充模式,步长为1。卷积之间加入2×2的最大池化层(maxpool),选择矩阵中每个2×2区块的最大值为下一层输入,能提取显著特征,减小矩阵尺寸,最后一个卷积层与全局平均池化层(global average pool)相连接将输入矩阵从(37, 37, 128)直接变为(128),充分减少了模型计算量。模型采用线性整流函数(relu)作为激活函数,克服网络层次变深而梯度消失的情况。最后3层为全连接,最后一层的特征利用归一化指数函数(softmax)做多分类预测。最终模型结构如图5所示,各层参数如表2所示。
表 2 模型的各层参数
Table 2. Layer parameters of the model
类型 核数量 尺寸/步长 输入 输出 类型 核数量 尺寸/步长 输入 输出 卷积层 16 3×3/1 150×150×3 150×150×16 池化层 2×2/2 37×37×64 18×18×64 卷积层 卷积层 128 3×3/1 18×18×64 18×18×128 池化层 2×2/2 150×150×16 75×75×16 全局平均池化层 18×18×128 128 卷积层 32 3×3/1 75×75×16 75×75×32 全连接 128 158 卷积层 全连接 158 58 池化层 2×2/2 75×75×32 37×37×32 全连接 (输出) 58 7 卷积层 64 3×3/1 37×37×32 37×37×64 卷积层 -
模型的训练过程实际上是将网络输入以正向传播的过程输入图像逐层提取特征,在卷积层a中,卷积核w以滑动窗口的方式从矩阵最右上角的点运算到最后1个像素点,窗口覆盖的范围与对应的卷积核参数相乘,乘积结果之和加上偏移量b赋值到对应矩阵中卷积核中心的位置,然后在使用激活函数σ将卷积的输出结果z进行激活操作。卷积层的前向传播过程为:
$$ {a^L} = \sigma \left( {{z^L}} \right) = \sigma \left( {{a^{L - 1}}{w^L} + {b^L}} \right) {\text{。}} $$ (1) 式(1)中:L表示卷积层的层数,zL表示第L层卷积操作的输出,aL表示第L个的卷积层的输出结果。上述只是描述了单个卷积核连接的过程,网络层有多个卷积核时,每个卷积核多需要经相应的运行,并将所有卷积核的输出累加作为卷积层的输出。
选用的池化层大小是2×2,其运算是将一个n×n的矩阵划分成多个2×2的子区域,然后选取每个子区域的最大值输出一个
$\displaystyle\frac{n}{2} \times \displaystyle\frac{n}{2}$ 的矩阵,整个过程中并没有参数需要调整。全连接层$f$ 的传播过程为:$$ {f^L} = \sigma \left( {{f^{L - 1}}w + {b^L}} \right){\text{。}} $$ (2) 式(2)中:当
${f^{L - 1}}$ 层的神经元数为n,${f^L}$ 层的神经元数为m时,w的形状为n×m。全连接的最后一层选用归一化指数函数作为激活函数,提取结果映射到[0, 1]概率区间与标签编码形成的独热码编码比较,得出拟合损失。再利用自适应矩估计(adaptive moment estimation, Adam)优化器将比较结果以反向传播的过程逐层调整网络层参数,使得模型的拟合损失逐步变小。自适应矩估计优化器实现简单计算高效,能自动调整学习率,减少损失函数的震荡,使精度不断上升。 -
在训练时为了尽量精简模型的体量,起初每层的卷积核通道都比较少,训练出来模型的精度不高。每次训练结束后都依据损失函数的值,适度调整优化器的学习率和衰减率、变更卷积通道数、修改全连接层结构,使模型的测试精度不断上升,直到精度符合实验预期目标时终止调参过程。模型最初选用的优化器是随机梯度下降法(stochastic gradient descent, SGD),收敛速度较慢,在换成自适应矩估计优化器后模型收敛速度变快,且精度有所提升,如图6所示。在起初模型存在过拟合,引入随机失活(dropout)机制降低过拟合,但调整后又出现数据泄露假象,训练集的重要特征丢失导致验证集精度高于训练集,最终通过降低随机失活的神经元数量的权重加以解决,并经过试验最终采用随机失活的权重为0.2。
输入图像的尺寸是150×150的RGB三通道图像,在经过卷积层时图像矩阵通道数变成和卷积核数目一致,经过第1个池化层后数据矩阵尺寸变为75×75×16,再通过卷积层、池化层后数据矩阵尺寸变为18×18×128的三维数组。而其后的全连接层输入必须是一维向量,因此使用全局平均池化层在每个18×18的矩阵中求得平均值,将三维数组重塑为128维的向量,第1个全连接层的输出是158。数据再经过卷积层和全连接层时,都利用线性整流函数进行激活操作,而通过最后一个全连接层输出时使用归一化指数函数将数值映射到概率[0, 1]空间。如图7所示:模型的训练轮次为30、批大小为32,模型在第29个轮次后,精度稳定在99%,达到收敛状态。
-
如表3所示:利用4 299个测试样本测试后,有4 273个样本预测正确,仅有26个红木样本预测错误,准确率高达99.4%。本方法不需要对特征建立多个识别模型,能够自动提取适合模型分类识别的特征,使用更为便捷。
表 3 各类别的识别准确率
Table 3. The recognition accuracy of each category
红木类别 样本数量/个 准确率/% 交趾黄檀 535 99.5 刀状黑黄檀 507 98.7 卢氏黑黄檀 620 99.3 大果紫檀 852 99.6 奥氏黄檀 571 99.9 巴里黄檀 643 100 檀香紫檀 571 98.9 平均值 99.4 此外,为进一步论证本方法模型的可靠性,选用卷积神经网络模型AlexNet[22]和VggNet[23],分别运用迁移学习技术修改它们的最后一层全连接层的数量,微调其全部全连接层的参数建立模型与本方法模型进行了对比。从表4可以看出:本模型参数更少、精度更高。
表 4 模型参数对比
Table 4. Comparison of model parameters
网络名称 输入尺寸 卷积核个数 卷积参数 全连接参数 总共参数 验证精度/% AlexNet 227, 227 1 152 2 469 696 7 454 508 9 924 204 92.4 VGG16 150, 150 4 224 14 714 688 6 635 308 21 349 996 93.5 本模型(CNN) 150, 150 352 146 206 29 747 175 953 99.4
Application of convolutional neural network in rosewood species identification
-
摘要:
目的 不同类型的红木由于生长周期和木材特性的不同,导致商业价格差异悬殊,其中还包含有国家保护木种。本研究旨在找到能准确地识别红木种类的方法,以防止交易中的欺诈行为和保护树种。 方法 以国家林业和草原局木材与木竹制品质量检验检测中心(昆明)实际检测中累积的黄檀属Dalbergia和紫檀属Pterocarpus中的交趾黄檀D. cochinchinensis、刀状黑黄檀D. cultrata、卢氏黑黄檀D. louvelii、巴里黄檀D. bariensis、奥氏黄檀D. oliveri、大果紫檀P. macrocarpus、檀香紫檀P. santalinus等7种红木的376个样本作为基本数据,使用计算机算法扩展样本数量,提出自动化识别红木的卷积神经网络模型。 结果 该方法能够自动提取适合模型分类识别的特征,使用更为便捷,相比其他传统方法识别效果更准确的,结果证明平均识别精度达99.4%。 结论 自建的卷积神经网络可以有效识别红木树种,虽然在调参优化与训练时间大于VGG16等迁移学习方法,但泛化能力更强,证明了自建模型在红木识别应用上优于迁移学习模型。图7表4参23 Abstract:Objective Due to the differences in growth cycles and wood characteristics, the market price of rosewood species including some nationally protected species varies sharply. To prevent fraud and better protect tree species, this paper is aimed at the accurate identification of rosewood species. Method With 376 samples of 7 species of rosewood collected in the actual test by the National Forestry and Grassland Administration Center for Quality Supervision and Testing of Wood and Bamboo Products (Kunming) selected as the research subject, a convolutional neural network model for automatic recognition of redwood is proposed using the computer algorithm to expand the number of samples. Result This method can automatically identify features that fit with the model of classification and recognition, making it more convenient to utilize. Compared with traditional methods, it secures a more accurate identification with an average identification accuracy of 99.4%. Conclusion The self-built convolutional neural network can effectively identify redwood species. Although it takes a long time to achieve the parameter adjustment and train than VGG16 and other transfer learning methods, it shows stronger competence of generalization. It is proved that the self-built model is superior to the transfer learning model when applied in rosewood recognition. [Ch, 7 fig. 4 tab. 23 ref.] -
Key words:
- rosewood slices /
- automatic recognition /
- convolutional neural network /
- Dalbergia /
- Pterocarpus
-
表 1 样本数量表
Table 1. Number of samples
红木种类 原始数据数量/个 扩充后数量/个 交趾黄檀 56 2 673 刀状黑黄檀 53 2 535 卢氏黑黄檀 49 3 102 大果紫檀 51 4 259 奥氏黄檀 52 2 857 巴里黄檀 57 3 216 檀香紫檀 58 2 853 表 2 模型的各层参数
Table 2. Layer parameters of the model
类型 核数量 尺寸/步长 输入 输出 类型 核数量 尺寸/步长 输入 输出 卷积层 16 3×3/1 150×150×3 150×150×16 池化层 2×2/2 37×37×64 18×18×64 卷积层 卷积层 128 3×3/1 18×18×64 18×18×128 池化层 2×2/2 150×150×16 75×75×16 全局平均池化层 18×18×128 128 卷积层 32 3×3/1 75×75×16 75×75×32 全连接 128 158 卷积层 全连接 158 58 池化层 2×2/2 75×75×32 37×37×32 全连接 (输出) 58 7 卷积层 64 3×3/1 37×37×32 37×37×64 卷积层 表 3 各类别的识别准确率
Table 3. The recognition accuracy of each category
红木类别 样本数量/个 准确率/% 交趾黄檀 535 99.5 刀状黑黄檀 507 98.7 卢氏黑黄檀 620 99.3 大果紫檀 852 99.6 奥氏黄檀 571 99.9 巴里黄檀 643 100 檀香紫檀 571 98.9 平均值 99.4 表 4 模型参数对比
Table 4. Comparison of model parameters
网络名称 输入尺寸 卷积核个数 卷积参数 全连接参数 总共参数 验证精度/% AlexNet 227, 227 1 152 2 469 696 7 454 508 9 924 204 92.4 VGG16 150, 150 4 224 14 714 688 6 635 308 21 349 996 93.5 本模型(CNN) 150, 150 352 146 206 29 747 175 953 99.4 -
[1] 杨燕, 吕建雄, 邱坚, 等. 4种易与红木混淆木材的构造分析[J]. 木材工业, 2014, 28(5): 51 − 54. YANG Yan, LÜ Jianxiong, QIU Jian, et al. Anatomic structure of four wood species similar with Dalbergia cochinchinensis and Pterocarpus macarocarpus [J]. China Wood Ind, 2014, 28(5): 51 − 54. [2] 汪杭军, 张广群, 祁亨年, 等. 木材识别方法研究综述[J]. 浙江农林大学学报, 2009, 26(6): 896 − 902. WANG Hangjun, ZHANG Guangqun, QI Hengnian, et al. A review of research on wood recognition technology [J]. J Zhejiang A&F Univ, 2009, 26(6): 896 − 902. [3] MOHAN S, VENKATACHALAPATHY K, RAI A K. Wood species classification and identification system [J]. Int J Eng Sci Res Technol, 2014, 3(6): 847 − 853. [4] 张蓉, 徐魁梧, 张丽沙, 等. 基于红外光谱的5种红木树种识别探讨[J]. 林业工程学报, 2014, 28(2): 95 − 99. ZHANG Rong, XU Kuiwu, ZHANG Lisha, et al. Identification of five rosewood species by infrared spectrum characteristics [J]. J For Eng, 2014, 28(2): 95 − 99. [5] 程士超, 李丹, 张求慧, 等. 5种花梨木的红外光谱比较分析[J]. 北京林业大学学报, 2016, 38(1): 118 − 124. CHENG Shichao, LI Dan, ZHANG Qiuhui, et al. Comparative analysis of five kinds of rosewood by infrared spectra [J]. J Beijing For Univ, 2016, 38(1): 118 − 124. [6] 李艳艳, 孙多永, 朱仲良, 等. 基于气相色谱—主成分分析的红木分类识别方法研究[J]. 计算机与应用化学, 2010, 27(2): 237 − 240. LI Yanyan, SUN Duoyong, ZHU Zhongliang, et al. Study on the classification and recognition of mahogany based on gas chromato-graph-principle component analysis [J]. Comput Appl Chem, 2010, 27(2): 237 − 240. [7] 张洁, 夏兆鹏, 袁鹏飞, 等. 大果紫檀和奥氏黄檀乙醇低毒微损鉴别[J]. 西南林业大学学报, 2015, 35(4): 75 − 80. ZHANG Jie, XIA Zhaopeng, YUAN Pengfei, et al. Low toxicity and micro damage identification of Pterocarpus macarocarous and Dalbergia oliveri by ethanol solvent [J]. J Southwest For Univ, 2015, 35(4): 75 − 80. [8] 王学顺, 孙一丹, 黄敏高, 等. 基于BP神经网络的木材近红外光谱树种识别[J]. 东北林业大学学报, 2015, 43(12): 82 − 85. WANG Xueshun, SUN Yidan, HUANG Mingao, et al. Back propagation artificial neural network combined with near infrared spectroscopy for timber recognition [J]. J Northeast For Univ, 2015, 43(12): 82 − 85. [9] ESTEBAN L G, FERNÁNDEZ F G, DE PALACIOS P P, et al. Artificial neural networks in wood identification: the case of two Juniperus species from the Canary Islands [J]. IAWA J, 2009, 30(1): 87 − 94. [10] LAZARESCU C, HART F, PIROUZ Z, et al. Wood species identification by near-infrared spectroscopy [J]. Int Wood Prod J, 2017, 8(1): 32 − 35. [11] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J/OL]. 2014-09-04[2019-04-07]. https://arxiv.org/abs/1409.1556. [12] LECUN Y, BOSER B, DENKER J S, et al. Backpropagation applied to handwritten zip code recognition [J]. Neural Computation, 2014, 1(4): 541 − 551. [13] 黄鹏桂, 赵璠, 李晓平, 等. 基于计算机的木材特征提取和分类识别技术研究综述[J]. 世界林业研究, 2020, 33(1): 44 − 48. HUANG Penggui, ZHAO Pan, LI Xiaoping, et al. Review of wood feature extraction and classification based on computer [J]. World For Res, 2020, 33(1): 44 − 48. [14] 郑泽宇, 冯海林, 杜晓晨, 等. 木材径切面内部缺陷的应力波成像算法[J]. 浙江农林大学学报, 2019, 36(2): 211 − 218. ZHENG Zeyu, FENG Hailin, DU Xiaochen, et al. A stress wave tomography algorithm for internal defects in radial and longitudinal (RL) planes of wood [J]. J Zhejiang A&F Univ, 2019, 36(2): 211 − 218. [15] ROJAS J, ALPUENTE J, POSTIGO D, et al. Wood species identification using stress-wave analysis in the audible range [J]. Appl Acoust, 2011, 72(12): 934 − 942. [16] MARIO F F, JAVIER T S, ABHIRUP M, et al. A comprehensive classification of wood from thermogravimetric curves [J]. Chemometrics Intell Lab Syst, 2012, 118(1): 159 − 172. [17] 倪茜茜, 祁亨年, 周竹, 等. 基于高光谱成像技术的红酸枝木材种类识别[J]. 浙江农林大学学报, 2016, 33(3): 489 − 494. NI Qianqian, QI Hengnian, ZHOU Zhu, et al. Identifying Dalbergia spp. wood with hyperspectral imaging technology [J]. J Zhejiang A&F Univ, 2016, 33(3): 489 − 494. [18] 汪紫阳, 尹世逵, 李颖, 等. 基于可见/近红外光谱识别东北地区常见木材[J]. 浙江农林大学学报, 2019, 36(1): 162 − 169. WANG Ziyang, YIN Shikui, LI Ying, et al. Identification of common wood species in northeast China using Vis/NIR spectroscopy [J]. J Zhejiang A&F Univ, 2019, 36(1): 162 − 169. [19] 周竹, 方益明, 尹建新, 等. 高光谱成像技术及其在木材无损检测中的研究进展[J]. 浙江农林大学学报, 2015, 32(3): 458 − 466. ZHOU Zhu, FANG Yiming, YIN Jianxin, et al. Review of nondestructive detection of wood and wood products based on hyperspectral imaging technology [J]. J Zhejiang A&F Univ, 2015, 32(3): 458 − 466. [20] LEI Tao, WANG Yi, FAN Yangyu, et al. Vector morphological operators in HSV color space [J]. Sci China Inf Sci, 2013, 56(1): 1 − 12. [21] JAIN A K, MAO J, MOHIUDDIN K. Artificial neural networks: A tutorial [J]. Computer, 1996(3): 31 − 44. [22] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet Classification with Deep Convolutional Neural Networks[C]. California: Advances in neural information processing systems, 2012. [23] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J/OL]. 2014-09-04[2019-04-07]. https://arxiv.org/abs/1409.1556. -
链接本文:
https://zlxb.zafu.edu.cn/article/doi/10.11833/j.issn.2095-0756.20190672