留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

卷积神经网络在红木树种识别中的应用

黄鹏桂 赵璠 李晓平 吴章康 汤正捷 张严风

黄鹏桂, 赵璠, 李晓平, 吴章康, 汤正捷, 张严风. 卷积神经网络在红木树种识别中的应用[J]. 浙江农林大学学报, 2020, 37(6): 1200-1206. doi: 10.11833/j.issn.2095-0756.20190672
引用本文: 黄鹏桂, 赵璠, 李晓平, 吴章康, 汤正捷, 张严风. 卷积神经网络在红木树种识别中的应用[J]. 浙江农林大学学报, 2020, 37(6): 1200-1206. doi: 10.11833/j.issn.2095-0756.20190672
HUANG Penggui, ZHAO Fan, LI Xiaoping, WU Zhangkang, TANG Zhengjie, ZHANG Yanfeng. Application of convolutional neural network in rosewood species identification[J]. Journal of Zhejiang A&F University, 2020, 37(6): 1200-1206. doi: 10.11833/j.issn.2095-0756.20190672
Citation: HUANG Penggui, ZHAO Fan, LI Xiaoping, WU Zhangkang, TANG Zhengjie, ZHANG Yanfeng. Application of convolutional neural network in rosewood species identification[J]. Journal of Zhejiang A&F University, 2020, 37(6): 1200-1206. doi: 10.11833/j.issn.2095-0756.20190672

卷积神经网络在红木树种识别中的应用

doi: 10.11833/j.issn.2095-0756.20190672
基金项目: 国家自然科学基金资助项目(31870551);西南林业大学科研启动基金(111807)
详细信息
    作者简介: 黄鹏桂,从事深度学习、模式识别等研究。E-mail: xlhpg365@gmail.com
    通信作者: 赵璠,副教授,博士,从事林业信息工程研究。E-mail: fzhao@swfu.edu.cn
  • 中图分类号: S781.1

Application of convolutional neural network in rosewood species identification

  • 摘要:   目的  不同类型的红木由于生长周期和木材特性的不同,导致商业价格差异悬殊,其中还包含有国家保护木种。本研究旨在找到能准确地识别红木种类的方法,以防止交易中的欺诈行为和保护树种。  方法  以国家林业和草原局木材与木竹制品质量检验检测中心(昆明)实际检测中累积的黄檀属Dalbergia和紫檀属Pterocarpus中的交趾黄檀D. cochinchinensis、刀状黑黄檀D. cultrata、卢氏黑黄檀D. louvelii、巴里黄檀D. bariensis、奥氏黄檀D. oliveri、大果紫檀P. macrocarpus、檀香紫檀P. santalinus等7种红木的376个样本作为基本数据,使用计算机算法扩展样本数量,提出自动化识别红木的卷积神经网络模型。  结果  该方法能够自动提取适合模型分类识别的特征,使用更为便捷,相比其他传统方法识别效果更准确的,结果证明平均识别精度达99.4%。  结论  自建的卷积神经网络可以有效识别红木树种,虽然在调参优化与训练时间大于VGG16等迁移学习方法,但泛化能力更强,证明了自建模型在红木识别应用上优于迁移学习模型。图7表4参23
  • 图  1  识别精度对比图

    Figure  1  Comparison of recognition accuracy

    图  2  空白裁剪前后的檀香紫檀横切面图

    Figure  2  Comparison of P. santalinus cross section before and after blank cutting

    图  3  直方图均衡化前后的奥氏黄檀

    Figure  3  Comparison of D. oliveri cross sections before and after histogram equalization

    图  4  扩充后的巴里黄檀横切面图

    Figure  4  Expanded D. bariensis cross section pictures

    图  5  模型结构图

    Figure  5  Model structure

    图  6  2种优化器的损失对比

    Figure  6  Comparison of loss between two optimizers

    图  7  训练时精度变化

    Figure  7  Accuracy changes during training

    表  1  样本数量表

    Table  1.   Number of samples

    红木种类原始数据数量/个扩充后数量/个
    交趾黄檀 56 2 673
    刀状黑黄檀 53 2 535
    卢氏黑黄檀 49 3 102
    大果紫檀 51 4 259
    奥氏黄檀 52 2 857
    巴里黄檀 57 3 216
    檀香紫檀 58 2 853
    下载: 导出CSV

    表  2  模型的各层参数

    Table  2.   Layer parameters of the model

    类型核数量尺寸/步长输入输出类型核数量尺寸/步长输入输出
    卷积层 16 3×3/1 150×150×3 150×150×16 池化层 2×2/2 37×37×64 18×18×64
    卷积层 卷积层 128 3×3/1 18×18×64 18×18×128
    池化层 2×2/2 150×150×16 75×75×16 全局平均池化层 18×18×128 128
    卷积层 32 3×3/1 75×75×16 75×75×32 全连接 128 158
    卷积层 全连接 158 58
    池化层 2×2/2 75×75×32 37×37×32 全连接 (输出) 58 7
    卷积层 64 3×3/1 37×37×32 37×37×64
    卷积层
    下载: 导出CSV

    表  3  各类别的识别准确率

    Table  3.   The recognition accuracy of each category

    红木类别样本数量/个准确率/%
    交趾黄檀 535 99.5
    刀状黑黄檀507 98.7
    卢氏黑黄檀620 99.3
    大果紫檀 852 99.6
    奥氏黄檀 571 99.9
    巴里黄檀 643100
    檀香紫檀 571 98.9
    平均值   99.4
    下载: 导出CSV

    表  4  模型参数对比

    Table  4.   Comparison of model parameters

    网络名称输入尺寸卷积核个数卷积参数全连接参数总共参数验证精度/%
    AlexNet 227, 227 1 152 2 469 696 7 454 508 9 924 204 92.4
    VGG16 150, 150 4 224 14 714 688 6 635 308 21 349 996 93.5
    本模型(CNN) 150, 150 352 146 206‬ 29 747 175 953 99.4
    下载: 导出CSV
  • [1] 杨燕, 吕建雄, 邱坚, 等. 4种易与红木混淆木材的构造分析[J]. 木材工业, 2014, 28(5): 51 − 54.

    YANG Yan, LÜ Jianxiong, QIU Jian, et al. Anatomic structure of four wood species similar with Dalbergia cochinchinensis and Pterocarpus macarocarpus [J]. China Wood Ind, 2014, 28(5): 51 − 54.
    [2] 汪杭军, 张广群, 祁亨年, 等. 木材识别方法研究综述[J]. 浙江农林大学学报, 2009, 26(6): 896 − 902.

    WANG Hangjun, ZHANG Guangqun, QI Hengnian, et al. A review of research on wood recognition technology [J]. J Zhejiang A&F Univ, 2009, 26(6): 896 − 902.
    [3] MOHAN S, VENKATACHALAPATHY K, RAI A K. Wood species classification and identification system [J]. Int J Eng Sci Res Technol, 2014, 3(6): 847 − 853.
    [4] 张蓉, 徐魁梧, 张丽沙, 等. 基于红外光谱的5种红木树种识别探讨[J]. 林业工程学报, 2014, 28(2): 95 − 99.

    ZHANG Rong, XU Kuiwu, ZHANG Lisha, et al. Identification of five rosewood species by infrared spectrum characteristics [J]. J For Eng, 2014, 28(2): 95 − 99.
    [5] 程士超, 李丹, 张求慧, 等. 5种花梨木的红外光谱比较分析[J]. 北京林业大学学报, 2016, 38(1): 118 − 124.

    CHENG Shichao, LI Dan, ZHANG Qiuhui, et al. Comparative analysis of five kinds of rosewood by infrared spectra [J]. J Beijing For Univ, 2016, 38(1): 118 − 124.
    [6] 李艳艳, 孙多永, 朱仲良, 等. 基于气相色谱—主成分分析的红木分类识别方法研究[J]. 计算机与应用化学, 2010, 27(2): 237 − 240.

    LI Yanyan, SUN Duoyong, ZHU Zhongliang, et al. Study on the classification and recognition of mahogany based on gas chromato-graph-principle component analysis [J]. Comput Appl Chem, 2010, 27(2): 237 − 240.
    [7] 张洁, 夏兆鹏, 袁鹏飞, 等. 大果紫檀和奥氏黄檀乙醇低毒微损鉴别[J]. 西南林业大学学报, 2015, 35(4): 75 − 80.

    ZHANG Jie, XIA Zhaopeng, YUAN Pengfei, et al. Low toxicity and micro damage identification of Pterocarpus macarocarous and Dalbergia oliveri by ethanol solvent [J]. J Southwest For Univ, 2015, 35(4): 75 − 80.
    [8] 王学顺, 孙一丹, 黄敏高, 等. 基于BP神经网络的木材近红外光谱树种识别[J]. 东北林业大学学报, 2015, 43(12): 82 − 85.

    WANG Xueshun, SUN Yidan, HUANG Mingao, et al. Back propagation artificial neural network combined with near infrared spectroscopy for timber recognition [J]. J Northeast For Univ, 2015, 43(12): 82 − 85.
    [9] ESTEBAN L G, FERNÁNDEZ F G, DE PALACIOS P P, et al. Artificial neural networks in wood identification: the case of two Juniperus species from the Canary Islands [J]. IAWA J, 2009, 30(1): 87 − 94.
    [10] LAZARESCU C, HART F, PIROUZ Z, et al. Wood species identification by near-infrared spectroscopy [J]. Int Wood Prod J, 2017, 8(1): 32 − 35.
    [11] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J/OL]. 2014-09-04[2019-04-07]. https://arxiv.org/abs/1409.1556.
    [12] LECUN Y, BOSER B, DENKER J S, et al. Backpropagation applied to handwritten zip code recognition [J]. Neural Computation, 2014, 1(4): 541 − 551.
    [13] 黄鹏桂, 赵璠, 李晓平, 等. 基于计算机的木材特征提取和分类识别技术研究综述[J]. 世界林业研究, 2020, 33(1): 44 − 48.

    HUANG Penggui, ZHAO Pan, LI Xiaoping, et al. Review of wood feature extraction and classification based on computer [J]. World For Res, 2020, 33(1): 44 − 48.
    [14] 郑泽宇, 冯海林, 杜晓晨, 等. 木材径切面内部缺陷的应力波成像算法[J]. 浙江农林大学学报, 2019, 36(2): 211 − 218.

    ZHENG Zeyu, FENG Hailin, DU Xiaochen, et al. A stress wave tomography algorithm for internal defects in radial and longitudinal (RL) planes of wood [J]. J Zhejiang A&F Univ, 2019, 36(2): 211 − 218.
    [15] ROJAS J, ALPUENTE J, POSTIGO D, et al. Wood species identification using stress-wave analysis in the audible range [J]. Appl Acoust, 2011, 72(12): 934 − 942.
    [16] MARIO F F, JAVIER T S, ABHIRUP M, et al. A comprehensive classification of wood from thermogravimetric curves [J]. Chemometrics Intell Lab Syst, 2012, 118(1): 159 − 172.
    [17] 倪茜茜, 祁亨年, 周竹, 等. 基于高光谱成像技术的红酸枝木材种类识别[J]. 浙江农林大学学报, 2016, 33(3): 489 − 494.

    NI Qianqian, QI Hengnian, ZHOU Zhu, et al. Identifying Dalbergia spp. wood with hyperspectral imaging technology [J]. J Zhejiang A&F Univ, 2016, 33(3): 489 − 494.
    [18] 汪紫阳, 尹世逵, 李颖, 等. 基于可见/近红外光谱识别东北地区常见木材[J]. 浙江农林大学学报, 2019, 36(1): 162 − 169.

    WANG Ziyang, YIN Shikui, LI Ying, et al. Identification of common wood species in northeast China using Vis/NIR spectroscopy [J]. J Zhejiang A&F Univ, 2019, 36(1): 162 − 169.
    [19] 周竹, 方益明, 尹建新, 等. 高光谱成像技术及其在木材无损检测中的研究进展[J]. 浙江农林大学学报, 2015, 32(3): 458 − 466.

    ZHOU Zhu, FANG Yiming, YIN Jianxin, et al. Review of nondestructive detection of wood and wood products based on hyperspectral imaging technology [J]. J Zhejiang A&F Univ, 2015, 32(3): 458 − 466.
    [20] LEI Tao, WANG Yi, FAN Yangyu, et al. Vector morphological operators in HSV color space [J]. Sci China Inf Sci, 2013, 56(1): 1 − 12.
    [21] JAIN A K, MAO J, MOHIUDDIN K. Artificial neural networks: A tutorial [J]. Computer, 1996(3): 31 − 44.
    [22] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet Classification with Deep Convolutional Neural Networks[C]. California: Advances in neural information processing systems, 2012.
    [23] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J/OL]. 2014-09-04[2019-04-07]. https://arxiv.org/abs/1409.1556.
  • [1] 谢文远, 鲁益飞, 陈征海, 金孝锋.  浙江广义乌蔹莓属植物的分类研究 . 浙江农林大学学报, 2022, 39(6): 1212-1220. doi: 10.11833/j.issn.2095-0756.20210751
    [2] 李雅琳, 李素艳, 孙向阳, 郝丹, 蔡琳琳, 常晓彤.  基于人工神经网络算法的2株木质素降解菌固体菌剂的制备 . 浙江农林大学学报, 2022, 39(2): 364-371. doi: 10.11833/j.issn.2095-0756.20210311
    [3] 栾景然, 冯国红, 朱玉杰.  基于连续投影算法-遗传算法-BP神经网络的可见/近红外光谱木材识别 . 浙江农林大学学报, 2022, 39(3): 671-678. doi: 10.11833/j.issn.2095-0756.20210377
    [4] 陈禹衡, 陆双飞, 毛岭峰.  黄檀属珍稀树种未来适宜区变化预测 . 浙江农林大学学报, 2021, 38(4): 837-845. doi: 10.11833/j.issn.2095-0756.20200522
    [5] 卯光宪, 谭伟, 柴宗政, 赵杨, 杨深钧.  基于BP神经网络的马尾松人工林胸径-树高模型预测 . 浙江农林大学学报, 2020, 37(4): 752-760. doi: 10.11833/j.issn.2095-0756.20190486
    [6] 刘光武, 陈晨, 王柯力.  基于神经网络的马尾松人工林密度指数模型 . 浙江农林大学学报, 2020, 37(1): 100-104. doi: 10.11833/j.issn.2095-0756.2020.01.013
    [7] 明浩, 苏喜友.  利用特征分割和病斑增强的杨树叶部病害识别 . 浙江农林大学学报, 2020, 37(6): 1159-1166. doi: 10.11833/j.issn.2095-0756.20190752
    [8] 张洁, 尹德洁, 关海燕, 屈琦琦, 董丽.  景天属植物研究综述 . 浙江农林大学学报, 2018, 35(6): 1166-1176. doi: 10.11833/j.issn.2095-0756.2018.06.022
    [9] 陈金星, 岳德鹏, 冯仲科, 丁家巍, 姚炳全, 叶添雄.  手持式树径自动识别测树仪的研制与应用 . 浙江农林大学学报, 2016, 33(4): 589-598. doi: 10.11833/j.issn.2095-0756.2016.04.006
    [10] 余乐, 吕建雄, 李贤军, 徐康, 吴义强, 蒋佳荔.  X射线扫描法和切片法测量干燥过程中杉木含水率分布的比较研究 . 浙江农林大学学报, 2013, 30(4): 543-547. doi: 10.11833/j.issn.2095-0756.2013.04.013
    [11] 陈芳, 张广群, 崔坤鹏, 汪杭军.  嵌入式植物自动识别系统的设计与实现 . 浙江农林大学学报, 2013, 30(3): 379-384. doi: 10.11833/j.issn.2095-0756.2013.03.012
    [12] 伏建国, 刘金良, 杨晓军, 安榆林, 骆嘉言.  进口黄檀属木材DNA提取与分子鉴定方法初步研究 . 浙江农林大学学报, 2013, 30(4): 627-632. doi: 10.11833/j.issn.2095-0756.2013.04.025
    [13] 赖广辉.  安徽竹亚科苦竹属植物的分类修订 . 浙江农林大学学报, 2012, 29(6): 851-858. doi: 10.11833/j.issn.2095-0756.2012.06.008
    [14] 高浩杰, 陈征海.  裸冠菊属:华东地区一新归化属 . 浙江农林大学学报, 2011, 28(6): 992-994. doi: 10.11833/j.issn.2095-0756.2011.06.026
    [15] 施拥军, 徐小军, 杜华强, 周国模, 金伟, 周宇峰.  基于BP神经网络的竹林遥感监测研究 . 浙江农林大学学报, 2008, 25(4): 417-421.
    [16] 李根有, 陈征海, 裘宝林.  浙江柿属一新种 . 浙江农林大学学报, 2006, 23(4): 378-381.
    [17] 傅秋华, 陆媛媛, 范一卿, 郑楼福, 谢芳, 李大标, 董云富, 郑英茂.  台湾杉属树种引种效果探讨 . 浙江农林大学学报, 1999, 16(4): 439-442.
    [18] 吴鸿.  浙江龙王山真菌蚊属3新种 . 浙江农林大学学报, 1998, 15(2): 170-175.
    [19] 柳新红, 胡绍庆, 周关清, 汤兆成, 林日传.  浙江兰属植物新记录 . 浙江农林大学学报, 1998, 15(3): 267-268.
    [20] 何东进, 洪伟, 吴承祯.  人工神经网络用于杉木壮苗定向培育规律的研究 . 浙江农林大学学报, 1997, 14(4): 339-343.
  • 加载中
  • 链接本文:

    https://zlxb.zafu.edu.cn/article/doi/10.11833/j.issn.2095-0756.20190672

    https://zlxb.zafu.edu.cn/article/zjnldxxb/2020/6/1200

图(7) / 表(4)
计量
  • 文章访问数:  1564
  • HTML全文浏览量:  498
  • PDF下载量:  47
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-11-11
  • 修回日期:  2020-05-18
  • 网络出版日期:  2020-12-01
  • 刊出日期:  2020-12-01

卷积神经网络在红木树种识别中的应用

doi: 10.11833/j.issn.2095-0756.20190672
    基金项目:  国家自然科学基金资助项目(31870551);西南林业大学科研启动基金(111807)
    作者简介:

    黄鹏桂,从事深度学习、模式识别等研究。E-mail: xlhpg365@gmail.com

    通信作者: 赵璠,副教授,博士,从事林业信息工程研究。E-mail: fzhao@swfu.edu.cn
  • 中图分类号: S781.1

摘要:   目的  不同类型的红木由于生长周期和木材特性的不同,导致商业价格差异悬殊,其中还包含有国家保护木种。本研究旨在找到能准确地识别红木种类的方法,以防止交易中的欺诈行为和保护树种。  方法  以国家林业和草原局木材与木竹制品质量检验检测中心(昆明)实际检测中累积的黄檀属Dalbergia和紫檀属Pterocarpus中的交趾黄檀D. cochinchinensis、刀状黑黄檀D. cultrata、卢氏黑黄檀D. louvelii、巴里黄檀D. bariensis、奥氏黄檀D. oliveri、大果紫檀P. macrocarpus、檀香紫檀P. santalinus等7种红木的376个样本作为基本数据,使用计算机算法扩展样本数量,提出自动化识别红木的卷积神经网络模型。  结果  该方法能够自动提取适合模型分类识别的特征,使用更为便捷,相比其他传统方法识别效果更准确的,结果证明平均识别精度达99.4%。  结论  自建的卷积神经网络可以有效识别红木树种,虽然在调参优化与训练时间大于VGG16等迁移学习方法,但泛化能力更强,证明了自建模型在红木识别应用上优于迁移学习模型。图7表4参23

English Abstract

黄鹏桂, 赵璠, 李晓平, 吴章康, 汤正捷, 张严风. 卷积神经网络在红木树种识别中的应用[J]. 浙江农林大学学报, 2020, 37(6): 1200-1206. doi: 10.11833/j.issn.2095-0756.20190672
引用本文: 黄鹏桂, 赵璠, 李晓平, 吴章康, 汤正捷, 张严风. 卷积神经网络在红木树种识别中的应用[J]. 浙江农林大学学报, 2020, 37(6): 1200-1206. doi: 10.11833/j.issn.2095-0756.20190672
HUANG Penggui, ZHAO Fan, LI Xiaoping, WU Zhangkang, TANG Zhengjie, ZHANG Yanfeng. Application of convolutional neural network in rosewood species identification[J]. Journal of Zhejiang A&F University, 2020, 37(6): 1200-1206. doi: 10.11833/j.issn.2095-0756.20190672
Citation: HUANG Penggui, ZHAO Fan, LI Xiaoping, WU Zhangkang, TANG Zhengjie, ZHANG Yanfeng. Application of convolutional neural network in rosewood species identification[J]. Journal of Zhejiang A&F University, 2020, 37(6): 1200-1206. doi: 10.11833/j.issn.2095-0756.20190672
  • 根据国家标准GB/T 18107−2017《红木》,红木共5属8类29种。由于不同种类的红木在表层宏观特征不具有唯一性,但在横切面上它们具有十分明显的结构差异,只有少部分红木如乌木的结构特征体现在弦切面上,因此,红木识别目前主要依据红木切片在光学显微镜下的结构特征差异[1]。目前,红木的特征识别主要是通用木材识别技术[2-3],如红外光谱识技术[4-5]和气相色谱技术[6-7]。此类红木识别方法具有2个主要的缺陷:其一,根据红木切片照片的特征进行人工识别,识别的准确度受限于识别人员的专业素养和经验,特别是对于较为罕见的红木品种,时常发生不同识别人员识别结果不一致的情况;其二,现行的红木识别并没有结合红木的结构特征进行相关优化。由于不同种类红木的结构特征差异使得红木切片上的纹理特征不同[3],这就可以运用图像识别技术来进行红木分类识别。王学顺等[8]、ESTEBAN等[9]、LAZARESCU等[10]、MOHAN等[3]等已将机器学习和一些图像识别技术应用于木材识别。卷积神经网络[11-12]作为目前图像识别领域中最先进的技术,利用该模型对红木切片纹理特征进行红木识别,可大幅降低红木识别的专业要求,又能提高红木识别率[13]。相比于传统的红木识别技术和一些特殊的技术如应力波[14-15]、热重曲线[16]等,这些方法的识别效果对所提取特征的表示性要求较高,为取得最优的识别效果还需对比众多分类算法[17-19]。卷积神经网络可以自动提取红木切片的纹理特征并分类识别。为了简化红木识别流程,提升识别精度,使用卷积神经网络对红木树种分类识别研究。

    • 红木切片样本来自国家林业和草原局木材与木竹制品质量检验检测中心(昆明)实际检测业务中累积的数据,包括黄檀属Dalbergia和紫檀属Pterocarpus中交趾黄檀D. cochinchinensis、刀状黑黄檀D. cultrata、卢氏黑黄檀D. louvelii、巴里黄檀D. bariensis、奥氏黄檀D. oliveri、大果紫檀P. macrocarpus、檀香紫檀P. santalinus等7种红木的376个样本。由于在实际木材检验中,结合宏观特征与横切面结构特征就可确定许多红木种类,因此,横切面(显微镜30倍)样本数据较多。在分别针对红木的横切面、径切面、弦切面的部分数据初步建立卷积神经网络时,同样发现针对横切面的数据识别模型精度较高(图1)。因此,选用横切面数据做识别训练。

      图  1  识别精度对比图

      Figure 1.  Comparison of recognition accuracy

    • 受试剂的影响,切片图像存在气泡和空白,很容易产生噪声数据影响识别精度,因此设计RGB图像空白处裁剪算法。算法需要先行设置空白率r,1幅图像中1行的白色像素数在整行所占的比列小于r后,则认为从这一行开始包含有效信息,此行后的像素行不再进行裁剪。处理流程为先拷贝图像A的副本A2,对A2进行灰度化处理,使得空白处像素点的值接近于1。从左到右逐列比较空白率,得出x1;再从右到左逐列比较空白率,得出x2;同理从上到下、从下到上比较空白率,得出y1y2。依据(x1, x2, y1, y2)得矩形的4个点,依据4个点的位置裁剪目标图片(图2)。

      图  2  空白裁剪前后的檀香紫檀横切面图

      Figure 2.  Comparison of P. santalinus cross section before and after blank cutting

    • 切片在取样时可能存在薄厚不均,在放入载玻片操作时会导致切片折叠产生黑块,且红木切片的颜色很容易受试剂的影响。因此,先将图像从RGB空间转换到HSV空间[20],再在V通道进行直方图均衡化处理后再转换到RGB空间。均衡化处理后,图像上的黑块变淡、纹理清晰(图3)。

      图  3  直方图均衡化前后的奥氏黄檀

      Figure 3.  Comparison of D. oliveri cross sections before and after histogram equalization

    • 切片大小不一会造成切片图像尺寸和旋转方向不一致,卷积神经网络模型需要输入固定尺寸和方向的图像,会导致图像因缩放纹理结构发生形变,同时样本数量有限,因此提出旋转随机裁剪法来统一和扩充样本。处理流程为每张图片旋转36次,每次旋转10°,每次旋转都依据图片的面积比裁剪出相应数量的子图。为了使子图尽可能小同时又包含更多信息,子图的尺寸被统一为(224, 224),如输入图像的尺寸为(w, h),共裁剪出的子图数量nwh/(224×224)。经过空白处理后的图像在边角部分仍存在连续的空白区块,这使得旋转后的图像存在不少黑色填充区域,导致随机裁剪出的部分图像存在连续的黑色或白色区域。为了减少这种影响,使用白点率、黑点率丢弃法,统计图像中白色或黑色像素点的数量,如果所占比例超过阈值就直接丢弃。黑点丢弃的阈值设置为0.06,考虑到红木切片管孔的空白部分,白点丢弃得阈值为0.17,处理如图4所示。最终,扩展得到可用样本21 495个(表1)。将这些样本按照3∶1∶1的比例划分为训练集、验证集、测试集3部分。

      表 1  样本数量表

      Table 1.  Number of samples

      红木种类原始数据数量/个扩充后数量/个
      交趾黄檀 56 2 673
      刀状黑黄檀 53 2 535
      卢氏黑黄檀 49 3 102
      大果紫檀 51 4 259
      奥氏黄檀 52 2 857
      巴里黄檀 57 3 216
      檀香紫檀 58 2 853

      图  4  扩充后的巴里黄檀横切面图

      Figure 4.  Expanded D. bariensis cross section pictures

    • 卷积神经网络通过构建人工神经网络[21],模拟人类的大脑思考过程自动从带有标签的数据中学习特征,进行分类预测。卷积神经网络由3种网络层结构组成,前面部分由卷积层、池化层交替连接,后面部分由全连接层组成。利用卷积神经网络模型进行红木切片识别,先要使用被标注过的切片样本训练模型,然后通过代价函数评估模型的拟合能力,并以反向传播的过程不断调试模型参数,最终使得模型能提取并拟合红木切片的结构特征。

    • 红木切片的识别模型有12层,卷积核的数目逐层增多。连续的2个3×3的卷积核,使卷积核的视野与5×5的卷积核一致,而运算量减少28%;同样为了减少卷积的运算量,将裁剪后的图像统一缩放到150×150。模型在卷积层中,设计了多个卷积通道,能以不用角度的视野提取特征。为了能对边缘像素点提取特征,将卷积运算模式设置为填充模式,步长为1。卷积之间加入2×2的最大池化层(maxpool),选择矩阵中每个2×2区块的最大值为下一层输入,能提取显著特征,减小矩阵尺寸,最后一个卷积层与全局平均池化层(global average pool)相连接将输入矩阵从(37, 37, 128)直接变为(128),充分减少了模型计算量。模型采用线性整流函数(relu)作为激活函数,克服网络层次变深而梯度消失的情况。最后3层为全连接,最后一层的特征利用归一化指数函数(softmax)做多分类预测。最终模型结构如图5所示,各层参数如表2所示。

      表 2  模型的各层参数

      Table 2.  Layer parameters of the model

      类型核数量尺寸/步长输入输出类型核数量尺寸/步长输入输出
      卷积层 16 3×3/1 150×150×3 150×150×16 池化层 2×2/2 37×37×64 18×18×64
      卷积层 卷积层 128 3×3/1 18×18×64 18×18×128
      池化层 2×2/2 150×150×16 75×75×16 全局平均池化层 18×18×128 128
      卷积层 32 3×3/1 75×75×16 75×75×32 全连接 128 158
      卷积层 全连接 158 58
      池化层 2×2/2 75×75×32 37×37×32 全连接 (输出) 58 7
      卷积层 64 3×3/1 37×37×32 37×37×64
      卷积层

      图  5  模型结构图

      Figure 5.  Model structure

    • 模型的训练过程实际上是将网络输入以正向传播的过程输入图像逐层提取特征,在卷积层a中,卷积核w以滑动窗口的方式从矩阵最右上角的点运算到最后1个像素点,窗口覆盖的范围与对应的卷积核参数相乘,乘积结果之和加上偏移量b赋值到对应矩阵中卷积核中心的位置,然后在使用激活函数σ将卷积的输出结果z进行激活操作。卷积层的前向传播过程为:

      $$ {a^L} = \sigma \left( {{z^L}} \right) = \sigma \left( {{a^{L - 1}}{w^L} + {b^L}} \right) {\text{。}} $$ (1)

      式(1)中:L表示卷积层的层数,zL表示第L层卷积操作的输出,aL表示第L个的卷积层的输出结果。上述只是描述了单个卷积核连接的过程,网络层有多个卷积核时,每个卷积核多需要经相应的运行,并将所有卷积核的输出累加作为卷积层的输出。

      选用的池化层大小是2×2,其运算是将一个n×n的矩阵划分成多个2×2的子区域,然后选取每个子区域的最大值输出一个$\displaystyle\frac{n}{2} \times \displaystyle\frac{n}{2}$的矩阵,整个过程中并没有参数需要调整。全连接层$f$的传播过程为:

      $$ {f^L} = \sigma \left( {{f^{L - 1}}w + {b^L}} \right){\text{。}} $$ (2)

      式(2)中:当${f^{L - 1}}$层的神经元数为n${f^L}$层的神经元数为m时,w的形状为n×m。全连接的最后一层选用归一化指数函数作为激活函数,提取结果映射到[0, 1]概率区间与标签编码形成的独热码编码比较,得出拟合损失。再利用自适应矩估计(adaptive moment estimation, Adam)优化器将比较结果以反向传播的过程逐层调整网络层参数,使得模型的拟合损失逐步变小。自适应矩估计优化器实现简单计算高效,能自动调整学习率,减少损失函数的震荡,使精度不断上升。

    • 在训练时为了尽量精简模型的体量,起初每层的卷积核通道都比较少,训练出来模型的精度不高。每次训练结束后都依据损失函数的值,适度调整优化器的学习率和衰减率、变更卷积通道数、修改全连接层结构,使模型的测试精度不断上升,直到精度符合实验预期目标时终止调参过程。模型最初选用的优化器是随机梯度下降法(stochastic gradient descent, SGD),收敛速度较慢,在换成自适应矩估计优化器后模型收敛速度变快,且精度有所提升,如图6所示。在起初模型存在过拟合,引入随机失活(dropout)机制降低过拟合,但调整后又出现数据泄露假象,训练集的重要特征丢失导致验证集精度高于训练集,最终通过降低随机失活的神经元数量的权重加以解决,并经过试验最终采用随机失活的权重为0.2。

      图  6  2种优化器的损失对比

      Figure 6.  Comparison of loss between two optimizers

      输入图像的尺寸是150×150的RGB三通道图像,在经过卷积层时图像矩阵通道数变成和卷积核数目一致,经过第1个池化层后数据矩阵尺寸变为75×75×16,再通过卷积层、池化层后数据矩阵尺寸变为18×18×128的三维数组。而其后的全连接层输入必须是一维向量,因此使用全局平均池化层在每个18×18的矩阵中求得平均值,将三维数组重塑为128维的向量,第1个全连接层的输出是158。数据再经过卷积层和全连接层时,都利用线性整流函数进行激活操作,而通过最后一个全连接层输出时使用归一化指数函数将数值映射到概率[0, 1]空间。如图7所示:模型的训练轮次为30、批大小为32,模型在第29个轮次后,精度稳定在99%,达到收敛状态。

      图  7  训练时精度变化

      Figure 7.  Accuracy changes during training

    • 表3所示:利用4 299个测试样本测试后,有4 273个样本预测正确,仅有26个红木样本预测错误,准确率高达99.4%。本方法不需要对特征建立多个识别模型,能够自动提取适合模型分类识别的特征,使用更为便捷。

      表 3  各类别的识别准确率

      Table 3.  The recognition accuracy of each category

      红木类别样本数量/个准确率/%
      交趾黄檀 535 99.5
      刀状黑黄檀507 98.7
      卢氏黑黄檀620 99.3
      大果紫檀 852 99.6
      奥氏黄檀 571 99.9
      巴里黄檀 643100
      檀香紫檀 571 98.9
      平均值   99.4

      此外,为进一步论证本方法模型的可靠性,选用卷积神经网络模型AlexNet[22]和VggNet[23],分别运用迁移学习技术修改它们的最后一层全连接层的数量,微调其全部全连接层的参数建立模型与本方法模型进行了对比。从表4可以看出:本模型参数更少、精度更高。

      表 4  模型参数对比

      Table 4.  Comparison of model parameters

      网络名称输入尺寸卷积核个数卷积参数全连接参数总共参数验证精度/%
      AlexNet 227, 227 1 152 2 469 696 7 454 508 9 924 204 92.4
      VGG16 150, 150 4 224 14 714 688 6 635 308 21 349 996 93.5
      本模型(CNN) 150, 150 352 146 206‬ 29 747 175 953 99.4
    • 本方法准确率达99.4%,证明了卷积神经网络技术用于红木分类识别的可能性。此外,本方法模型在同样的数据情况下,虽然在调参优化与训练时间大于迁移学习模型,但泛化能力明显高于迁移学习模型,证明了自建模型在应用上优于迁移学习模型。

      但是,本方法还存在以下问题:针对交趾黄檀、巴里黄檀、檀香紫檀等7种红木达到实用级的准确率,但要满足实际应用还需更多更全的样本,以保证对于全红木种类的识别精度;模型给定的输入必须为显微镜30倍拍摄图片,在图像输入到模型前可以针对图像的拍摄倍数进行适当缩放,以达到显微镜30倍拍摄的效果;识别结果中仅包括种类信息,无法给出相应的判别依据,后续可借鉴目标检测网络的思想,构建语义化的红木切片识别模型,达到自动识别红木类型并框选出相应红木结构特征的效果。

参考文献 (23)

目录

    /

    返回文章
    返回