留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于智能手机与机器视觉技术的立木胸径测量方法

管昉立 徐爱俊

管昉立, 徐爱俊. 基于智能手机与机器视觉技术的立木胸径测量方法[J]. 浙江农林大学学报, 2018, 35(5): 892-899. doi: 10.11833/j.issn.2095-0756.2018.05.014
引用本文: 管昉立, 徐爱俊. 基于智能手机与机器视觉技术的立木胸径测量方法[J]. 浙江农林大学学报, 2018, 35(5): 892-899. doi: 10.11833/j.issn.2095-0756.2018.05.014
GUAN Fangli, XU Aijun. Tree DBH measurement method based on smartphone and machine vision technology[J]. Journal of Zhejiang A&F University, 2018, 35(5): 892-899. doi: 10.11833/j.issn.2095-0756.2018.05.014
Citation: GUAN Fangli, XU Aijun. Tree DBH measurement method based on smartphone and machine vision technology[J]. Journal of Zhejiang A&F University, 2018, 35(5): 892-899. doi: 10.11833/j.issn.2095-0756.2018.05.014

基于智能手机与机器视觉技术的立木胸径测量方法

doi: 10.11833/j.issn.2095-0756.2018.05.014
基金项目: 

国家自然科学基金资助项目 31670641

浙江省科技重点研发计划资助项目 2018C02013

浙江省大学生科技创新活动计划暨新苗人才计划资助项目 2016R412044

详细信息
    作者简介: 管昉立, 从事基于图像的测量技术及其在林业中的应用研究。E-mail:guanfangli@foxmail.com
    通信作者: 徐爱俊, 教授, 博士, 从事计算机应用技术研究。E-mail:xuaj1976@163.com
  • 中图分类号: S758.7

Tree DBH measurement method based on smartphone and machine vision technology

  • 摘要: 针对现有森林资源调查中立木胸径测量工作劳动强度大、效率低,先进设备操作复杂、成本高等问题,结合相机标定、三维重建、机器视觉和近景摄影测量等技术,探索基于智能手机与机器视觉技术的立木胸径测量方法。通过智能手机获取待测立木的图像信息,运用Lab颜色空间模型(Lab color model)和3×3算子对图像进行卷积运算,得到立木图像的视觉显著图; 结合HSV颜色模型(色调H,饱和度S,明度V)中的H分量增强图像中立木树干部分的颜色对比度,通过图像分割算法识别并获取自然环境下的目标立木轮廓区域; 通过一种改进的带有非线性畸变项的相机标定模型标定智能手机的相机内、外参数,并借助相机参数和二维图像信息进行三维世界坐标重建,从而实现树干1.3 m处胸径的测量。经验证,一定距离内胸径测量结果的相对误差小于2.50%。该方法测量精度较高,符合森林资源调查对胸径测量的精度要求,可应用于森林资源调查。
  • 图  1  采用相机标定技术和机器视觉技术的胸径自动测量方法流程图

    Figure  1  Flow chart of automatic DBH measurement method based on camera calibration technology and machine vision technology

    图  2  标定图片获取示意图

    Figure  2  Schematic drawing of calibration picture

    图  3  标定模板图像的角点和平均像素误差

    图 3Axy坐标分别代表模板图像的2个方向,图中的各点表示模板图像中各角点在xy方向上的偏移方向和偏移量。图 3B的横坐标表示模板图像的编号,纵坐标表示每幅图像中所有角点的平均像素误差

    Figure  3  Corner reprojection errors and average pixels errors of calibration images

    图  4  三维世界坐标重建算法流程图

    Figure  4  Flow chart of 3D coordinate reconstruction algorithm

    图  5  融入H分量的特征表达图及树干轮廓提取示意图

    Figure  5  Feature expression diagram integrating into H components and a sketch map of tree trunk extraction

    图  6  树干轮廓提取示意图

    Figure  6  Sketch map of tree trunk outline extraction

    图  7  立木轮廓最小外接矩形提取及胸径位置定位和胸径计算

    Figure  7  Minimum outer rectangleof tree trunk outline extraction, DBH location and DBH calculation

    表  1  树干高度测量数据

    Table  1.   Measurement data of the trunk height

    样本号 树干高度真值/m 树干高度测量值/m 相对误差/%
    1 2.700 2.715±0.148 3.89
    2 2.800 2.665±0.007 4.82
    3 3.600 3.620±0.099 3.95
    4 3.900 4.000±0.014 2.57
    5 4.200 4.170±0.226 3.81
    6 4.400 4.225±0.049 3.98
    7 4.400 4.605±0.007 4.65
    8 4.900 5.085±0.064 3.78
    9 5.200 5.225±0.163 2.21
    10 5.500 5.340±0.057 2.91
    11 5.800 5.670±0.028 2.25
    12 6.100 6.330±0.028 3.77
    说明:树干高度指所获取图像内的树干部分的高度,并非指立木因子中的树高
    下载: 导出CSV

    表  2  胸径测量数据

    Table  2.   Measurement data of the DBH

    样本号 胸径真值/ mm 胸径测量值/mm 平均绝对误差/mm 相对误差/%
    1 163.000 161.000±0.265 -2.000 1.23
    2 148.000 145.900±0.400 -2.100 1.42
    3 122.000 119.900±0.557 -2.100 1.72
    4 152.000 149.467±0.404 -2.500 1.67
    5 188.000 183.533±1.343 -4.500 2.37
    6 132.000 129.233±1.242 -2.800 2.10
    7 139.000 137.367±0.611 -1.600 1.17
    8 203.000 200.500±0.200 -2.500 1.23
    9 204.000 201.367±0.814 -2.600 1.29
    10 228.000 225.933±0.551 -2.100 0.77
    下载: 导出CSV
  • [1] 史洁青, 冯仲科, 刘金成.基于无人机遥感影像的高精度森林资源调查系统设计与试验[J].农业工程学报, 2017, 33(11):82-90.

    SHI Jieqing, FENG Zhongke, LIU Jincheng. Design and experiment of high precision forest resource investigation system based on UAV remote sensing images[J]. Trans Chin Soc Agric Eng, 2017, 33(11):82-90.
    [2] 赵芳, 冯仲科, 高祥, 等.树冠遮挡条件下全站仪测量树高及材积方法[J].农业工程学报, 2014, 30(2):182-190.

    ZHAO Fang, FENG Zhongke, GAO Xiang, et al. Measure method of tree height and volume using total station under canopy cover condition[J]. Trans Chin Soc Agric Eng, 2014, 30(2):182-190.
    [3] 程朋乐, 刘晋浩, 王典.融合激光和机器视觉的立木胸径检测方法[J].农业机械学报, 2013, 22(11):271-275.

    CHENG Pengle, LIU Jinhao, WANG Dian. Measuring diameters at breast height using combination method of laser and machine vision[J]. Trans Chin Soc Agric Mach, 2013, 22(11):271-275.
    [4] 孟宪宇.测树学[M]. 3版.北京:中国林业出版社, 2013:10-17.
    [5] 侯鑫新, 谭月胜, 钱桦, 等.一种基于单CCD与经纬仪的树木胸径测量方法[J].计算机应用研究, 2014, 31(4):1225-1228.

    HOU Xinxin, TAN Yuesheng, QIAN Hua, et al. DBH measurement method based on tree images taken by single-CCD camera mounted on theodolite[J]. Appl Res Comput, 2014, 31(4):1225-1228.
    [6] 阮晓晓.基于普通数码相机的测树因子识别研究[D].杭州: 浙江农林大学, 2014.

    RUAN Xiaoxiao. The Study on Stumpages's Factors Recognition Based on Ordinary Digital Camera[D]. Hangzhou: Zhejiang A&F University, 2014.
    [7] 韩殿元.基于手机图像分析的叶片及立木测量算法研究[D].北京: 北京林业大学, 2013.

    HAN Dianyuan. Research on Leaf Area and Standing Tree Measurement Algorithms Based on Image Analysis Embedded in Smart Mobile Phone[D]. Beijing: Beijing Forestry University, 2013.
    [8] 陈春.便携式智能信息终端的叶面积测量系统开发[D].南京: 南京信息工程大学, 2008.

    CHEN Chun. Leaf Area Measurement System Development Portable Intelligent Information Terminal[D]. Nanjing: Nanjing University of Information Science & Technology, 2008.
    [9] 朱煜.基于Android的森林资源数据外业采集系统研建[D].北京: 北京林业大学, 2014.

    ZHU Yu. The Research and Development of Subcompartment Investigation System Based on Android System[D]. Beijing: Beijing Forestry University, 2014.
    [10] 周克瑜, 汪云珍, 李记, 等.基于Android平台的测树系统研究与实现[J].南京林业大学学报(自然科学版), 2016, 40(4):95-100.

    ZHOU Keyu, WANG Yunzhen, LI Ji, et al. A study of tree measurement systems based on Android platform[J]. J Nanjing For Univ Nat Sci Ed, 2016, 40(4):95-100.
    [11] ZHANG Zhengyou. A flexible new technique for camera calibration[J]. IEEE Trans Pattern Analy Mach Intell, 2000, 22(11):1330-1334.
    [12] 贺付亮, 郭永彩, 高潮, 等.基于视觉显著性和脉冲耦合神经网络的成熟桑葚图像分割[J].农业工程学报, 2017, 33(6):148-155.

    HE Fuliang, GUO Yongcai, GAO Chao, et al. Image segmentation of ripe mulberries based on visual saliency and pulse coupled neural network[J]. Trans Chin Soc Agric Eng, 2017, 33(6):148-155.
    [13] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-tuned salient region detection[C]//IEEE. Conference on Computer Vision and Pattern Recognition. Miami: IEEE Service, 2009: 1597-1604. doi: 10.1109/CVPRW.2009.5206596.
    [14] ACHANTA R, SÜSSTRUNK S. Saliency detection using maximum symmetric surround[R]. IEEE. International Conference on Image Processing. Hongkong: IEEE Service, 2010: 2653-2656. doi: 10.1109/ICIP.2010.5652636.
    [15] 杨卫中, 徐银丽, 乔曦, 等.基于对比度受限直方图均衡化的水下海参图像增强方法[J].农业工程学报, 2016, 32(6):197-203.

    YANG Weizhong, XU Yinli, QIAO Xi, et al. Method for image intensification of underwater sea cucumber based on contrastlimited adaptive histogram equalization[J]. Trans Chin Soc Agric Eng, 2016, 32(6):197-203.
    [16] 侯占伟, 贾玉兰, 王志衡.基于最小外接矩形的珠宝定位技术研究[J].计算机工程, 2016, 42(2):254-260.

    HOU Zhanwei, JIA Yulan, WANG Zhiheng. Research on jewelry positioning technology based on minimum bounding rectangle[J]. Comput Eng, 2016, 42(2):254-260.
  • [1] 尹萍, 徐爱俊, 叶俊华, 夏芳, 王泽华.  基于消费级双目相机的立木因子测量方法 . 浙江农林大学学报, 2023, 40(2): 436-445. doi: 10.11833/j.issn.2095-0756.20220352
    [2] 赵庆, 章驰, 胡柔璇, 许东先, 钱万惠, 魏玉晗, 唐洪辉.  珠海市城区风景游憩林三维绿量与林下游憩空间量特征 . 浙江农林大学学报, 2021, 38(3): 534-540. doi: 10.11833/j.issn.2095-0756.20200455
    [3] 马冰倩, 徐程扬, 刘江, 常成, 赵凯, 孔祥琦, 龙嘉翼.  城镇森林视觉景观异质性对美学质量的影响 . 浙江农林大学学报, 2019, 36(2): 366-374. doi: 10.11833/j.issn.2095-0756.2019.02.019
    [4] 赵凯, 唐丽华, 张姝婧.  基于OpenGL的交互式三维树木建模与可视化研究 . 浙江农林大学学报, 2019, 36(1): 138-147. doi: 10.11833/j.issn.2095-0756.2019.01.017
    [5] 王嘉楠, 程立, 刘慧, 童伶俐, 张前进, 李若兰.  城市森林显著树的认定及分布特征 . 浙江农林大学学报, 2018, 35(2): 340-346. doi: 10.11833/j.issn.2095-0756.2018.02.019
    [6] 徐诗宇, 施拥军, 冯晟斐.  基于三维激光点云的城市绿化树种材积及树干碳储量无损精确测算 . 浙江农林大学学报, 2018, 35(6): 1062-1069. doi: 10.11833/j.issn.2095-0756.2018.06.009
    [7] 朱宇颐, 解潍嘉, 黄华国.  基于三维模型ENVI-met对黑河森林和北方森林的潜热及显热通量模拟 . 浙江农林大学学报, 2018, 35(3): 440-452. doi: 10.11833/j.issn.2095-0756.2018.03.007
    [8] 杨立岩, 冯仲科, 刘迎春, 刘金成.  量子粒子群优化最小二乘支持向量机的立木材积估算 . 浙江农林大学学报, 2018, 35(5): 868-876. doi: 10.11833/j.issn.2095-0756.2018.05.011
    [9] 张广群, 李英杰, 汪杭军.  基于词袋模型的林业业务图像分类 . 浙江农林大学学报, 2017, 34(5): 791-797. doi: 10.11833/j.issn.2095-0756.2017.05.004
    [10] 祝遵凌, 施曼, 周琦, 吴驭帆, 郁万文, 仲秀林, 徐惠群.  欧洲鹅耳枥区域化试验及适应性初步评价 . 浙江农林大学学报, 2016, 33(5): 834-840. doi: 10.11833/j.issn.2095-0756.2016.05.015
    [11] 高珊, 王立海, 杨冬辉, 徐文豪.  Sylvatest-Duo装置的探针触式与计示压强对木材超声波测量精度的影响 . 浙江农林大学学报, 2016, 33(5): 875-880. doi: 10.11833/j.issn.2095-0756.2016.05.021
    [12] 周鹏飞, 顾蕾, 彭维亮, 周宇峰, 李翠琴, 刘红征.  竹展开砧板碳足迹计测及构成分析 . 浙江农林大学学报, 2014, 31(6): 860-867. doi: 10.11833/j.issn.2095-0756.2014.06.006
    [13] 王东良, 金荷仙, 范丽琨, 唐宇力.  疗养院人工绿地三维绿量分布特征及影响因子 . 浙江农林大学学报, 2013, 30(4): 529-535. doi: 10.11833/j.issn.2095-0756.2013.04.011
    [14] 金明, 丁贵杰.  贵州马尾松单株木二元材种出材率表的编制 . 浙江农林大学学报, 2011, 28(4): 576-582. doi: 10.11833/j.issn.2095-0756.2011.04.009
    [15] 曹磊, 汪志银, 刘向农, 杨宇翔.  三维有序大孔径介孔二氧化硅载体的仿生合成 . 浙江农林大学学报, 2010, 27(3): 437-444. doi: 10.11833/j.issn.2095-0756.2010.03.019
    [16] 徐文兵, 汤孟平.  全站仪双边交会法测定树木三维坐标 . 浙江农林大学学报, 2010, 27(6): 815-820. doi: 10.11833/j.issn.2095-0756.2010.06.002
    [17] 徐文兵, 高飞, 杜华强.  几种测量方法在森林资源调查中的应用与精度分析 . 浙江农林大学学报, 2009, 26(1): 132-136.
    [18] 刘成林.  毛竹根径标准根查定表编制及应用方法的探讨 . 浙江农林大学学报, 2009, 26(4): 549-553.
    [19] 龚直文, 亢新刚, 顾丽, 赵俊卉, 郑焰锋, 杨华.  天然林林分结构研究方法综述 . 浙江农林大学学报, 2009, 26(3): 434-443.
    [20] 刘兴泉, 许禄.  拟除虫菊酯类农药结构/急性毒性的三维定量构效关系 . 浙江农林大学学报, 2002, 19(4): 337-341.
  • 加载中
  • 链接本文:

    https://zlxb.zafu.edu.cn/article/doi/10.11833/j.issn.2095-0756.2018.05.014

    https://zlxb.zafu.edu.cn/article/zjnldxxb/2018/5/892

图(7) / 表(2)
计量
  • 文章访问数:  4539
  • HTML全文浏览量:  646
  • PDF下载量:  1010
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-09-11
  • 修回日期:  2017-12-19
  • 刊出日期:  2018-10-20

基于智能手机与机器视觉技术的立木胸径测量方法

doi: 10.11833/j.issn.2095-0756.2018.05.014
    基金项目:

    国家自然科学基金资助项目 31670641

    浙江省科技重点研发计划资助项目 2018C02013

    浙江省大学生科技创新活动计划暨新苗人才计划资助项目 2016R412044

    作者简介:

    管昉立, 从事基于图像的测量技术及其在林业中的应用研究。E-mail:guanfangli@foxmail.com

    通信作者: 徐爱俊, 教授, 博士, 从事计算机应用技术研究。E-mail:xuaj1976@163.com
  • 中图分类号: S758.7

摘要: 针对现有森林资源调查中立木胸径测量工作劳动强度大、效率低,先进设备操作复杂、成本高等问题,结合相机标定、三维重建、机器视觉和近景摄影测量等技术,探索基于智能手机与机器视觉技术的立木胸径测量方法。通过智能手机获取待测立木的图像信息,运用Lab颜色空间模型(Lab color model)和3×3算子对图像进行卷积运算,得到立木图像的视觉显著图; 结合HSV颜色模型(色调H,饱和度S,明度V)中的H分量增强图像中立木树干部分的颜色对比度,通过图像分割算法识别并获取自然环境下的目标立木轮廓区域; 通过一种改进的带有非线性畸变项的相机标定模型标定智能手机的相机内、外参数,并借助相机参数和二维图像信息进行三维世界坐标重建,从而实现树干1.3 m处胸径的测量。经验证,一定距离内胸径测量结果的相对误差小于2.50%。该方法测量精度较高,符合森林资源调查对胸径测量的精度要求,可应用于森林资源调查。

English Abstract

管昉立, 徐爱俊. 基于智能手机与机器视觉技术的立木胸径测量方法[J]. 浙江农林大学学报, 2018, 35(5): 892-899. doi: 10.11833/j.issn.2095-0756.2018.05.014
引用本文: 管昉立, 徐爱俊. 基于智能手机与机器视觉技术的立木胸径测量方法[J]. 浙江农林大学学报, 2018, 35(5): 892-899. doi: 10.11833/j.issn.2095-0756.2018.05.014
GUAN Fangli, XU Aijun. Tree DBH measurement method based on smartphone and machine vision technology[J]. Journal of Zhejiang A&F University, 2018, 35(5): 892-899. doi: 10.11833/j.issn.2095-0756.2018.05.014
Citation: GUAN Fangli, XU Aijun. Tree DBH measurement method based on smartphone and machine vision technology[J]. Journal of Zhejiang A&F University, 2018, 35(5): 892-899. doi: 10.11833/j.issn.2095-0756.2018.05.014
  • 森林资源数据采集是森林资源监测的基础, 提高数据采集的效率和质量是森林资源信息化的重要内容[1-2]。在各类森林资源调查中, 立木的胸径测量是最重要的内容之一, 其精度直接影响森林资源蓄积量的消长等情况[3]。传统的人工接触式测量方法[4]劳动强度大、人力成本高、效率低。使用全站仪等精密测量设备存在操作复杂、不易携带、成本较高等问题。近景摄影测量方法[5-6]虽然可以很好地解决这些问题, 但标定算法复杂, 且需要在计算机上操作完成, 步骤繁琐。目前国内外学者在立木测量方法上做了大量的研究并取得了诸多成果, 开发出了一系列软、硬件系统, 但这些系统及其算法、模型多数是针对计算机和数码相机, 无法在较为普适的移动终端设备上完成测量[7-8]。近年来, 随着智能手机的快速发展, 利用智能手机来进行立木测量成为可能, 许多学者基于Android平台开发了测树软件[9-10], 这些软件基于三角函数原理测量树高, 在测量胸径时需要根据已知尺寸的标定物进行对比计算, 一定程度上实现了树高、胸径因子的实时测量, 但是操作复杂, 精度不高。针对上述问题, 本研究以立木胸径(DBH)的快速、自动获取为目标, 提出一种借助普适率高的智能移动端设备(智能手机), 结合机器视觉技术、相机标定技术和三维重建技术的立木胸径自动测量方法, 以期提升森林资源外业调查的作业精度和效率, 同时可让非专业人士借助非专业装备完成立木胸径的测量。

    • 立木胸径是森林资源调查中的一个重要因子, 指乔木主干离地表面1.3 m处的直径。胸径测量可为林业相关作业提供基础数据和科学依据, 如林分蓄积量测定、林木采伐、林区精准施药、林区地图绘制等。同时, 林区立木的胸径生长数据反映了林间周围的气候、光照、土地营养状态等环境条件。

    • 本研究提出的立木胸径测量方法流程如图 1所示。首先通过智能手机相机采集待测立木(悬挂棋盘格标定板)图像, 根据智能手机相机特点建立一种改进的带有非线性畸变项的相机标定模型, 矫正图像中各像素的偏移, 标定高精度的相机内、外参数。利用相机内、外参数和二维图像坐标信息进行三维世界坐标重建, 计算单位像素对应实际物理尺寸; 同时, 采用Lab(CIE Lab color model)颜色模型和HSV(色调H, 饱和度S, 明度V)颜色空间模型作为图像特征, 分别提取图像的L(亮度), a(洋红色至绿色范围)和b(黄色至蓝色范围)3个分量及H分量, 利用各像素点(x, y)的Lab三分量的算数平均值与各像素经3 × 3算子卷积运算得到的下采样图之间的差异, 得到高频图。将色调H分量均衡化处理后进行特征融合, 得到融合图, 从而增强立木轮廓特征, 再将融合图二值化。利用膨胀和腐蚀组合运算进行去噪和平滑处理, 并根据立木主轮廓和干扰轮廓周长差距大的特点, 提取主轮廓, 完成立木轮廓的图像分割; 提取立木轮廓的最小外接矩形, 获取矩形树干高度方向的像素参数。由单位像素物理尺寸信息和树干高度方向的像素参数信息, 获取树高1.3 m位置处的胸径像素参数。结合树高1.3 m处胸径方向像素信息和单位像素物理尺寸信息, 完成胸径计算。

      图  1  采用相机标定技术和机器视觉技术的胸径自动测量方法流程图

      Figure 1.  Flow chart of automatic DBH measurement method based on camera calibration technology and machine vision technology

    • 现有的相机标定方法主要分为传统标定物标定法、基于主动视觉标定法和自标定法。为了适应移动端相机镜头组的特点, 使之能够实现畸变矫正并获取高精度相机参数, 本研究提出一种经改进的带有非线性畸变项的相机标定模型来实现相机标定。下式分别描述了畸变矫正模型(1), 忽略了高阶项的相机径向、切向畸变模型函数(2)和(3)及由式(1)~式(3)得到的畸变矫正模型函数(4)。

      $$ \left\{ \begin{array}{l} {\mathit{x}_\mathit{u}}{\rm{ = }}\mathit{x}{\rm{ + }}{\delta _\mathit{x}}{\rm{(}}\mathit{x}{\rm{, }}\mathit{y}{\rm{)}}\\ {\mathit{y}_\mathit{u}}{\rm{ = }}\mathit{x}{\rm{ + }}{\delta _\mathit{y}}{\rm{(}}\mathit{x}{\rm{, }}\mathit{y}{\rm{)}} \end{array} \right.{\rm{;}} $$ (1)
      $$ \left\{ \begin{array}{l} {\delta _{\mathit{xr}}}{\rm{ = }}{\mathit{k}_{\rm{1}}}\mathit{x}{\rm{(}}{\mathit{x}^{\rm{2}}}{\rm{ + }}{\mathit{y}^{\rm{2}}}{\rm{)}}\\ {\delta _{\mathit{yr}}}{\rm{ = }}{\mathit{k}_{\rm{2}}}\mathit{x}{\rm{(}}{\mathit{x}^{\rm{2}}}{\rm{ + }}{\mathit{y}^{\rm{2}}}{\rm{)}} \end{array} \right.{\rm{;}} $$ (2)
      $$ \left\{ \begin{array}{l} {\delta _{\mathit{xd}}}{\rm{ = }}{\mathit{p}_{\rm{1}}}{\rm{(3}}{\mathit{x}^{\rm{2}}}{\rm{ + }}{\mathit{y}^{\rm{2}}}{\rm{) + 2}}{\mathit{p}_{\rm{2}}}\mathit{xy}\\ {\delta _{\mathit{yd}}}{\rm{ = }}{\mathit{p}_{\rm{2}}}{\rm{(}}{\mathit{x}^{\rm{2}}}{\rm{ + 3}}{\mathit{y}^{\rm{2}}}{\rm{) + 2}}{\mathit{p}_{\rm{1}}}\mathit{xy} \end{array} \right.{\rm{;}} $$ (3)
      $$ \left\{ \begin{array}{l} {\delta _\mathit{x}}{\rm{ = }}{\mathit{k}_{\rm{1}}}\mathit{x}{\rm{(}}{\mathit{x}^{\rm{2}}}{\rm{ + }}{\mathit{y}^{\rm{2}}}{\rm{) + }}{\mathit{p}_{\rm{1}}}{\rm{(3}}{\mathit{x}^{\rm{2}}}{\rm{ + }}{\mathit{y}^{\rm{2}}}{\rm{) + 2}}{\mathit{p}_{\rm{2}}}\mathit{xy}\\ {\delta _\mathit{y}}{\rm{ = }}{\mathit{k}_{\rm{2}}}\mathit{x}{\rm{(}}{\mathit{x}^{\rm{2}}}{\rm{ + }}{\mathit{y}^{\rm{2}}}{\rm{) + }}{\mathit{p}_{\rm{2}}}{\rm{(}}{\mathit{x}^{\rm{2}}}{\rm{ + 3}}{\mathit{y}^{\rm{2}}}{\rm{) + 2}}{\mathit{p}_{\rm{1}}}\mathit{xy} \end{array} \right. 。 $$ (4)

      其中(xu, yu)为线性针孔模型计算出的理想图像坐标点, (x, y)是实际的图像坐标点, (δx, δy)是非线性畸变值, 它与坐标的位置有关。(δxr, δyr)为忽略了高价项的非线性径向畸变值, (δxd, δyd)为忽略了高价项的非线性切向畸变值。k1, k2, p1, p2代表 4个非线性畸变系数。

      图像坐标系上的点(x, y)在像素坐标系(u, v)中的坐标为(u0, v0), 像面上每一个像素点在x轴, y轴方向上的物理尺寸为dx, dy。可知图像中任意一个像素在2个坐标系中满足如下关系:

      $$ \left\{ \begin{array}{l} \mathit{u}{\rm{ = }}{\mathit{x}_\mathit{u}}{\rm{/}}{\mathit{d}_\mathit{x}}{\rm{ + }}{\mathit{u}_{\rm{0}}}\\ \mathit{v}{\rm{ = }}{\mathit{y}_\mathit{u}}{\rm{/}}{\mathit{d}_\mathit{y}}{\rm{ + }}{\mathit{v}_{\rm{0}}} \end{array} \right. 。 $$ (5)

      结合式(5), 线性相机模型可化为齐次坐标与矩阵形式(6), 其中(xw, yw, zw)表示三维世界坐标下的点坐标, f表示相机焦距, R表示旋转矩阵, T表示平移向量。

      $$ \begin{array}{l} {Z_\mathit{c}}\left[ {\begin{array}{*{20}{c}} u\\ v\\ 1 \end{array}} \right] = \\ \left[ {\begin{array}{*{20}{c}} {\frac{1}{{{d_x}}}}&0&{{u_0}}\\ 0&{\frac{1}{{{d_x}}}}&{{v_0}}\\ 0&0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{l}} f&0&0&0\\ 0&f&0&0\\ 0&1&0&0 \end{array}} \right]\left( {\begin{array}{*{20}{c}} R&T\\ {{0^T}}&1 \end{array}} \right)\left[ {\begin{array}{*{20}{c}} {{x_w}}\\ {{y_w}}\\ {{z_w}}\\ 1 \end{array}} \right]\\ = \left[ {\begin{array}{*{20}{l}} {\frac{f}{{{d_x}}}}&0&{{u_0}}&0\\ 0&{\frac{f}{{{d_x}}}}&{{v_0}}&0\\ 0&0&1&0 \end{array}} \right]\left( {\begin{array}{*{20}{c}} R&T\\ {{0^T}}&1 \end{array}} \right)\left[ {\begin{array}{*{20}{c}} {{x_w}}\\ {{y_w}}\\ {{z_w}}\\ 1 \end{array}} \right]。 \end{array} $$ (6)
    • 将棋盘格标定板固定于立木树干上, 通过智能手机获取标定图片(图 2), 进行相机内、外参数标定。根据ZHANG[11]标定法中的相机标定解决方法。先利用模板平面与图像间的单应性关系作为约束条件获得封闭解, 在封闭解的基础上计算初始估值内、外参数矩阵; 然后根据最大似然估计理论给出非线性的最优化解, 并考虑透镜的径向畸变, 得到解析解和非线性解; 最后应用非线性最小二乘的Levenberg-Marquardt算法来迭代获得更精确的相机内、外参数。选取1组(12幅)标定模板进行标定实验的数据, 其中图像的各角点反投影误差和每幅模板图像的平均像素误差如图 3所示。

      图  2  标定图片获取示意图

      Figure 2.  Schematic drawing of calibration picture

      图  3  标定模板图像的角点和平均像素误差

      Figure 3.  Corner reprojection errors and average pixels errors of calibration images

      相机标定方法能获取相机的内、外参数, 而畸变矫正能解决智能手机相机镜头组存在畸变的问题, 对图片中的所有像素进行偏移纠正, 获得经畸变矫正的图像。

    • 经过相机标定, 可计算图像上2个像素点在三维世界坐标系下的真实物理距离。算法过程为:根据智能手机的相机成像传感器尺寸LCCD推出每个像素的物理尺寸Lpixels; 由2.2节获取的经畸变矫正后的手机相机参数, 计算摄像机焦距fc的物理尺寸Lfc; 然后计算像素平面上待测目标物两点间的距离Ldistance; 最后可根据二维图像信息计算对应三维世界中2个像素点之间的真实物理距离L3D-real。其中Psum表示待测目标两点之间的像素个数; RT分别表示相机标定所得外参数中的旋转矩阵和平移向量。三维世界重建算法(图 4)可计算单位像素对应的三维世界坐标的物理尺寸。

      图  4  三维世界坐标重建算法流程图

      Figure 4.  Flow chart of 3D coordinate reconstruction algorithm

    • 相比工业环境下的机器视觉图像分割, 自然环境下立木轮廓的视觉分割具有目标对象形态各异, 图像背景干扰因素多和光照不均匀等特点, 将现有的图像分割方法直接应用于自然环境进行感兴趣区域检测及图像分割的效果不佳。本研究以自然环境中的立木图像为对象, 提出一种结合频率调谐的视觉显著性[12]的轮廓检测方法, 具体为:①颜色空间选取。利用Lab颜色模型中L, ab 3个分量的几何距离差异, 区分图像中不同颜色区域; 由于3个分量之间独立性高, 在目标显著性的特征表达上效果较好。因此, 本研究引入对自然环境中立木轮廓目标区域的频率调谐视觉显著性描述, 使之成为识别目标的特征之一。Lab三分量可通过式(7)提取, 其中R, GB分别代表该目标像素的红色, 绿色和蓝色值。

      $$ \left\{ \begin{array}{l} \mathit{L}{\rm{ = (13 933}} \times \mathit{R}{\rm{ + 46 871}} \times \mathit{G}{\rm{ + 4 732}} \times \mathit{B}{\rm{)div}}\;{{\rm{2}}^{{\rm{16}}}}\\ \mathit{a}{\rm{ = 377}} \times {\rm{(14 530}} \times \mathit{R}{\rm{-22 218}} \times \mathit{G}{\rm{ + 7 714}} \times \mathit{B}{\rm{)div }}{{\rm{2}}^{{\rm{24}}}}{\rm{ + 128}}\\ \mathit{b}{\rm{ = 160}} \times {\rm{(12 773}} \times \mathit{R}{\rm{ + 39 695}} \times \mathit{G}{\rm{-52 468}} \times \mathit{B}{\rm{)div }}{{\rm{2}}^{{\rm{24}}}}{\rm{ + 128}} \end{array} \right. 。 $$ (7)

      ② 频率调谐的视觉显著性表达[13-14]。以Lab颜色空间为图像特征, 计算各颜色通道(L, a, b)上每个像素点(x, y)与整幅图像的平均色差并取平方; 然后将这3个通道的值相加作为该像素的显著性值。采用3 × 3算子对图像进行卷积运算, 得到一次下采样图, 并构建高斯金字塔, 对图像进行多次高斯平滑处理, 最终得到高频图。

      $$ S\left( {x, y} \right) = \left\| {{I_\mu }-{I_{\omega {\rm{hc}}}}} \right\| = \sqrt {{{\left( {{L_\mu }-{L_{\omega {\rm{hc}}}}} \right)}^2} + {{\left( {{a_\mu }-{a_{\omega {\rm{hc}}}}} \right)}^2} + {{\left( {{b_\mu } - {b_{\omega {\rm{hc}}}}} \right)}^2}} 。 $$ (8)

      式(8)中:S(x, y)表示像素点(x, y)的频率调谐视觉显著性值, Iμ为图像特征的几何平均向量, Iωhc为对原始图像的高斯模糊, 采用3 × 3算子; (L, a, b)各分量下标μ表示采集原始图像下各特征分量的算术平均值, 下标ωhc表示高斯滤波后图像每个像素点的特征分量。将此方法应用于目标立木轮廓提取的特征表达, 得到的视觉显著图(图 5B)能有效捕捉到各颜色空间分量的剧烈跳变点, 突出立木轮廓。③色调分量均衡化与特征融合。仅依靠Lab颜色模型构建立木图像的视觉显著图, 受光照影响较大。如果在视觉显著图的基础上对图像进行色调分量均衡化与特征融合处理, 可提取较高质量立木树干轮廓; 如将HSV颜色空间中H分量融合到目标立木树干特征表达中, 可以弥补在Lab空间上表达立木显著性时光照不均匀所带来的影响。提取图像H通道分量(图 5C), 通过对比度受限自适应直方图均衡化调整[15], 增强图像中立木树干部分的颜色对比度, 捕获更多棕褐色系的立木树干与绿色系的背景之间的细节差异。将立木树干图像的均衡化H分量与频率调谐视觉显著图通过式(9)进行融合:

      $$ {I_{{\rm{fusion}}}}\left( {x, y} \right) = \sqrt {H\left( {x, y} \right)S\left( {x, y} \right)} 。 $$ (9)

      图  5  融入H分量的特征表达图及树干轮廓提取示意图

      Figure 5.  Feature expression diagram integrating into H components and a sketch map of tree trunk extraction

      式(9)中:Ifusion(x, y)表示每一像素点(x, y)的融合特征, H(x, y)表示像素点(x, y)的均衡化色调, S(x, y)该像素点(x, y)的频率调谐视觉显著性值。通过特征调制, 减少光照强度变化对于视觉显著性的影响, 从而增强目标立木树干轮廓。融入H分量的特征表达图(图 5D)。

    • 分割后的图像仍会呈现出立木轮廓不完整现象和残留部分噪声, 包括树干纹理造成的空隙、树叶遮挡后不完整的轮廓等。利用形态学膨胀和腐蚀组合运算, 通过开操作(先腐蚀后膨胀)分割出独立的图像元素, 消除细小物体, 达到在纤细处分离物体和平滑较大物体边界的效果。通过闭操作(先膨胀后腐蚀)连接图像中相邻的元素, 填充物体内的细小空洞, 达到连接邻近物体和平滑边界的效果。由于背景复杂, 上述去噪处理后图像仍然可能存在较大的干扰噪声块, 利用立木主轮廓和干扰轮廓的周长差距大的特点, 剔除周长较小的干扰项, 保留主轮廓, 完成立木轮廓的输出(图 6)。

      图  6  树干轮廓提取示意图

      Figure 6.  Sketch map of tree trunk outline extraction

      在完成立木轮廓检测后, 可通过提取立木轮廓的最小外接矩形[16]获得立木树干高度的属性, 在2.3节的基础上进行树干高度(指所获待测图像中树干部分的高度, 并非树高)参数提取, 并获取树干高度方向的像素值。由于目标立木在图像中存在形状不规则和位置、方向自由等特点, 使得难以准确定位立木位置及提取立木的边缘轮廓, 因此通过目标主轴方向估计求出立木轮廓最小外接矩形。根据主轴确定目标的初始矩形, 以初始矩形的几何中心为旋转中心对其进行旋转, 从而找到最优矩形姿态, 并平移优化旋转后的矩形(图 7)。

      图  7  立木轮廓最小外接矩形提取及胸径位置定位和胸径计算

      Figure 7.  Minimum outer rectangleof tree trunk outline extraction, DBH location and DBH calculation

    • 提取立木轮廓的最小外接矩形, 将矩形中树高方向定义为树干高度方向, 获取最小外接中树干高度方向的像素参数PH, 结合经三维重建测得的单位像素对应的三维世界的物理尺寸信息L3D-real, 即可计算树干高度:H=PH × L3D-real。胸径(DBH)的测量算法如下:由单位像素物理尺寸信息和树干高度方向的像素参数信息L3D-real, 获取树高1.3 m位置处的胸径像素参数:PDBH=1 300/L3D-real, 结合树高1.3 m处胸径方向像素信息PDBH和单位像素物理尺寸信息L3D-real, 可得胸径为:DBH= PDBH×L3D-real。此处, PHPDBH指在未经采样处理的原图像中提取的像素信息。

    • 基于上述原理和算法流程, 本研究在Android系统平台上, 利用Java语言和C++语言等开发适用于Android智能手机的树干高度、胸径测量的测试系统, 用于本研究方法的精度验证。

    • 随机选定12株立木, 编号后用皮尺测量各树干高度; 利用本研究的方法测量图片中的立木高度以验证测量精度。使用经校准的实验手机对12株立木进行测量, 相对误差均小于4.65%(表 1)。

      表 1  树干高度测量数据

      Table 1.  Measurement data of the trunk height

      样本号 树干高度真值/m 树干高度测量值/m 相对误差/%
      1 2.700 2.715±0.148 3.89
      2 2.800 2.665±0.007 4.82
      3 3.600 3.620±0.099 3.95
      4 3.900 4.000±0.014 2.57
      5 4.200 4.170±0.226 3.81
      6 4.400 4.225±0.049 3.98
      7 4.400 4.605±0.007 4.65
      8 4.900 5.085±0.064 3.78
      9 5.200 5.225±0.163 2.21
      10 5.500 5.340±0.057 2.91
      11 5.800 5.670±0.028 2.25
      12 6.100 6.330±0.028 3.77
      说明:树干高度指所获取图像内的树干部分的高度,并非指立木因子中的树高
    • 随机选定10株立木, 编号后用轮尺测量各立木1.3 m高度处的胸径作为真实胸径值。用实验手机对各样本多次测量, 计算平均值作为测量值。由表 2可知:10个样本的胸径测量结果相对误差均小于2.50%, 绝对误差均小于5 mm, 符合森林资源调查工作的精度要求。

      表 2  胸径测量数据

      Table 2.  Measurement data of the DBH

      样本号 胸径真值/ mm 胸径测量值/mm 平均绝对误差/mm 相对误差/%
      1 163.000 161.000±0.265 -2.000 1.23
      2 148.000 145.900±0.400 -2.100 1.42
      3 122.000 119.900±0.557 -2.100 1.72
      4 152.000 149.467±0.404 -2.500 1.67
      5 188.000 183.533±1.343 -4.500 2.37
      6 132.000 129.233±1.242 -2.800 2.10
      7 139.000 137.367±0.611 -1.600 1.17
      8 203.000 200.500±0.200 -2.500 1.23
      9 204.000 201.367±0.814 -2.600 1.29
      10 228.000 225.933±0.551 -2.100 0.77
    • 本研究提出的结合相机标定技术、机器视觉技术及三维重建技术的立木胸径自动测量方法, 能够更加方便地实现林业智能测量, 有效提升森林资源外业调查的作业精度和效率。与现有的基于Android平台的测树软件相比, 该方法的优势主要体现在:①结合相机标定技术, 消除了相机镜头存在的畸变, 减少了系统误差; ②结合机器视觉技术, 将图像处理技术应用于林业资源调查工作, 在实现胸径快速测量的同时, 获取并保存了立木图像信息; ③相比三角函数方法, 本方法的测量效率和精度更高; 相比比例模型测量胸径的方法, 本方法使用图像增强, 感兴趣区域检测及相机标定和三维重建等技术, 使得鲁棒性和测量精度更高。本研究虽然较好地实现了立木胸径的快速测量, 但仅能在一定距离内获取简单的直接测树因子, 希望在下一步的研究中, 实现立木高度、森林蓄积量、生物量等数据的自动计算, 为“智慧林业”的数据采集提供支持。

参考文献 (16)

目录

    /

    返回文章
    返回