留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于消费级双目相机的立木因子测量方法

尹萍 徐爱俊 叶俊华 夏芳 王泽华

尹萍, 徐爱俊, 叶俊华, 夏芳, 王泽华. 基于消费级双目相机的立木因子测量方法[J]. 浙江农林大学学报, 2023, 40(2): 436-445. doi: 10.11833/j.issn.2095-0756.20220352
引用本文: 尹萍, 徐爱俊, 叶俊华, 夏芳, 王泽华. 基于消费级双目相机的立木因子测量方法[J]. 浙江农林大学学报, 2023, 40(2): 436-445. doi: 10.11833/j.issn.2095-0756.20220352
YIN Ping, XU Aijun, YE Junhua, XIA Fang, WANG Zehua. Measuring method of tree attributes based on consumer-grade binocular camera[J]. Journal of Zhejiang A&F University, 2023, 40(2): 436-445. doi: 10.11833/j.issn.2095-0756.20220352
Citation: YIN Ping, XU Aijun, YE Junhua, XIA Fang, WANG Zehua. Measuring method of tree attributes based on consumer-grade binocular camera[J]. Journal of Zhejiang A&F University, 2023, 40(2): 436-445. doi: 10.11833/j.issn.2095-0756.20220352

基于消费级双目相机的立木因子测量方法

doi: 10.11833/j.issn.2095-0756.20220352
基金项目: 国家自然科学基金资助项目(31670641);浙江省科技重点研发计划项目(2018C02013);浙江省公益基金项目(LGN21C160004)
详细信息
    作者简介: 尹萍(ORCID: 0000-0002-6934-1706),从事机器视觉与图像处理研究。E-mail: 547581934@qq.com
    通信作者: 夏芳(ORCID: 0000-0001-9351-7524),讲师,博士,从事农林业经济管理研究。E-mail: 20200016@zafu.edu.cn
  • 中图分类号: S758.1

Measuring method of tree attributes based on consumer-grade binocular camera

  • 摘要:   目的  随着林业信息化的快速发展,机器视觉测量技术广泛应用于林业领域。针对传统立木因子测量方法成本较高、携带不便、操作复杂等问题,提出消费级双目相机与机器视觉技术相结合的立木因子无接触测量方法。  方法  首先使用消费级USB 3.0双目相机采集立木图像,通过改进的SGM算法生成高质量视差图;再根据三角原理转化为深度图,进而获取立木三维点云;基于空间密度聚类和混合滤波三维点云去噪方法快速准确去除聚集、离散的噪声点,再进行方向矫正和点云分割;最后,利用最值遍历法和椭圆拟合法实现树高、胸径的无接触测量。  结果  树高、胸径的相对测量误差分别小于2.219%、5.620%,测量值与真实值的相关系数R2分别为0.978、0.995,均方根误差分别为0.047 m、0.249 cm。  结论  本方法易操作、成本较低,同时具有较高的测量精度,能够满足无接触测量的需求。图5表2参27
  • 图  1  立木图像采集示意图

    Figure  1  Schematic diagram of tree image collection

    图  2  四大坐标系转换

    Figure  2  Transformation of four coordinate systems

    图  3  技术流程图

    Figure  3  Technical flow chart

    图  4  立木点云处理结果

    Figure  4  Processing results of tree point cloud

    图  5  树高、胸径真实值与测量值的线性回归图

    Figure  5  Linear regression diagram of measured and true values of tree height and DBH

    表  1  点云分割前后数量变化对比

    Table  1.   Comparison of quantity changes before and after point cloud segmentation

    立木序号初始点
    云数量
    处理后点
    云数量
    立木序号初始点
    云数量
    处理后
    点云数量
    197 35432 5591188 53930 165
    289 63229 97612100 17934 697
    387 69229 4631373 69423 973
    496 39432 0361496 58232 694
    579 98326 7981579 65927 461
    685 56429 5691687 65229 069
    786 39727 8941795 394315 49
    879 83629 6541889 63429 367
    984 29628 36419100 96333 715
    1076 84926 7982086 53528 934
    下载: 导出CSV

    表  2  树高胸径真实值与测量值

    Table  2.   True and measured value of tree height and DBH

    立木
    序号
    树高真
    实值/m
    树高测
    量值/m
    相对
    误差/%
    胸径真
    实值/cm
    胸径测
    量值/cm
    胸径相
    对误差/%
    立木
    序号
    树高真
    实值/m
    树高测
    量值/m
    相对
    误差/%
    胸径真
    实值/cm
    胸径测
    量值/cm
    胸径相
    对误差/%
    13.4253.3960.84712.30612.5321.837123.8433.7642.05613.26513.4371.297
    23.7213.7751.45114.26113.9841.942133.5143.5872.07713.25413.0791.320
    33.9443.9210.58317.75317.4591.656143.6763.6570.51716.23616.5431.891
    43.5603.4812.21910.24310.6574.042153.9153.8760.99615.24515.0421.332
    53.6163.6430.74710.36510.6963.193164.1784.1261.24512.23612.0191.773
    64.1214.0461.8207.6348.0635.620174.2364.2590.54314.15614.0520.735
    73.6383.5841.4846.1386.4424.953184.3394.3941.26816.23616.1410.585
    83.5353.5230.3396.0495.9361.868194.4214.3910.67913.24513.3620.883
    93.8913.9120.5409.1429.3652.439204.3654.3220.98514.23714.3020.457
    103.6533.6270.71213.12512.9561.288平均值1.0922.084
    113.7873.8150.73912.36712.0492.571
    下载: 导出CSV
  • [1] 孟宪宇. 测树学[M]. 北京: 中国林业出版社, 1996.

    MENG Xianyu. Forest Mensuration[M]. Beijing: China Forestry Publishing House, 1996.
    [2] 冯仲科, 黄晓东, 刘芳. 森林调查装备与信息化技术发展分析[J]. 农业机械学报, 2015, 46(9): 257 − 265.

    FENG Zhongke, HUANG Xiaodong, LIU Fang. Forest survey equipment and development of information technology [J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(9): 257 − 265.
    [3] 陈永富, 陈巧, 刘华. 基于遥感图像的林况因子提取研究进展[J]. 世界林业研究, 2022, 35(2): 53 − 58.

    CHEN Yongfu, CHEN Qiao, LIU Hua. Research progress in forest condition factors extraction based on remote sensing images [J]. World Forestry Research, 2022, 35(2): 53 − 58.
    [4] 刘润东, 朱宁宁, 吕华权, 等. 基于TLS和UAV LiDAR的林区单木胸径和树高的自动提取方法[J/OL]. 桂林理工大学学报, 2021: 1 − 10, 2021-10-26[2022-04-30]. https://kns.cnki.net/kcms/detail/45.1375.N.20211025.1628.002.html.

    LIU Rundong, ZHU Ningning, LÜ Huaquan, et al. Automatically extraction the DBH and height of individual tree in forest area based on TLS and UAV LiDAR point clouds [J/OL]. Journal of Guilin University of Technology, 2021: 1 − 10, 2021-10-26[2022-04-30]. https://kns.cnki.net/kcms/detail/45.1375.N.20211025.1628.002.html.
    [5] 吕金城, 王振锡, 杨勇强, 等. 基于无人机影像的天山云杉林树高提取及蓄积量的反演[J]. 新疆农业科学, 2021, 58(10): 1838 − 1845.

    LÜ Jincheng, WANG Zhenxi, YANG Yongqiang, et al. Height extraction and growing stock inversion of Picea schrenkiana var. tianshanica in Tianshan Mountain based on UAV Image [J]. Xinjiang Agricultural Sciences, 2021, 58(10): 1838 − 1845.
    [6] 于东海, 冯仲科, 曹忠, 等. 全站仪测量立木胸径树高及材积的误差分析[J]. 农业工程学报, 2016, 32(17): 160 − 167.

    YU Donghai, FENG Zhongke, CAO Zhong, et al. Error analysis of measuring diameter at breast height and tree height and volume of standing tree by total station [J]. Transactions of the Chinese Society of Agricultural Engineering, 2016, 32(17): 160 − 167.
    [7] INDIRABAI I, NAIR M W H, JAISHANKER R N, et al. Terrestrial laser scanner based 3D reconstruction of trees and retrieval of leaf area index in a forest environment [J/OL]. Ecological Informatics, 2019, 53: 100986 [2022-04-30]. doi: 10.1016/j.ecoinf.2019.100986.
    [8] LIU Jincheng, FENG Zhongke, MANNAN A, et al. Comparing non-destructive methods to estimate volume of three tree taxa in Beijing, China [J/OL]. Forests, 2019, 10(2): 92 [2022-04-30]. doi: 10.3390/f10020092.
    [9] 张宏群, 刘开辉, 郑峰, 等. 基于二维激光雷达植株高度测量系统的研究[J]. 电子测量技术, 2021, 44(4): 97 − 103.

    ZHANG Hongqun, LIU Kaihui, ZHENG Feng, et al. Research on plant height measurement system based on two-dimesional LiDAR [J]. Electronic Measurement Technology, 2021, 44(4): 97 − 103.
    [10] 夏春华, 施滢, 尹文庆. 基于TOF深度传感的植物三维点云数据获取与去噪方法[J]. 农业工程学报, 2018, 34(6): 168 − 174.

    XIA Chunhua, SHI Ying, YIN Wenqing. Obtaining and denoising method of three-dimensional point cloud data of plants based on TOF depth sensor [J]. Transactions of the Chinese Society of Agricultural Engineering, 2018, 34(6): 168 − 174.
    [11] YIN Demeng, WANG Le. Individual mangrove tree measurement using UAV-based LiDAR data: possibilities and challenges [J]. Remote Sensing of Environment, 2019, 223: 34 − 49.
    [12] 陈相武, 徐爱俊. 基于智能手机单目视觉的多株立木高度提取方法[J]. 北京林业大学学报, 2020, 42(8): 43 − 52.

    CHEN Xiangwu, XU Aijun. Height extraction method of multiple standing trees based on monocular vision of smart phones [J]. Journal of Beijing Forestry University, 2020, 42(8): 43 − 52.
    [13] 宋佳音, 张晓鹏, 宋文龙, 等. 应用半球图像构建的立木高度测算方法[J]. 东北林业大学学报, 2020, 48(6): 61 − 65.

    SONG Jiayin, ZHANG Xiaopeng, SONG Wenlong, et al. Measuring standing wood height with hemispherical image [J]. Journal of Northeast Forestry University, 2020, 48(6): 61 − 65.
    [14] 杨红, 徐爱俊. 基于短视频图像的立木深度图生成算法[J]. 激光与光电子学进展, 2020, 57(16): 143 − 151.

    YANG Hong, XU Aijun. Tree depth image generation algorithm based on short video images [J]. Laser &Optoelectronics Progress, 2020, 57(16): 143 − 151.
    [15] HUI Fang, ZHU Jinyu, HU Pengcheng, et al. Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations [J]. Annals of Botany, 2018, 121(5): 1079 − 1088.
    [16] MILLER J, MORGENROTH J, GOMEZ C. 3D modelling of individual trees using a handheld camera: accuracy of height, diameter and volume estimates [J]. Urban Forestry &Urban Greening, 2015, 14(4): 932 − 940.
    [17] WU Xinmei, ZHOU Suyin, XU Aijun, et al. Passive measurement method of tree diameter at breast height using a smartphone [J/OL]. Computers and Electronics in Agriculture, 2019, 163: 104875 [2022-05-01]. doi:10.1016/j.compag.2019.104875.
    [18] 高莉平, 徐爱俊. 应用智能终端的立木高度测量方法[J]. 东北林业大学学报, 2018, 46(11): 28 − 34.

    GAO Liping, XU Aijun. Tree height measurement method with intelligent termina [J]. Journal of Northeast Forestry University, 2018, 46(11): 28 − 34.
    [19] 吕奇. 基于机器视觉和激光测量的立木测量方法研究[D]. 北京: 北京林业大学, 2018.

    LÜ Qi. Stumpage Measurement Method using Machine Vision and Laser Measurement [D]. Beijing: Beijing Forestry University, 2018.
    [20] 魏新华, 张敏, 刘青山, 等. 基于双目视觉的田间作物高度和收割边界信息提取[J]. 农业机械学报, 2022, 53(3): 225 − 233.

    WEI Xinhua, ZHANG Min, LIU Qingshan, et al. Extraction of crop height and cut-edge information based on binocular vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 222, 53(3): 225 − 233.
    [21] 佘银海, 王新彦. 基于双目立体视觉的草坪植株高度测量[J]. 江苏农业科学, 2020, 48(4): 215 − 221.

    SHE Yinhai, WANG Xinyan. Measurement of lawn height based on binocular stereo vision [J]. Jiangsu Agricultural Sciences, 2020, 48(4): 215 − 221.
    [22] 刘金成, 冯仲科, 杨立岩, 等. 实时动态多功能双目立体摄影测树仪设计[J]. 农业工程学报, 2018, 34(22): 61 − 68.

    LIU Jincheng, FENG Zhongke, YANG Liyan, et al. Design of real-time kinematic multi-functional binocular stereo-photogrammetric dendrometer [J]. Transactions of the Chinese Society of Agricultural Engineering, 2018, 34(22): 61 − 68.
    [23] 张真维, 赵鹏, 韩金城. 基于双目视觉的树木高度测量方法研究[J]. 林业工程学报, 2021, 6(6): 156 − 164.

    ZHANG Zhenwei, ZHAO Peng, HAN Jincheng. Research on measurement method of single tree height using binocular vision [J]. Journal of Forestry Engineering, 2021, 6(6): 156 − 164.
    [24] 刘艳, 李腾飞. 对张正友相机标定法的改进研究[J]. 光学技术, 2014, 40(6): 565 − 570.

    LIU Yan, LI Tengfei. Research of the improvement of Zhang’s camera calibration method [J]. Optical Technique, 2014, 40(6): 565 − 570.
    [25] 顾雯钧, 徐爱俊, 尹建新. 基于运动恢复结构的多株立木因子测量方法[J]. 浙江农林大学学报, 2022, 39(4): 792 − 799.

    GU Wenjun, XU Aijun, YIN Jianxin. Measuring method of multiple trees attributes based on structure from motion [J]. Journal of Zhejiang A&F University, 2022, 39(4): 792 − 799.
    [26] 杨全月, 陈志泊, 孙国栋. 基于点云数据的测树因子自动提取方法[J]. 农业机械学报, 2017, 48(8): 179 − 185.

    YANG Quanyue, CHEN Zhibo, SUN Guodong. Automatic extraction method of tree measurement factors based on point cloud data [J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(8): 179 − 185.
    [27] 吴铮, 吴晓柯, 徐爱俊, 等. 基于Android平台的立木胸径测量系统[J]. 福建农林大学学报(自然科学版), 2021, 50(5): 649 − 654.

    WU Zheng, WU Xiaoke, XU Aijun, et al. Measurement system for diameter at breast height based on Android platform [J]. Journal of Fujian Agriculture and Forestry University (Natural Science Edition), 2021, 50(5): 649 − 654.
  • [1] 郑凯文, 吴守欣, 张冬勇, 吴佳昊, 杜永斌, 樊建庭.  不同种群云斑天牛对寄主取食和产卵的行为差异 . 浙江农林大学学报, 2022, 39(1): 159-165. doi: 10.11833/j.issn.2095-0756.20210366
    [2] 宋博华, 高歌, 高珊, 孙琳琳, 李冰雪.  基于热技术的活立木液流测量方法综述 . 浙江农林大学学报, 2022, 39(2): 456-464. doi: 10.11833/j.issn.2095-0756.20210286
    [3] 邓焯, 李斌, 范光鹏, 赵天忠, 于永辉.  基于机载激光雷达点云的桉树林分蓄积量估算模型构建 . 浙江农林大学学报, 2022, 39(6): 1330-1339. doi: 10.11833/j.issn.2095-0756.20220108
    [4] 顾雯钧, 徐爱俊, 尹建新.  基于运动恢复结构的多株立木因子测量方法 . 浙江农林大学学报, 2022, 39(4): 792-799. doi: 10.11833/j.issn.2095-0756.20210547
    [5] 赵庆, 章驰, 胡柔璇, 许东先, 钱万惠, 魏玉晗, 唐洪辉.  珠海市城区风景游憩林三维绿量与林下游憩空间量特征 . 浙江农林大学学报, 2021, 38(3): 534-540. doi: 10.11833/j.issn.2095-0756.20200455
    [6] 赵凯, 唐丽华, 张姝婧.  基于OpenGL的交互式三维树木建模与可视化研究 . 浙江农林大学学报, 2019, 36(1): 138-147. doi: 10.11833/j.issn.2095-0756.2019.01.017
    [7] 赵庆, 钱万惠, 唐洪辉, 杨清, 严俊.  广东省云勇森林公园6种林分保健功能差异比较 . 浙江农林大学学报, 2018, 35(4): 750-756. doi: 10.11833/j.issn.2095-0756.2018.04.021
    [8] 朱宇颐, 解潍嘉, 黄华国.  基于三维模型ENVI-met对黑河森林和北方森林的潜热及显热通量模拟 . 浙江农林大学学报, 2018, 35(3): 440-452. doi: 10.11833/j.issn.2095-0756.2018.03.007
    [9] 管昉立, 徐爱俊.  基于智能手机与机器视觉技术的立木胸径测量方法 . 浙江农林大学学报, 2018, 35(5): 892-899. doi: 10.11833/j.issn.2095-0756.2018.05.014
    [10] 徐诗宇, 施拥军, 冯晟斐.  基于三维激光点云的城市绿化树种材积及树干碳储量无损精确测算 . 浙江农林大学学报, 2018, 35(6): 1062-1069. doi: 10.11833/j.issn.2095-0756.2018.06.009
    [11] 许杰, 戚大伟.  基于特征点提取的林木生长状态无损测量方法 . 浙江农林大学学报, 2016, 33(3): 403-408. doi: 10.11833/j.issn.2095-0756.2016.03.005
    [12] 冯雪, 吴达胜, 骆文建.  森林防火多出救点应急调度算法 . 浙江农林大学学报, 2013, 30(2): 257-262. doi: 10.11833/j.issn.2095-0756.2013.02.016
    [13] 高士增, 张怀清, 刘闽, 何清平, 罗立平.  树木枝干点云数据的等值线提取 . 浙江农林大学学报, 2013, 30(5): 648-654. doi: 10.11833/j.issn.2095-0756.2013.05.003
    [14] 王东良, 金荷仙, 范丽琨, 唐宇力.  疗养院人工绿地三维绿量分布特征及影响因子 . 浙江农林大学学报, 2013, 30(4): 529-535. doi: 10.11833/j.issn.2095-0756.2013.04.011
    [15] 张梦弢, 亢新刚, 蔡烁.  长白山云冷杉林下主要树种幼树生物量 . 浙江农林大学学报, 2012, 29(5): 655-660. doi: 10.11833/j.issn.2095-0756.2012.05.003
    [16] 曹磊, 汪志银, 刘向农, 杨宇翔.  三维有序大孔径介孔二氧化硅载体的仿生合成 . 浙江农林大学学报, 2010, 27(3): 437-444. doi: 10.11833/j.issn.2095-0756.2010.03.019
    [17] 徐文兵, 汤孟平.  全站仪双边交会法测定树木三维坐标 . 浙江农林大学学报, 2010, 27(6): 815-820. doi: 10.11833/j.issn.2095-0756.2010.06.002
    [18] 仇金宏, 沈明霞, 丛静华, 李龙国.  基于单目视觉的森林火点实时定位方法 . 浙江农林大学学报, 2010, 27(5): 651-658. doi: 10.11833/j.issn.2095-0756.2010.05.003
    [19] 刘兴泉, 许禄.  拟除虫菊酯类农药结构/急性毒性的三维定量构效关系 . 浙江农林大学学报, 2002, 19(4): 337-341.
    [20] 来燕学, 周永平, 俞祥林, 沈炳顺, 蔡道尧.  松材线虫病新疫点成因机制初探 . 浙江农林大学学报, 1999, 16(4): 425-429.
  • 加载中
  • 链接本文:

    https://zlxb.zafu.edu.cn/article/doi/10.11833/j.issn.2095-0756.20220352

    https://zlxb.zafu.edu.cn/article/zjnldxxb/2023/2/436

图(5) / 表(2)
计量
  • 文章访问数:  493
  • HTML全文浏览量:  69
  • PDF下载量:  35
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-05-16
  • 修回日期:  2022-10-24
  • 录用日期:  2022-11-14
  • 刊出日期:  2023-04-20

基于消费级双目相机的立木因子测量方法

doi: 10.11833/j.issn.2095-0756.20220352
    基金项目:  国家自然科学基金资助项目(31670641);浙江省科技重点研发计划项目(2018C02013);浙江省公益基金项目(LGN21C160004)
    作者简介:

    尹萍(ORCID: 0000-0002-6934-1706),从事机器视觉与图像处理研究。E-mail: 547581934@qq.com

    通信作者: 夏芳(ORCID: 0000-0001-9351-7524),讲师,博士,从事农林业经济管理研究。E-mail: 20200016@zafu.edu.cn
  • 中图分类号: S758.1

摘要:   目的  随着林业信息化的快速发展,机器视觉测量技术广泛应用于林业领域。针对传统立木因子测量方法成本较高、携带不便、操作复杂等问题,提出消费级双目相机与机器视觉技术相结合的立木因子无接触测量方法。  方法  首先使用消费级USB 3.0双目相机采集立木图像,通过改进的SGM算法生成高质量视差图;再根据三角原理转化为深度图,进而获取立木三维点云;基于空间密度聚类和混合滤波三维点云去噪方法快速准确去除聚集、离散的噪声点,再进行方向矫正和点云分割;最后,利用最值遍历法和椭圆拟合法实现树高、胸径的无接触测量。  结果  树高、胸径的相对测量误差分别小于2.219%、5.620%,测量值与真实值的相关系数R2分别为0.978、0.995,均方根误差分别为0.047 m、0.249 cm。  结论  本方法易操作、成本较低,同时具有较高的测量精度,能够满足无接触测量的需求。图5表2参27

English Abstract

尹萍, 徐爱俊, 叶俊华, 夏芳, 王泽华. 基于消费级双目相机的立木因子测量方法[J]. 浙江农林大学学报, 2023, 40(2): 436-445. doi: 10.11833/j.issn.2095-0756.20220352
引用本文: 尹萍, 徐爱俊, 叶俊华, 夏芳, 王泽华. 基于消费级双目相机的立木因子测量方法[J]. 浙江农林大学学报, 2023, 40(2): 436-445. doi: 10.11833/j.issn.2095-0756.20220352
YIN Ping, XU Aijun, YE Junhua, XIA Fang, WANG Zehua. Measuring method of tree attributes based on consumer-grade binocular camera[J]. Journal of Zhejiang A&F University, 2023, 40(2): 436-445. doi: 10.11833/j.issn.2095-0756.20220352
Citation: YIN Ping, XU Aijun, YE Junhua, XIA Fang, WANG Zehua. Measuring method of tree attributes based on consumer-grade binocular camera[J]. Journal of Zhejiang A&F University, 2023, 40(2): 436-445. doi: 10.11833/j.issn.2095-0756.20220352
  • 立木胸径、树高可用于评价立木质量以及生长状况,是森林资源管理和资产评估的重要依据[1]。传统的树高测量主要利用皮尺、布鲁莱斯测高仪等完成[2],操作不便且效率较低,工作量大且主观性强。而新型精密仪器如全站仪、电子经纬仪、三维激光仪等[38],虽能达到快速自动测量树木高度、胸径的目的,但设备成本高、专业性强、操作较为复杂。有学者利用新型设备或技术测量植株等表型因子。如张宏群等[9]设计了激光雷达扫描装置,通过旋转扫描的方式实现植株的三维重建,进而得到其高度信息;夏春华等[10]对RGB-D相机采集的深度图与RGB图像进行灰度化、二值化等预处理,提取玉米Zea mays植株的骨架,进而实现玉米植株的高度测量;YIN等[11]利用遥感技术对红树林每株进行树高、胸径测量,但由于红树林树冠的聚集密度高和遥感数据的空间分辨率较低,测量精度不高。利用这些新型设备或技术虽可快速精确实现植株表型因子的测量,但设备成本高,需要一定的技术支持且普适性不强。

    随着计算机视觉技术的发展,单目相机在立木因子等测量中的应用日益增加。陈相武等[12]和宋佳音等[13]通过智能手机采集立木图像,实现了一排立木的树高测量。杨红等[14]利用光束平差法、平面扫描法生成立木深度图,只需用智能手机拍摄一段小视频,即可实现树高、胸径的测量。HUI等[15]在冠层周围移动摄像机,获取目标植株的多视角图像,再使用MVS方法实现植株的曲面三维点云重建,从重建的表面计算叶片长度、株高和最大冠层宽度等表型参数,精度较高,但仅仅适用于小型植株。MILLER等[16]围绕单株树木使用手持式摄像机拍摄重叠度较高的大量图片,基于SFM-MVS算法获取树木三维点云数据,估计树高、胸径等参数。WU等[17]提出改进的频率调谐显著性算法的视觉分割方法,分割出只包含树干的轮廓,再建立立木深度提取模型计算每株树的深度,实现仅利用智能手机相机拍摄的单幅图像,可测量多株树的胸径的方法。高莉平等[18]将图像处理技术与单目视觉相结合,利用canny边缘检测算法和图像显著性分析法提取立木的轮廓,可实现立木无接触测量,但对于遮挡较严重的场景精度不高。吕奇[19]将机器视觉技术与单目视觉相机相结合,对采集的图像中树干边缘像素距离提取算法,可获得高精度的立木因子数据。单目相机虽然应用广泛且取得了较好的应用效果,但受二维维度的限制,三维几何信息提取能力较弱,测量精度不高。综上,利用新型设备以及单目相机测量立木因子存在效率低、普适性差、成本较高等问题。

    近年来,双目相机被逐渐应用于植株表型因子的测量[2024],具有成本低、系统结构简单和测量精度高等优点。为此,本研究提出一种基于消费级双目相机与机器视觉技术相结合的立木因子测量方法。

    • 利用高帧率固定基线(6 cm)的USB 3.0双目相机,借助Opencv开源库在浙江农林大学东湖校区以及周边街道共采集20组不同场景的立木图像,图像分辨率统一设置像素为1280×720。另因立木品种不同,高矮存在差异,拍摄距离为1.8~4.0 m,相机距离地面垂直高度约95 cm,为保证目标立木在相机拍摄范围内且位于中心位置,拍摄过程中相机存在仰视角度,确保左右图像最低点均为树木根部或地面,最高点均为立木生长方向的最高处。图1为立木图像采集示意图。

      图  1  立木图像采集示意图

      Figure 1.  Schematic diagram of tree image collection

    • 相机标定是立体匹配、三维重建的基础,直接影响立木三维点云重建效果。采用张氏经典棋盘格标定法[24],选取GP400专业标定板(黑白格子数为12×9,每个棋盘格边长为30 mm),把相机固定在标定板正前方80 cm处,拍摄22张不同角度的棋盘格照片,且拍摄全程使标定板全部位于图像的中心,无遮挡、无反光。

      相机成像过程中,摄像机坐标系、世界坐标系、图像坐标系以及像素坐标系的转换如图2所示,像素坐标系、图像坐标系、摄像机坐标系以及世界坐标系中的坐标分别用(u, v),(xy),(Xc, Yc, Zc),(Xw, Yw, Zw)表示。

      图  2  四大坐标系转换

      Figure 2.  Transformation of four coordinate systems

      图2中,R为3×3的旋转矩阵,T为平移向量,$\vec {\boldsymbol{O}}$为1×3的矩阵。根据图2坐标系的转换关系,本研究中的立木因子测量点是从像素坐标系转化到世界坐标系,计算公式为:

      $$ {Z_{\text{c}}}\left[ \begin{gathered} {{u}} \\ {{v}} \\ 1 \\ \end{gathered} \right] = \left[ {\begin{array}{*{20}{c}} {\dfrac{1}{{d_{{x}}}}}&0&{{u_{\rm{0}}}} \\ 0&{\dfrac{1}{{d_{{y}}}}}&{{v_0}} \\ 0&0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} f&0&0&0 \\ 0&f&0&0 \\ 0&0&1&0 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {\boldsymbol{R}}&{{T}} \\ {\vec {\boldsymbol{O}}}&1 \end{array}} \right]\left[ \begin{gathered} {X_{\rm{w}}} \\ {Y_{\rm{w}}} \\ {Z_{\rm{w}}} \\ 1 \\ \end{gathered} \right] \text{。} $$ (1)

      式(1)中,Zc表示点与光轴的距离,dxdy表示单位长度内像素的实际大小,f为双目相机焦距。

    • 通过拍摄左右2幅不同视角的立木图片将二维图像信息转化为三维信息,可实现三维重建。根据相似三角原理可得到立木深度与视差的关系,见式(2)。

      $$ D = \frac{{B{{f}}}}{{B - {{d}}}}。$$ (2)

      式(2)中,D为深度,B为双目相机之间的固定基线距离,d为视差。

    • 本方法由立木三维点云生成、立木点云数据处理和立木因子测量3个部分组成,其流程如图3所示。先利用改进的SGM算法生成视差图,通过三角原理转换为深度图,深度图通过坐标转换生成初始三维点云;为了准确去除立木三维点云的噪声点,提出基于空间密度聚类和混合滤波的方法进行点云去噪,速度快且普适性强,再分别利用主成分分析法和随机采样一致性算法进行方向矫正和点云分割,提取只包含目标立木的点云;最后,利用最值遍历法和椭圆拟合法实现树高、胸径的无接触测量。

      图  3  技术流程图

      Figure 3.  Technical flow chart

    • 先使用标定后的USB 3.0双目视觉相机采集立木图像,并根据标定结果对图像进行立体矫正;针对传统SGM算法生成立木视差图效果不佳,Census变换过于依赖中心像素,以及仅通过比较邻接像素值与中心像素值大小进行取值受光照、噪声影响较大等问题,对SGM算法中的Census变换进行了改进,并利用其生成初始视差图;然后针对初始视差图中无效点的问题提出自适应窗口优化方法;根据相似三角原理将视差图转换成高质量的深度图,既包含了立木图像的二维信息,又保留了相机与立木之间的深度信息;最后,通过坐标系转换生成原始立木三维点云。其中,改进的Census变换和自适应窗口优化方法分2个步骤。步骤1:将中心像素值用其周围8个窗口像素点的中值代替,抗干扰能力强,计算结果较为准确。

      步骤2:通过改进的Census生成的初始视差图有无效点(空洞点、失真点),根据无效点的类型,利用自适应窗口对视差图进行填充,完成优化,生成高质量视差图。若式(3)成立且视差值为0,则判定为空洞;否则,判定为失真点。其中DL(x, y)表示左视差图某点视差值,DR(x, y)表示右视图某点视差值。

      $$ {{{D}}_{\text{L}}}({{x,\; y}}) = {{{D}}_{\text{R}}}[{{x}} - {{{D}}_{\text{L}}}({{x}},\;{{y}}),\;{{y}}]。 $$ (3)

      若点Y为失真点,以Y点为像素中心与周围窗口8个像素点视差值进行比较,寻找最大与最小视差值,并对二者求平均。Z表示失真点相邻视差值的集合,失真点填充表达式如式(4)所示。

      $$ \left\{ \begin{gathered} {M_{\min }} = \min (Z) \\ {M_{\max }} = \max (Z) \\ {M_{{\rm{avg}}}} = \frac{{{M_{\min }} + {M_{\max }}}}{2} \\ \end{gathered} \right. 。 $$ (4)

      式(4)中,Mmin为最小视差值,Mmax为最大视差值,Mavg为最大与最小视差的平均视差值。

      DL(Y )<Mmin,则失真点视差以最小值视差值填充;若MminDL (Y )≤Mmax,以平均视差值进行填充;若DL(Y)>Mmax,以最大视差值填充,如式(5)所示:

      $$ \left\{ \begin{gathered} {D_{\rm{L}}}(Y) = {M_{\min }}\begin{array}{*{20}{c}} {}&{} \end{array}[{D_{\rm{L}}}(Y) < {M_{\min }}] \\ {D_{\rm{L}}}(Y) = {M_{{\rm{avg}}}}\begin{array}{*{20}{c}} {}&{} \end{array}[{M_{\min }} < {D_{\rm{L}}}(Y) < {M_{\max }}] \\ {D_{\rm{L}}}(Y) = {M_{\max }}\begin{array}{*{20}{c}} {}&{} \end{array}[{D_{\rm{L}}}(Y) > {M_{\max }}] \\ \end{gathered} \right.。 $$ (5)

      若点Y为空洞点,则分别从xy方向进行遍历,寻找视差值不为0的点YxYy,构造一个以孔洞点Y(x, y)的坐标为起点,dy为高,dx为宽的矩阵Ndx×dy,形成一个自适应窗口矩阵N,见式(6)。

      $$ {\boldsymbol{N}}=\left(\begin{array}{ccc}Y& \cdots & {Y}_{y}\\ \vdots& & \vdots\\ {Y}_{x}& \cdots & ({x}{{'}},{y}{{'}})\end{array}\right) 。 $$ (6)

      空洞点填充的表达式如式(7)所示。

      $$ \left\{ \begin{gathered} S = \sum\limits_{i \geqslant {d_x},j \geqslant {d_y}}^{i,j \in M} {{D_{\rm{L}}}[{\boldsymbol{N}}(i,j)]} \\ n = \sum\limits_{i \geqslant {d_x},j \geqslant {d_y}}^{i,j \in M} {\{{D_{\rm{L}}}[{\boldsymbol{N}}(i,j)] > 0\} = 1} \\ {S_{{\rm{avg}}}} = \frac{S}{n} \\ {D_{\rm{L}}}(x,y) = {S_{{\rm{avg}}}} \\ \end{gathered} \right.。 $$ (7)

      式(7)中,S表示矩阵N对应元素总和,矩阵非0元素为n个,Savg为平均值。根据上述公式及填充方法,直到检测完所有像素点,并进行视差优化,采用中值滤波平滑图像去除噪声。

    • 由于三维点云生成后的立木场景复杂、数据量大,包含了若干噪声点,且三维点云模型与真实世界三维空间尺度、方向也不一致,因此需要对点云进行去噪、坐标和方向矫正等预处理操作。预处理后的点云包含了其他背景立木以及地面点云,还需进行点云分割,提取只包含目标立木的三维点云。通过USB 3.0双目相机生成的立木点云噪声点较多,主要分布于立木的树干周围或叶片之间,为此提出一种基于空间密度聚类和混合滤波的三维点云去噪方法。

      ①去噪。首先,对XYZ轴进行阈值范围的设定,通过直通滤波将点云中不在该范围内的点滤除,提取只包含目标立木的感兴趣区域,减少其他背景立木噪声。再采用统计滤波删除立木点云数据中聚集的噪声点:步骤1,读取三维点云数据集P,建立kd-tree数据结构。步骤2,对点云数据中每个点Pi的邻域进行统计分析,计算其到k (k取50)个临近点的平均距离,如式(8)和式(9)所示。其中dijpipj两点之间的空间距离,di是平均距离。

      $$ {{{d}}_{{{ij}}}} = \sqrt {{{\left( {{p_{i,x}} - {p_{j,x}}} \right)}^2} + {{\left( {{p_{i,y}} - {p_{j,y}}} \right)}^2} + {{\left( {{p_{i,z}} - {p_{j,z}}} \right)}^2}} \text{;} $$ (8)
      $$ \overline {{{{d}}_{{i}}}} = \frac{1}{{{k}}}\sum\limits_{{{i}} = 1}^{j = k} {{d_{i,j}}} 。 $$ (9)

      步骤3,计算点云数据的标准差(dstd),如式(10)所示:

      $$ {{{d}}_{{\text{std}}}} = \sqrt {\frac{{\displaystyle\sum\limits_{i = 1}^n {{{\left( {{{\overline d }_{n,i}} - {{\overline d }_i}} \right)}^2}} }}{{{{n - }}1}}} 。 $$ (10)

      步骤4,假设得到的结果是一个高斯分布,其形状是由平均值和标准差(dstd)决定,平均距离在标准范围L (由全局距离平均值和方差定义)之内的点进行保留,否则被定义为离群点并从数据中剔除。如式(11)所示:

      $$ L = {{\overline{d}_{n,i}}} + \sigma {d_{\rm{std}} } 。 $$ (11)

      步骤5,遍历点云中的所有点,直到处理完所有点云数据。步骤6,然后利用空间密度聚类算法移除离散噪声点,在三维点云中任意选择一个点(既没有指定到一个类也没有特定为外围点),通过计算其邻域内的数据点数是否大于设定的阈值,判断是否为该点。若是,则在该点周围建立一个类,否则,将其设定为外围点。步骤7,遍历其他点,直到建立一个类。把密度直达(directly-reachable)的点和密度可达(density-reachable)的点依次加入到类中。如果标记为外围的点被加进来,则修改其状态为边缘点。步骤8,重复步骤6和步骤7,直到所有的点满足在类中(核心点或边缘点)或者为外围点。

      综上,基于空间密度聚类和混合滤波的去噪步骤为:步骤1,首先进行参数初始化,输入点云的数据;步骤2,计算点云数据的k (k取50)个近邻点;步骤3,采取统计滤波去除点云聚集的噪声点;步骤4,选定任意一点为核心点,利用密度聚类算法去除离散的噪声点;步骤5,计算完成,输出点云数据。

      该去噪方法充分利用直通滤波和统计滤波对聚集噪声点的优势、空间密度聚类对离散噪声点的敏感性,大大提高了点云去噪的效率。

      ②点云坐标矫正。将点云模型比例(hm)与实际比例(hr)矫正,缩放成R=hr/hm的比例,在进行树高、胸径测量时可按照比例换算到实际尺度。

      ③方向矫正。计算三维点云模型初始质心点(p0)的三维坐标,利用主成分析法将三维点云模型进行质心化,并求解三维点云中方差矩阵和特征向量(立木三维点云的主方向)的值,根据立木三维点云模型的主方向创建旋转矩阵(N),将初始质心点(p0)为中心转换到主方向的位置,得到一个新的三维点云模型Pnew=Np0

      ④点云分割。矫正后的点云数据包含地面以及其他背景立木,利用随机采样一致性(RANSAC)算法将地面拟合成一个平面,再提取该平面的点云,从而将地面点云与目标立木点云进行分割。首先手动设置一个阈值,计算三维点与拟合平面(地面)之间的距离,若超过该阈值,被判定为无效数据,否则进行保留,在多次迭代的过程中随机拟合多个平面,选取包含最多有效数据的平面为最终的拟合结果。RANSAC算法只对主体数据进行拟合,在偏移量大且无效数据较多的情况下,拟合效果较佳。

    • 将立木在生长方向的最高点与最低点的高度差定义为树高。将三维点云进行坐标矫正,使立木生长方向与Z轴方向一致,且立木底部区域位于oxy平面,遍历三维点云所有的点,Z轴坐标的最大值(Zmax)与最小值(Zmin)的差值为立木的高度H

      将立木位于地面1.3 m胸高处断面直径视为胸径(干径)。在生成的立木三维点云中,立木的主干可近似看作为椭圆,可利用矫正后的坐标比例(R)求得1.3 m处的点云坐标:Z=1.3/R,对该位置做3 cm厚度的切片,再将点云切片投影至oxy平面,对立木胸径测量处的点云数据利用最小二乘法进行椭圆拟合,椭圆的一般方程式为:

      $$ A{x^2} + Bx{\text{z}} + C{x^2} + Dx + Ez + F = 0 。 $$ (12)

      式(12)中,AB、C、D、E、F分别表示拟合求得的系数,x、z表示立木主干待测区域点云数据投影后的坐标。利用式(13)可求得椭圆的中心${X}_{{\rm{c}}}$$ {Z}_{\mathrm{c}} $,利用式(14)可求得椭圆的长半轴L (立木的胸径为2L)。

      $$ \left\{ \begin{gathered} {X_{\text{c}}} = \frac{{BE - 2CD}}{{4AC - {B^2}}} \\ {Z_{\text{c}}} = \frac{{BD - 2AE}}{{4AC - {B^2}}} \\ \end{gathered} \right\} \text{;} $$ (13)
      $$ {L^2} = \frac{{2\left( {A{X_{\rm{c}}}^2 + C{Z_{\rm{c}}}^2 + B{{\text{X}}_{\rm{c}}}{Z_{\rm{c}}} - 1} \right)}}{{{{A}} + {{C - }}\sqrt {{{\left( {{{A - C}}} \right)}^2} + {B^2}} }} 。 $$ (14)
    • 本研究中立木因子测量方法验证的软硬件平台均使用PC电脑[Intel(R) Core(TM) i5-7200U CPU @2.50 GHz 2.70 GHz]、Windows 10操作系统和Visual Studio2017+opencv库以及开源点云库(point cloud library,PCL),C++语言实现。

    • 图4为随机选取的3株不同种类立木的三维点云处理结果。其中:图4A为原始立木点云,可以看出包含大量离散噪声点以及地面、背景立木等;图4B为预处理后的三维点云,保持目标立木三维点云的整体形状不变化的同时去除了背景立木以及树干、地面周围的噪声点,且三维点云坐标方向得到矫正;图4C为立木点云分割后的结果,将目标立木点云与嘈杂的地面点云准确分割。

      图  4  立木点云处理结果

      Figure 4.  Processing results of tree point cloud

      表1是原始三维点云(图4A)与点云分割后三维点云(图4C)的数量变化对比结果。由表1可知:在保证目标立木三维点云完整的前提下,处理后的有效点云数量比初始点云数量总体减少约2/3。

      表 1  点云分割前后数量变化对比

      Table 1.  Comparison of quantity changes before and after point cloud segmentation

      立木序号初始点
      云数量
      处理后点
      云数量
      立木序号初始点
      云数量
      处理后
      点云数量
      197 35432 5591188 53930 165
      289 63229 97612100 17934 697
      387 69229 4631373 69423 973
      496 39432 0361496 58232 694
      579 98326 7981579 65927 461
      685 56429 5691687 65229 069
      786 39727 8941795 394315 49
      879 83629 6541889 63429 367
      984 29628 36419100 96333 715
      1076 84926 7982086 53528 934
    • 将本研究方法得到的树高和胸径值与实际测量值(利用胸径尺、博世激光测距仪分别测量胸径、树高10次,取平均值作为实际测量值)进行对比,来评价本研究方法的准确性与稳定性。

      表2可知:立木高度的误差范围为0.012~0.079 m,测量值与真实值的最大相对误差为2.219%,最小相对误差为0.339%,平均相对误差为1.525%。立木胸径的误差范围为0.065~0.429 m,测量值与真实值的最大相对误差为5.620%,最小相对误差为0.457%,平均相对误差为2.084%。

      表 2  树高胸径真实值与测量值

      Table 2.  True and measured value of tree height and DBH

      立木
      序号
      树高真
      实值/m
      树高测
      量值/m
      相对
      误差/%
      胸径真
      实值/cm
      胸径测
      量值/cm
      胸径相
      对误差/%
      立木
      序号
      树高真
      实值/m
      树高测
      量值/m
      相对
      误差/%
      胸径真
      实值/cm
      胸径测
      量值/cm
      胸径相
      对误差/%
      13.4253.3960.84712.30612.5321.837123.8433.7642.05613.26513.4371.297
      23.7213.7751.45114.26113.9841.942133.5143.5872.07713.25413.0791.320
      33.9443.9210.58317.75317.4591.656143.6763.6570.51716.23616.5431.891
      43.5603.4812.21910.24310.6574.042153.9153.8760.99615.24515.0421.332
      53.6163.6430.74710.36510.6963.193164.1784.1261.24512.23612.0191.773
      64.1214.0461.8207.6348.0635.620174.2364.2590.54314.15614.0520.735
      73.6383.5841.4846.1386.4424.953184.3394.3941.26816.23616.1410.585
      83.5353.5230.3396.0495.9361.868194.4214.3910.67913.24513.3620.883
      93.8913.9120.5409.1429.3652.439204.3654.3220.98514.23714.3020.457
      103.6533.6270.71213.12512.9561.288平均值1.0922.084
      113.7873.8150.73912.36712.0492.571

      图5为立木高度、胸径真实值与测量值的线性回归分析图,结果表明:使用本研究方法测量的立木高度、胸径与真实值均存在着显著的线性相关关系,树高的相关系数R2为0.978,均方根误差为0.047 m;胸径的相关系数R2为0.995,均方根误差为0.249 cm。

      图  5  树高、胸径真实值与测量值的线性回归图

      Figure 5.  Linear regression diagram of measured and true values of tree height and DBH

    • 针对现有立木因子测量方法成本高、效率低、仪器携带不便等问题,本研究提出一种新的方法,即基于消费级双目相机的立木因子测量方法。利用双目相机拍摄左右两幅不同视角的立木图片获得二维图像信息,通过改进的Census变换形成高可靠初始视差值,再采用自适应窗口填充黑洞点和剔除无效点,使立体匹配结果更加精确,从而生成层次分明、边缘清晰的视差图,并转化为三维信息,进而生成高质量的立木三维点云;提出一种基于空间密度聚类和混合滤波的三维点云去噪方法,可快速去除聚集、离散的噪声点,获得较高精度的立木测量值。结果表明:树高平均相对误差为1.092%,测量值与真实值的相关系数(R2)为0.978,均方根误差(ERMS)为0.047 m;胸径的平均相对误差为2.084%,R2为0.995,均方根误差(ERMS)为0.249 cm。

    • 本方法树高的平均相对误差均低于顾雯钧等[25]和杨全月等[26]的研究结果,胸径的平均相对误差低于顾雯钧等[25]和吴铮等[27]研究结果,略高于杨全月等[26]的研究结果,但杨全月等[27]的方法需要较为昂贵的三维激光扫描仪,而本研究仅需要便携式双目相机,方法简单、容易实现。本方法测量值与真实值比较结果表明:胸径、树高测量精度较高,但树高测量值总体低于实际值,主要是因为立木生长环境复杂,包含大量背景噪声,树冠顶部枝叶稀疏,生成树冠顶部的三维点云也较为离散,在点云去噪阶段可能当作噪声剔除;部分立木高度较高、树干较细,拍摄的不够清晰完整,导致视差图效果不是很好,影响立木三维点云生成效果,可能会存在点云缺失、数量少的现象。利用最小二乘法椭圆拟合时,由于树干点云分布不均匀或者有效点云数量较少,这是胸径误差的主要来源,导致胸径计算结果不理想。因此,未来可进一步对树冠和胸径部分的三维点云进行稠密化处理,减少因树冠和胸径点云分布不均匀或数量较少所带来的影响。

参考文献 (27)

目录

    /

    返回文章
    返回