留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于运动恢复结构的多株立木因子测量方法

顾雯钧 徐爱俊 尹建新

顾雯钧, 徐爱俊, 尹建新. 基于运动恢复结构的多株立木因子测量方法[J]. 浙江农林大学学报, 2022, 39(4): 792-799. doi: 10.11833/j.issn.2095-0756.20210547
引用本文: 顾雯钧, 徐爱俊, 尹建新. 基于运动恢复结构的多株立木因子测量方法[J]. 浙江农林大学学报, 2022, 39(4): 792-799. doi: 10.11833/j.issn.2095-0756.20210547
GU Wenjun, XU Aijun, YIN Jianxin. Measuring method of multiple trees attributes based on structure from motion[J]. Journal of Zhejiang A&F University, 2022, 39(4): 792-799. doi: 10.11833/j.issn.2095-0756.20210547
Citation: GU Wenjun, XU Aijun, YIN Jianxin. Measuring method of multiple trees attributes based on structure from motion[J]. Journal of Zhejiang A&F University, 2022, 39(4): 792-799. doi: 10.11833/j.issn.2095-0756.20210547

基于运动恢复结构的多株立木因子测量方法

doi: 10.11833/j.issn.2095-0756.20210547
基金项目: 国家自然科学基金资助项目(31670641);浙江省科技重点研发计划项目(2018C02013);浙江省公益基金项目(LGN21C160004)
详细信息
    作者简介: 顾雯钧(ORCID: 0000-0002-0025-1155),从事农林业智能设备与信息系统研究。E-mail: 296868527@qq.com
    通信作者: 徐爱俊(ORCID: 0000-0001-6789-6938),教授,博士,从事农林业智能设备与信息系统研究。E-mail: xuaj1976@163.com
  • 中图分类号: S758.1

Measuring method of multiple trees attributes based on structure from motion

  • 摘要:   目的  提出基于运动恢复结构的多株立木因子测量方法,以解决目前基于三维点云的立木因子测量方法获取立木树高和胸径存在效率低或成本高的问题。  方法  ①使用智能手机环绕包含多株立木的场景拍摄一段视频,并采用固定帧采样法和差异值哈希算法自动提取立木视频中的关键帧图像,然后,基于运动恢复结构(structure from motion,SfM)算法处理立木关键帧图像,从而获取立木场景的原始三维点云;②在对原始三维点云进行预处理及初步分割后,运用条件欧几里得聚类算法对多株立木三维点云进行分割,以提取单株立木三维点云;③对立木三维点云使用最值遍历法和椭圆拟合法实现立木树高和胸径的自动测量。  结果  与真实值相比,本研究方法测得的树高、胸径的平均相对误差分别为1.96%、3.19%,均方根误差分别为0.133 3 m、0.533 7 cm,相关系数分别为0.987 9、0.962 1。  结论  该方法具有较高的树高和胸径测量精度,提供了一种便捷、低成本的多株立木因子三维测量方法。图6表1参27
  • 图  1  拍摄路线示意图

    Figure  1  Schematic diagram of shooting route

    图  2  生成立木三维点云流程图

    Figure  2  Flow chart of creating 3D point cloud of trees

    图  3  立木高度提取示意图

    Figure  3  Schematic diagram of tree height extraction

    图  4  胸径提取示意图

    Figure  4  Schematic diagram of tree DBH extraction

    图  5  立木三维点云处理结果

    Figure  5  3D point cloud processing results of trees

    图  6  树高和胸径的测量值与实际值的回归分析

    Figure  6  Regression analysis of measured and actual values of tree height and DBH

    表  1  树高和胸径的测量值与实际值

    Table  1.   Measured and actual values of tree height and DBH

    立木
    编号
    树高胸径
    实际
    值/m
    测量
    值/m
    相对误
    差/%
    实际
    值/cm
    测量
    值/cm
    相对误
    差/%
    16.146.100.6315.6014.854.85
    24.984.872.1513.0613.332.07
    35.495.530.8412.7413.002.09
    45.645.492.6014.9715.584.06
    53.423.390.9310.8310.621.87
    63.493.551.6912.2613.116.91
    74.534.402.7812.9012.254.99
    84.314.212.3914.3314.091.70
    96.656.600.7119.4319.141.44
    106.196.081.7918.6319.353.87
    117.176.933.4018.8018.421.94
    125.635.731.6718.7219.393.58
    137.527.352.1816.9717.271.77
    147.477.203.5619.0418.592.37
    155.585.691.9315.1314.365.08
    165.015.050.6411.9412.202.16
    175.415.272.5712.6712.461.68
    187.186.982.7816.0816.884.93
    平均值1.963.19
    下载: 导出CSV
  • [1] 孟宪宇. 测树学[M]. 北京: 中国林业出版社, 2006: 350.

    MENG Xianyu. Forest Mensuration[M]. Beijing: China Forestry Publishing House, 2006: 350.
    [2] MARKUS H, MIKKO V, JUHA H. Outlook for the next generation’s precision forestry in finland [J]. Forests, 2014, 5(7): 1682 − 1694.
    [3] 程文生, 冯仲科, 黄晓东. 便携式森林资源调查仪研制与试验[J]. 西北林学院学报, 2018, 33(5): 156 − 162.

    CHENG Wensheng, FENG Zhongke. HUANG Xiaodong. Development and experiment of portable instrument for forest resources inventory [J]. J Northwest For Univ, 2018, 33(5): 156 − 162.
    [4] 冯仲科, 黄晓东, 刘芳. 森林调查装备与信息化技术发展分析[J]. 农业机械学报, 2015, 46(9): 257 − 265.

    FENG Zhongke, HUANG Xiaodong, LIU Fang. Forest survey equipment and development of information technology [J]. Trans Chin Soc Agric Mach, 2015, 46(9): 257 − 265.
    [5] 杜鹏志, 曾伟生, 冯仲科, 等. 利用电子经纬仪测量林木树高和材积的精度分析[J]. 林业资源管理, 2016(2): 45 − 48, 55.

    DU Pengzhi, ZENG Weisheng, FENG Zhongke, et al. Precision analysis on tree height and stem volume measurements using electronic theodolite [J]. For Resour Manage, 2016(2): 45 − 48, 55.
    [6] 于东海, 冯仲科, 曹忠, 等. 全站仪测量立木胸径树高及材积的误差分析[J]. 农业工程学报, 2016, 32(17): 160 − 167.

    YU Donghai, FENG Zhongke, CAO Zhong, et al. Error analysis of measuring diameter at breast height and tree height and volume of standing tree by total station [J]. Trans Chin Soc Agric Eng, 2016, 32(17): 160 − 167.
    [7] 陈相武, 徐爱俊. 基于智能手机单目视觉的多株立木高度提取方法[J]. 北京林业大学学报, 2020, 42(8): 43 − 52.

    CHEN Xiangwu, XU Aijun. Height extraction method of multiple standing trees based on monocular vision of smart phones [J]. J Beijing For Univ, 2020, 42(8): 43 − 52.
    [8] 管昉立, 徐爱俊. 基于智能手机与机器视觉技术的立木胸径测量方法[J]. 浙江农林大学学报, 2018, 35(5): 892 − 899.

    GUAN Fangli, XU Aijun. Tree DBH measurement method based on smartphone and machine vision technology [J]. J Zhejiang A&F Univ, 2018, 35(5): 892 − 899.
    [9] 高莉平, 徐爱俊. 应用智能终端的立木高度测量方法[J]. 东北林业大学学报, 2018, 46(11): 28 − 34.

    GAO Liping, XU Aijun. Tree height measurement method with intelligent terminal [J]. J Northeast For Univ, 2018, 46(11): 28 − 34.
    [10] VÁZQUEZ-ARELLANO M, GRIEPENTROG H W, REISER D, et al. 3-D imaging systems for agricultural applications: a review [J/OL]. Sensors, 2016, 16 (5): 618. doi:  10.3390/s16050618.
    [11] 仇瑞承, 张漫, 魏爽, 等. 基于RGB-D相机的玉米茎粗测量方法[J]. 农业工程学报, 2017, 33(增刊 1): 170 − 176.

    QIU Ruicheng, ZHANG Man, WEI Shuang, et al. Method for measurement of maize stem diameters based on RGB-D camera [J]. Trans Chin Soc Agric Eng, 2017, 33(suppl 1): 170 − 176.
    [12] NEWNHAM G J, ARMSTON J D, CALDERS K, et al. Terrestrial laser scanning for plot-scale forest measurement [J]. Curr For Rep, 2015, 1(4): 239 − 251.
    [13] 刘浩, 张峥男, 曹林. 机载激光雷达森林垂直结构剖面参数的沿海平原人工林林分特征反演[J]. 遥感学报, 2018, 22(5): 872 − 888.

    LIU Hao, ZHANG Zhengnan, CAO Lin. Estimating forest stand characteristics in a coastal plain forest plantation based on vertical structure profile parameters derived from ALS data [J]. J Remote Sensing, 2018, 22(5): 872 − 888.
    [14] WESTOBY M J, BRASINGTON J, GLASSER N F, et al. ‘Structure-from-Motion’ photogrammetry: a low-cost, effective tool for geoscience applications [J]. Geomorphology, 2012, 179: 300 − 314.
    [15] 周静静, 郭新宇, 吴升, 等. 基于多视角图像的植物三维重建研究进展[J]. 中国农业科技导报, 2019, 21(2): 9 − 18.

    ZHOU Jingjing, GUO Xinyu, WU Sheng, et al. Research progress on plant three-dimensional reconstruction based on multi-view image [J]. J Agric Sci Technol, 2019, 21(2): 9 − 18.
    [16] 梁秀英, 周风燃, 陈欢, 等. 基于运动恢复结构的玉米植株三维重建与性状提取[J]. 农业机械学报, 2020, 51(6): 209 − 219.

    LIANG Xiuying, ZHOU Fengran, CHEN Huan, et al. Three-dimensional maize plants reconstruction and traits extraction based on structure from motion [J]. Trans Chin Soc Agric Mach, 2020, 51(6): 209 − 219.
    [17] HUI Fang, ZHU Jinyu, HU Pengcheng, et al. Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations [J]. Ann Bot, 2018, 121(5): 1079 − 1088.
    [18] MILLER J, MORGENROTH J, GOMEZ C. 3D modelling of individual trees using a handheld camera: accuracy of height, diameter and volume estimates [J]. Urban For Urban Greening, 2015, 14(4): 932 − 940.
    [19] 徐慧丹, 周小成, 黄洪宇, 等. 移动多视图立体摄影的单木结构参数提取[J]. 测绘科学, 2018, 43(9): 108 − 114.

    XU Huidan, ZHOU Xiaocheng, HUANG Hongyu, et al. Single tree structure parameter extraction of structure-from-motion with multi-view stereophotogrammetry [J]. Sci Surv Mapp, 2018, 43(9): 108 − 114.
    [20] 孙英伟, 林文树. 基于SFM算法的单木结构参数提取研究[J]. 西北林学院学报, 2020, 35(5): 180 − 184.

    SUN Yingwei, LIN Wenshu. Extraction of the parameters of single tree structure based on SFM algorithm [J]. J Northwest For Univ, 2020, 35(5): 180 − 184.
    [21] 化春键, 马金科, 陈莹. 基于差异哈希算法的改进非局部均值去噪算法[J/OL]. 激光与光电子学进展, 2020, 57(14): 141007. doi: 10.3788/LOP57.141007.

    HUA Chunjian, MA Jinke, CHEN Yin. Improved non-local mean denoising algorithm based on difference hash algorithm[J/OL]. Laser Optoelectron Prog, 2020, 57(14): 141007. doi: 10.3788/LOP57.141007.
    [22] LOWE D G. Distinctive image features from scale-invariant keypoints [J]. Int J Comput Vision, 2004, 60(2): 91 − 110.
    [23] TRIGGS B, MCLAUCHLAN P F, HARTLEY R I, et al. Bundle adjustment-a modern synthesis[C]//[s.l.]. International Workshop on Vision Algorithms. Berlin: Springer, 1999: 298 − 372.
    [24] 何豫航, 岳俊. 基于CMVS/PMVS多视角密集匹配方法的研究与实现[J]. 测绘地理信息, 2013, 38(3): 20 − 23.

    HE Yuhang, YUE Jun. Research and implementation based on multi-view dense matching by applying CMVS /PMVS [J]. J Geomatics, 2013, 38(3): 20 − 23.
    [25] WOLD S, ESBENSEN K, GELADI P. Principal component analysis [J]. Chemometrics Intell Lab Syst, 1987, 2(1/3): 37 − 52.
    [26] 杨全月, 陈志泊, 孙国栋. 基于点云数据的测树因子自动提取方法[J]. 农业机械学报, 2017, 48(8): 179 − 185.

    YANG Quanyue, CHEN Zhibo, SUN Guodong. Automatic extraction method of tree measurement factors based on point cloud data [J]. Trans Chin Agric Mach, 2017, 48(8): 179 − 185.
    [27] 范永祥, 冯仲科, 陈盼盼, 等. 基于RGB-D SLAM手机的森林样地调查系统研究[J]. 农业机械学报, 2019, 50(8): 226 − 234.

    FAN Yongxiang, FENG Zhongke, CHEN Panpan, et al. Research on forest plot survey system based on RGB-D SLAM mobile phone [J]. Trans Chin Soc Agric Mach, 2019, 50(8): 226 − 234.
  • [1] 宋博华, 高歌, 高珊, 孙琳琳, 李冰雪.  基于热技术的活立木液流测量方法综述 . 浙江农林大学学报, 2022, 39(2): 456-464. doi: 10.11833/j.issn.2095-0756.20210286
    [2] 龙俊松, 汤孟平.  天目山常绿阔叶林空间结构与地形因子的关系 . 浙江农林大学学报, 2021, 38(1): 47-57. doi: 10.11833/j.issn.2095-0756.20200267
    [3] 许世达, 耿兴敏, 王露露.  植物乙烯响应因子(ERF)的结构、功能及表达调控研究进展 . 浙江农林大学学报, 2021, 38(3): 624-633. doi: 10.11833/j.issn.2095-0756.20200346
    [4] 张建国, 刘雨潇.  景区环境与运动体验满意度对游客环境恢复性感知的影响 . 浙江农林大学学报, 2021, 38(1): 184-192. doi: 10.11833/j.issn.2095-0756.20200243
    [5] 赵庆, 章驰, 胡柔璇, 许东先, 钱万惠, 魏玉晗, 唐洪辉.  珠海市城区风景游憩林三维绿量与林下游憩空间量特征 . 浙江农林大学学报, 2021, 38(3): 534-540. doi: 10.11833/j.issn.2095-0756.20200455
    [6] 屠玲艳, 吴学谦, 许海顺.  水分胁迫对三叶青叶绿体超微结构及黄酮合成关键酶的影响 . 浙江农林大学学报, 2021, 38(3): 577-586. doi: 10.11833/j.issn.2095-0756.20200358
    [7] 范忆, 楼一恺, 库伟鹏, 戴其林, 王铮屹, 赵明水, 余树全.  天目山紫楠种群年龄结构与点格局分析 . 浙江农林大学学报, 2020, 37(6): 1027-1035. doi: 10.11833/j.issn.2095-0756.20190631
    [8] 赵凯, 唐丽华, 张姝婧.  基于OpenGL的交互式三维树木建模与可视化研究 . 浙江农林大学学报, 2019, 36(1): 138-147. doi: 10.11833/j.issn.2095-0756.2019.01.017
    [9] 朱宇颐, 解潍嘉, 黄华国.  基于三维模型ENVI-met对黑河森林和北方森林的潜热及显热通量模拟 . 浙江农林大学学报, 2018, 35(3): 440-452. doi: 10.11833/j.issn.2095-0756.2018.03.007
    [10] 管昉立, 徐爱俊.  基于智能手机与机器视觉技术的立木胸径测量方法 . 浙江农林大学学报, 2018, 35(5): 892-899. doi: 10.11833/j.issn.2095-0756.2018.05.014
    [11] 徐诗宇, 施拥军, 冯晟斐.  基于三维激光点云的城市绿化树种材积及树干碳储量无损精确测算 . 浙江农林大学学报, 2018, 35(6): 1062-1069. doi: 10.11833/j.issn.2095-0756.2018.06.009
    [12] 艾婧文, 刘健, 余坤勇, 张今朝, 曾琪, 郑文英.  群落特征和林分空间结构对森林公园景观美学质量贡献率及影响因子 . 浙江农林大学学报, 2017, 34(6): 1087-1094. doi: 10.11833/j.issn.2095-0756.2017.06.017
    [13] 许杰, 戚大伟.  基于特征点提取的林木生长状态无损测量方法 . 浙江农林大学学报, 2016, 33(3): 403-408. doi: 10.11833/j.issn.2095-0756.2016.03.005
    [14] 王东良, 金荷仙, 范丽琨, 唐宇力.  疗养院人工绿地三维绿量分布特征及影响因子 . 浙江农林大学学报, 2013, 30(4): 529-535. doi: 10.11833/j.issn.2095-0756.2013.04.011
    [15] 曹磊, 汪志银, 刘向农, 杨宇翔.  三维有序大孔径介孔二氧化硅载体的仿生合成 . 浙江农林大学学报, 2010, 27(3): 437-444. doi: 10.11833/j.issn.2095-0756.2010.03.019
    [16] 徐文兵, 汤孟平.  全站仪双边交会法测定树木三维坐标 . 浙江农林大学学报, 2010, 27(6): 815-820. doi: 10.11833/j.issn.2095-0756.2010.06.002
    [17] 陈双林, 吴柏林, 吴明, 张德明, 曹永慧, 杨清平.  新造毛竹林林分结构年际演替规律及影响因子 . 浙江农林大学学报, 2004, 21(4): 393-397.
    [18] 刘兴泉, 许禄.  拟除虫菊酯类农药结构/急性毒性的三维定量构效关系 . 浙江农林大学学报, 2002, 19(4): 337-341.
    [19] 郑建岳.  大学生运动兴趣探析 . 浙江农林大学学报, 1996, 13(3): 350-353.
    [20] 张霞妃.  大学生运动损伤调查浅析 . 浙江农林大学学报, 1995, 12(1): 93-97.
  • 加载中
  • 链接本文:

    https://zlxb.zafu.edu.cn/article/doi/10.11833/j.issn.2095-0756.20210547

    https://zlxb.zafu.edu.cn/article/zjnldxxb/2022/4/792

图(6) / 表(1)
计量
  • 文章访问数:  82
  • HTML全文浏览量:  28
  • PDF下载量:  3
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-08-09
  • 录用日期:  2022-01-18
  • 修回日期:  2021-09-10
  • 网络出版日期:  2022-07-20
  • 刊出日期:  2022-08-20

基于运动恢复结构的多株立木因子测量方法

doi: 10.11833/j.issn.2095-0756.20210547
    基金项目:  国家自然科学基金资助项目(31670641);浙江省科技重点研发计划项目(2018C02013);浙江省公益基金项目(LGN21C160004)
    作者简介:

    顾雯钧(ORCID: 0000-0002-0025-1155),从事农林业智能设备与信息系统研究。E-mail: 296868527@qq.com

    通信作者: 徐爱俊(ORCID: 0000-0001-6789-6938),教授,博士,从事农林业智能设备与信息系统研究。E-mail: xuaj1976@163.com
  • 中图分类号: S758.1

摘要:   目的  提出基于运动恢复结构的多株立木因子测量方法,以解决目前基于三维点云的立木因子测量方法获取立木树高和胸径存在效率低或成本高的问题。  方法  ①使用智能手机环绕包含多株立木的场景拍摄一段视频,并采用固定帧采样法和差异值哈希算法自动提取立木视频中的关键帧图像,然后,基于运动恢复结构(structure from motion,SfM)算法处理立木关键帧图像,从而获取立木场景的原始三维点云;②在对原始三维点云进行预处理及初步分割后,运用条件欧几里得聚类算法对多株立木三维点云进行分割,以提取单株立木三维点云;③对立木三维点云使用最值遍历法和椭圆拟合法实现立木树高和胸径的自动测量。  结果  与真实值相比,本研究方法测得的树高、胸径的平均相对误差分别为1.96%、3.19%,均方根误差分别为0.133 3 m、0.533 7 cm,相关系数分别为0.987 9、0.962 1。  结论  该方法具有较高的树高和胸径测量精度,提供了一种便捷、低成本的多株立木因子三维测量方法。图6表1参27

English Abstract

顾雯钧, 徐爱俊, 尹建新. 基于运动恢复结构的多株立木因子测量方法[J]. 浙江农林大学学报, 2022, 39(4): 792-799. doi: 10.11833/j.issn.2095-0756.20210547
引用本文: 顾雯钧, 徐爱俊, 尹建新. 基于运动恢复结构的多株立木因子测量方法[J]. 浙江农林大学学报, 2022, 39(4): 792-799. doi: 10.11833/j.issn.2095-0756.20210547
GU Wenjun, XU Aijun, YIN Jianxin. Measuring method of multiple trees attributes based on structure from motion[J]. Journal of Zhejiang A&F University, 2022, 39(4): 792-799. doi: 10.11833/j.issn.2095-0756.20210547
Citation: GU Wenjun, XU Aijun, YIN Jianxin. Measuring method of multiple trees attributes based on structure from motion[J]. Journal of Zhejiang A&F University, 2022, 39(4): 792-799. doi: 10.11833/j.issn.2095-0756.20210547
  • 立木胸径和树高是衡量立木生长状况的重要因子[1],立木因子的获取是森林资源调查中最重要的工作之一[2-3]。传统的立木因子测量主要依靠人工或二维图像完成。人工测量方法中,使用皮尺、测距仪等测树工具[4],工作量大且主观误差较大;电子经纬仪、全站仪等精密设备[5-6]专业性强,但操作复杂。随着计算机视觉技术的发展,基于二维图像的测量方法[7-9]取得了一定的成果,但由于维度的限制,这类方法对于遮挡严重的场景测量精度不高。近几年,三维重建方法被广泛用于植物表形参数的测量[10-11]。其中地面激光扫描技术(terrestrial laser scanning, TLS)[12-13]测量精度高,但地面激光扫描仪价格昂贵,产生点云数据量大,对计算机的运行速度、传输容量等有较高要求,使其在植株表型参数提取与分析方面的应用受到了制约,难以满足社会化的需求。运动恢复结构(structure from motion,SfM)[14]是一种通过特征点匹配建立不同视角的二维图像的关系,从而恢复相机参数与目标三维信息的算法。该算法为植株表型参数测量提供了一种新思路[15]。梁秀英等[16]使用户外小车自动拍摄田间玉米Zea mays植株,基于SfM 算法首先获取玉米植株稀疏三维点云,然后再进一步得到植株稠密点云,通过点云数据测得玉米株高、茎粗和叶面积等参数。HUI等[17]基于SfM算法,利用Visual SFM软件对茄Solanum melongena、辣椒Capsicum annuum和黄瓜Cucumis sativus等3种蔬菜进行了重建和表型解析,获取了植物叶片数、叶长、叶宽和叶面积数据。该方法除用于小型作物表型参数的测量外,在立木因子测量方面也有应用。MILLER等[18]、徐慧丹等[19]围绕单株立木拍摄重叠度约70%的图片,并基于SfM算法获取其三维点云模型,从而估计树高、胸径等参数。孙英伟等[20]在室外围绕单株立木进行拍摄,并基于SfM算法获取立木三维点云,将点云最高和最低的差值作为树高数据,对1.3 m处点云拟合圆提取胸径值。这些方法虽然能够有效替代传统方法和TLS测量立木因子,但均是围绕立木人为控制拍摄间隔获取图像,步骤繁琐且精度难以保障,仅能测量单株立木,效率较低。

    本研究提出基于运动恢复结构的多株立木因子测量方法,围绕立木场景拍摄视频,使用关键帧提取算法自动提取三维重建所需的立木图像,减少拍摄的复杂程度;基于SfM算法获取立木三维点云后,进行多株立木点云分割,实现立木单株点云的提取和树高、胸径的自动测量,为多株立木因子的自动测量提供了新思路。

    • 以浙江农林大学校园内的立木为研究对象,在自然条件下使用智能手机环绕包含多株立木的场景拍摄一段视频。拍摄时将手机移动速度尽量保持均匀并减少晃动,尽可能拍到立木的全部,并将相机镜头始终指向场景中心。由于每个场景中的立木数量、高度、间距均不相同,因此拍摄路线也不同。图1为某场景的拍摄路线示意图,场景中放置的蓝色长方体尺寸已知,有助于将立木三维点云的尺度恢复到与实际相同。

      图  1  拍摄路线示意图

      Figure 1.  Schematic diagram of shooting route

    • 视频相比图像能够传达更为丰富的信息,但是一个完整的视频序列包含较多冗余数据,关键帧提取算法能够从视频中选择满足特定要求的帧,使得提取的关键帧序列能够在满足后续立木三维点云获取所需基本信息的基础上尽量减少冗余。将固定采样法和相似度度量法相结合,对立木视频进行关键帧提取。先用固定采样法提取视频帧作为候选帧,即以视频的第1帧作为候选帧的开始,使用固定间隔为t帧的采样算法At对包含L帧的视频VL进行候选帧提取,得到候选帧序列Fc,其中${f_1},{f_{1 + t}}, \cdots ,{f_{1 + nt}}$为候选帧序列中的每帧,(1±nt)≤L

      $$F_{ {{\rm{c}} }}=\left\{f_{1}, f_{1+t}, \cdots, f_{1+n t}\right\}=A_{t}\left(V_{L}\right)。 $$ (1)

      式(1)中,将所有的候选帧提取完成后,以候选帧的第1帧作为关键帧的开始,采用差异值哈希(dHash)算法[21]计算当前关键帧与候选帧之间的相似度。该算法首先将2幅图像分别缩小并灰度化,然后比较每行相邻元素的大小,根据比较结果赋值1或0,得到2幅图像的哈希值,最后利用汉明距离计算2幅图像之间的相似度S

      $$ S=D\left \{ d H\left(I_{i}\right), d H\left(f_{j}\right)\right \} 。 $$ (2)

      式(2)中:Ii表示当前关键帧,fj表示候选帧,dH(Ii)和dH(fj)分别表示2幅图像的哈希值,D表示汉明距离。

      计算出相似度S之后,设定相似度阈值S1S2 (分别取值为0.6和0.8)。当S>0.8时,将筛选出的关键帧序列进行三维重建时立木三维模型的效果并没有明显提升,但是关键帧图像大量增加导致效率降低;当S>0.6可以较好地排除视频中突然出现的干扰(如车辆)。因此,若0.6≤S≤0.8,则将该候选帧加入到关键帧序列,并将该帧设置为当前关键帧。然后继续计算当前关键帧与下一候选帧的相似度,直至筛选完所有候选帧,得到视频关键帧序列Fe

    • 在立木视频关键帧序列(即有序图像集)提取的基础上,基于运动恢复结构算法生成立木三维点云,基本流程如图2所示。①特征点提取与匹配。通过尺度不变特征变换算法(scale-invariant feature transformation,SIFT)[22]对图像进行特征点提取,并计算每2幅图像特征点描述子之间的欧几里得距离来完成特征点匹配,得到所有图像的特征匹配关系$M \left\{m_{1,2}, m_{2,3}, \cdots, m_{n-1, n}\right\}$,其中n为关键帧图像的数量,m中储存了2幅图像间的特征点匹配对$m\left\{\left(x_{1}, x_{1}^{\prime}\right),\left(x_{2}, x_{2}^{\prime}\right), \cdots,\left(x_{i}, x_{i}^{\prime}\right)\right\}$,其中i为特征点匹配对的数量。②使用2幅图像进行重建初始化。首先将第1幅图像与第2幅图像中的匹配点对xx'代入对极几何约束条件[式(3)]求得基础矩阵F,该矩阵代表了2幅图像匹配点之间的空间几何关系。

      图  2  生成立木三维点云流程图

      Figure 2.  Flow chart of creating 3D point cloud of trees

      $$\left(x^{\prime}\right)^{{\rm{T}}} {\boldsymbol{F}} x=0 。 $$ (3)

      再通过已知的相机内参K和式(4)求得本质矩阵E,对E进行奇异值分解后得到第2幅图像相对第1幅图像的相机旋转矩阵R和平移向量T

      $$ {\boldsymbol{E}}=K^{{\rm{T}}} F K。 $$ (4)

      在此基础上,可通过式(5)求得2个相机的投影矩阵P1P2

      $$ \left\{\begin{array}{l}{\boldsymbol{P}}_{1}=K[I, \;0] \\ {\boldsymbol{P}}_{2}=K[{\boldsymbol{R}},\; T]\end{array}\right.。 $$ (5)

      通过P1P2建立二维匹配点xx'及其对应的三维空间点X的关系:

      $$ \left\{\begin{array}{l}x={\boldsymbol{P}}_{1} X \\ x^{\prime}={\boldsymbol{P}}_{2} X\end{array}\right.。 $$ (6)

      并将匹配点xx'的齐次坐标[u, v, 1]T及[u', v', 1]T代入上式,得:

      $$ \left[\begin{array}{l}P_{13} u-P_{11} \\ P_{13} v-P_{12} \\ P_{23} u^{\prime}-P_{21} \\ P_{23} v^{\prime}-P_{22}\end{array}\right] X=A X=0 。$$ (7)

      式(7)中:Pi1Pi2Pi3Pi的行向量,对A进行奇异值分解后得到二维图像特征点的三维坐标。

      ③加入新的图像。根据新加入的一幅图像与已重建的上一幅图像上特征点的匹配关系,获得已知的三维点X对应新图像上的二维点x,将对应的二维点和三维点代入式(8)可求得投影矩阵Pi,然后重复使用步骤②中的方法获得新图像上其余未重建的匹配点的三维坐标。

      $$ x=P_{i} X。 $$ (8)

      ④利用光束平差(bundle adjustment,BA)[23]算法进行集束调整,减小相机姿态RT和重建三维点坐标的误差。将所有三维点通过重新映射的方式到得到其在图像上的二维点坐标,然后计算与其真实二维点之间的距离,并将该距离最小化以完成优化。即:

      $$ \min \sum\limits_{i=1}^{n} \sum\limits_{j=1}^{m}\left(x_{i j}-P_{j} \:X_{i}\right)^{2}。 $$ (9)

      式(9)中:xij是第i个特征点在第j幅图像上的坐标,Pj为投影矩阵,Xi为第i个特征点的三维坐标。每重建一幅图像进行一次集束调整,当所有图像重建完成后,再次进行集束调整,获得优化后的稀疏三维点云。

      ⑤三维点云稠密化。采用多视角立体集群算法(cluster multi-view stereo,CMVS)和多视角拼接算法(patch-based multi-view stereo,PMVS)对重建出来的稀疏点云进行稠密化[24]

    • 由于立木场景三维点云数据量大,夹杂了许多噪声点,且点云模型与真实世界三维空间的方向、尺度上也存在不一致,因此需要对点云模型进行下采样、去噪、比例校正、坐标校正、方向校正等预处理,以减少后续算法运行时间。①采用三维体素栅格法对点云进行下采样。首先为输入的点云数据创建由大量指定边长的微小立方体包围的集合,即三维体素栅格;然后在每个体素内计算所有点的重心,利用重心代替该体素内的其余点,这样所有的三维点云最终都由各个体素内的重心表示。②去噪。使用直通滤波器对XYZ阈值范围进行设定,划分出感兴趣的立木范围区域,从而减少背景噪声点。接着采用统计滤波方法去除离群噪声点,计算直通滤波后的每个点pi,计算其与k(取50)个近邻点的平均距离$\bar{d}\left(p_{i}\right)$,假设得到的结果服从高斯分布,得平均距离均值(μ)和标准差(σ),如果这些点的平均距离$\bar{d}\left(p_{i}\right)$大于阈值Cσ(C为常量,取1),则将被视为离群值去除。③坐标校正。首先进行点云模型与实际的比例校正,由放置物体实际尺寸hr和放置物体的模型尺寸hm得到坐标缩放比例r=hr/hm,在进行立木因子测量时可按比例将其换算到与实际相同的尺度。④方向校正。计算三维点云模型质心点的三维坐标,并基于主成分分析法(principal component analysis,PCA)[25]将点云模型进行质心化,求解点云模型协方差矩阵的特征值和特征向量,特征向量为立木三维点云模型的主方向,根据该主方向创建旋转矩阵M,将原始点云Po以质心点为中心转换到主方向的位置,得到新的三维点云模型Pn=MPo

    • 预处理后的三维点云模型中包含多株目标立木及地面,为此需要进行点云分割,分别提取单株立木三维点云。首先使用RANSAC算法将地面点云拟合成一个平面,然后提取属于该平面内的点云,从而将地面点云与立木点云进行初步分割。

      在初步分割后的点云中,同一立木的点云总是紧邻的,而不同立木的点云之间存在间距,因此,根据空间点的欧氏距离采用条件欧几里得聚类算法进行多株立木三维点云的分割。对于三维点云中的某一点P,通过KD树找到三维点云中离点P最近的k个点,这些点与P点的距离若小于阈值d则聚类到集合Q中。然后从集合Q中选取点P以外的点,重复上述过程,直到集合Q中点的数量不再增加,则聚类过程结束。最后将多株立木三维点云分割到不同的点云集合中,从而提取出单株立木三维点云。

    • 将立木在z轴方向的最高点与最低点的差值默认为其高度,如图3所示。由于点云坐标校正后单株立木的生长方向均与z轴的正方向一致,且立木底部平面位于oxy平面,所以提取出单株立木点云后,遍历所有点,找到单株立木z轴坐标的最大值与最小值,两者差值的绝对值即为单株立木的高度h (h=|ZmaxZmin|)。

      图  3  立木高度提取示意图

      Figure 3.  Schematic diagram of tree height extraction

    • 将立木位于距地面1.3 m处断面直径的最大值和最小值的平均视为其胸径,如图4所示。在单株立木的三维点云中,利用校正后的比例r求得1.3 m处点云坐标:z=1.3/r。对该处做3 cm厚度的切片,然后再将点云切片投影至oxy平面,利用非线性最小二乘法进行椭圆拟合求解椭圆一般方程式:Ax2+Bxy+Cy2+Dx+Ey+1=0。其中:A、B、C、D、E是待求解参数。求得椭圆一般方程式后,根据式(10)和式(11)求得椭圆的短轴a和长轴b

      图  4  胸径提取示意图

      Figure 4.  Schematic diagram of tree DBH extraction

      $$ \left\{\begin{array}{l}X_{{\rm{C}}}=\dfrac{B E-2 C D}{4 A C-B^{2}} \\ Y_{{\rm{C}}}=\dfrac{B D-2 A E}{4 A C-B^{2}}\end{array}\right.; $$ (10)
      $$ \left\{\begin{array}{l}a^{2}=\dfrac{2\left(A X_{{\rm{c}}}{ }^{2}+C Y_{{\rm{c}}}{ }^{2}+B X_{{\rm{c}}} Y_{{\rm{c}}}-1\right)}{A+C+\sqrt{(A-C)^{2}+B^{2}}} \\ b^{2}=\dfrac{2\left(A X_{{\rm{c}}}{ }^{2}+C Y_{{\rm{c}}}{ }^{2}+B X_{{\rm{c}}} Y_{{\rm{c}}}-1\right)}{A+C-\sqrt{(A-C)^{2}+B^{2}}}\end{array}\right. 。$$ (11)

      然后将椭圆的短轴与长轴的平均值作为立木的胸径(Φ):Φ=(a+b)/2。

    • 基于软件平台Visual Studio 2017和计算机视觉Opencv库提取立木视频关键帧图像并基于运动恢复结构算法获取立木三维点云;基于C++开源点云库(point cloud library,PCL)对点云数据进行预处理及分割操作。

    • 立木视频关键帧提取后,基于运动恢复结构算法获取的立木场景三维点云如图5A所示。可以看出该原始三维点云不仅包含了4株立木,还包含了地面、背景及离群噪声点。由图5B所示:进行点云下采样之后点云数据减少了约3倍,这并不影响立木三维点云的整体形状,且经过预处理后的点云成功滤除了背景及大量离群噪声点,点云模型的坐标方向也得到了校正(该场景中种植立木的花坛长度已知,无需在场景中放置用于比例校正的物体)。图5C是将地面点云与立木点云进行初步分割后的结果,图5D是点云通过条件欧几里得聚类算法分割后得到的4株立木。

      图  5  立木三维点云处理结果

      Figure 5.  3D point cloud processing results of trees

    • 表1可见:经过计算得出树高测量的绝对误差为0.03~0.24 m,测量值与实际值之间的相对误差为0.63%~3.93%,平均相对误差为1.96%。树高测量值总体上比实际值低,主要是因为树冠顶部的枝叶稀少,导致生成的三维点云在树冠顶部较为稀疏,在点云处理阶段被视为噪声点去除,并且在一些枝叶较细或者高度较高的立木上,由于视频拍摄不够清晰导致特征点匹配数量不足,使得立木三维重建时存在点云部分缺失的现象。立木的胸径测量的绝对误差为0.20~0.85 cm,测量值与实际值之间的相对误差为1.45%~6.92%,平均相对误差为3.19%。测量误差主要是由于拍摄时立木之间的遮挡,导致部分立木树干重建效果不佳,并且在使用非线性最小二乘法进行椭圆拟合时,由于利用的点云数量较少且分布不均匀,使得拟合不够准确。

      表 1  树高和胸径的测量值与实际值

      Table 1.  Measured and actual values of tree height and DBH

      立木
      编号
      树高胸径
      实际
      值/m
      测量
      值/m
      相对误
      差/%
      实际
      值/cm
      测量
      值/cm
      相对误
      差/%
      16.146.100.6315.6014.854.85
      24.984.872.1513.0613.332.07
      35.495.530.8412.7413.002.09
      45.645.492.6014.9715.584.06
      53.423.390.9310.8310.621.87
      63.493.551.6912.2613.116.91
      74.534.402.7812.9012.254.99
      84.314.212.3914.3314.091.70
      96.656.600.7119.4319.141.44
      106.196.081.7918.6319.353.87
      117.176.933.4018.8018.421.94
      125.635.731.6718.7219.393.58
      137.527.352.1816.9717.271.77
      147.477.203.5619.0418.592.37
      155.585.691.9315.1314.365.08
      165.015.050.6411.9412.202.16
      175.415.272.5712.6712.461.68
      187.186.982.7816.0816.884.93
      平均值1.963.19

      图6为树高和胸径测量值与实际值的线性回归分析图,使用本研究方法测量的立木树高和胸径与实际值之间均存在着显著的线性相关关系,树高相关系数(R2)为0.987 9,均方根误差(RMSE)为0.133 3 m;胸径R2为0.962 1,RMSE为0.533 7 cm。

      图  6  树高和胸径的测量值与实际值的回归分析

      Figure 6.  Regression analysis of measured and actual values of tree height and DBH

    • 针对当前基于三维点云的立木因子测量方法效率低或成本高的问题,本研究提出了一种基于运动恢复结构的多株立木因子测量方法,使用普通智能手机实现了自然环境下多株立木树高和胸径的灵活、有效测量。本研究表明:使用本方法测量树高的平均相对误差为1.96%,相关系数为0.987 9,均方根误差为 0.133 3 m;测量胸径的平均相对误差为3.19%,相关系数为0.962 1,均方根误差为0.533 7 cm。本方法测量树高的平均相对误差均低于文献[26-27],具有更高的树高测量精度;测量胸径的平均相对误差低于文献[26],略高于文献[27],但是文献[26-27]分别需要使用三维激光扫描仪和ToF手机,而本方法仅需使用普通智能手机,具有更好的普适性。

      本方法具有较高的精度,但是测量胸径和树高仍有一定的误差,可能原因为:①树冠顶部的枝叶稀少,导致生成的三维点云在树冠顶部较为稀疏,在点云处理阶段被视为噪声点去除,导致树高测量值总体上比实际值低。②在一些枝叶较细或者高度较高的立木上,由于视频拍摄不够清晰导致特征点匹配数量不足,使得立木三维重建时点云部分缺失。③采用非线性最小二乘法拟合椭圆时由于树干点云的数量较少或分布不均导致立木胸径计算结果不理想。因此,可尝试采用高分辨率无人机等设备进行树冠顶部视频的拍摄,以获得立木清晰且全面的图像,同时进一步研究立木图像特征点提取与匹配算法,增加树干与树冠顶部枝叶的特征点匹配对数量,以提高重建立木的三维点云质量。

参考文献 (27)

目录

    /

    返回文章
    返回