Feature point extraction based nondestructive measuring methods of tree growth status

图 1为简单的平视双目立体成像原理图^{[1, 8]}，2个摄像机的投影中心连线的距离，即基线距为B。２个摄像机同一时刻观看空间物体的同一特征点P(x_c，y_c，z_c)，分别在左图和右图上获取了点P的图像坐标分别为(x_L，y)和(x_R，y)，设2个摄像机的焦距都为f，则由三角几何关系得：

Figure 1.  Binocular 3D imaging principle

式(1)中：D为视差，D=x_L-x_R，因此左摄像机像面上的任意一点只要能在右摄像机像面上找到对应的匹配点，就可以确定出该点的三维坐标^[8-10]。

图像的大小用(M×N)表示，以图像左上角为坐标原点O₀，设(u，v)为以像素为单位的坐标，(x，y)是以毫米为单位的坐标，在xy坐标系中，原点O₁定义在摄像机光轴与图像平面的交点，设O1在uv坐标系中坐标为(u₀，v₀)，每个像素在xy轴上的物理尺寸为d_x和d_y，坐标变换如图 2所示^{[2, 11-12]}，则有：

Figure 2.  Coordinate transformation

式(2)中，d_x为每个像素在x轴方向上的物理单位；d_y为每个像素在y轴方向上的物理单位。

将摄像机水平放置，光轴保持平行，成像于同一平面上，这样视差D只与像素坐标u1和u2有关。根据式(2)可知，像素坐标u₁和u₂与物理坐标x₁和x₂之间的关系可表示为^{[11, 14-15]}：

由此可得：

联立式(5)和式(1)，即可求得树木标定点像素中心坐标的空间信息，即：

本试验以MV-VS220 双目立体视觉测量系统平台为依托，用DS3水准仪和J2经纬仪保证2次测量位置不变。选用维视MV-VS078FC 高分辨率工业摄像机作为图像采集装置，AFT-0814MP为相机镜头，通过平台提供的硬质三角架进行固定，并与MV-1394图像采集卡相连。摄像机的参数设置：成像平面为3.225 mm × 3.225 mm，分辨率为1 024 × 768。由此计算出d_x=3.225/1 024 = 0.003 15 mm，d_y=3.225/768=0.004 2 mm。在本试验中，摄像机焦距均调整为f=20 mm，初始基线距离B=60 mm。

试验过程中，先在预采集的树木上标定出4个类似于矩形的红色信息点，并对测量位置用DS3水准仪和J2经纬仪进行精确定位。一种方法是采取传统的测量方法通过50分度的游标卡尺和测量用米尺实现对标定点中心的距离测量；另一种方法是通过双目视觉测量平台来完成树木标定点的信息采集。设计时将2个摄像机平行放置，同时保证红色标定点处于非边缘位置。该试验主要针对树木标定点进行不同时间点、同一位置的树木图像信息采集和测量。本试验间隔为6个月。

图像的采集主要以MV-VS220 双目立体视觉测量系统为依托。本试验主要是针对树木上的红色标定点进行同一位置、不同时间点的图像采集，并对其进行识别和测量。采集时将摄像机水平放置，光轴保持平行，成像于同一平面上。初次采集到的图像如图 3所示。

Figure 3.  Collected images

摄像机获得的树木标定点图像是含有颜色信息的，在图像处理时，由于所标定的是红色点，在红绿蓝(RGB)颜色空间内，只需提取它的红色通道内的数据即可，后期的处理只需针对提取到的图像数据就可以了。本研究采用Matlab语言的颜色提取算法和命令^[14-16]，来实现对树木红色标定点的信息提取。

由于4个红色标定点有别于其他图像信息点，经过颜色提取后的标定点相对稳定，很容易得到标定点的准确信息，从而实现标定点的分离。将提取后的图像进行中值滤波(模板采用3 × 3)，考虑到图像处理的便利，将灰度图像转化为二值图像，阈值选0.2，并根据实际数据处理需要，对二值图像进行取反处理^{[8, 14-16]}，得到如图 4所示标定点图像。

Figure 4.  Camera calibration point and center coordinate

由于所采集到的树木图像的每个标定点是由很多个像素点构成的，要精确计算每个标定点的信息很难。本研究采用每个标定点的像素中心坐标来计算标定点间的位置关系。本试验中，通过4个标定点的基本信息，计算各标定点区域的像素中心，来决定标定点的中心坐标。计算方式如下^[17-19]：

式(9)中：S表示连通域，即每个标定点所处的区域，N_S为连通域中像素的个数；(i_m，j_m)为标定点像素中心的坐标。根据摄像机参数设置情况，可得到各标定点像素中心坐标如图 4所示^{[14, 20-21]}。

根据确定的标定点像素中心坐标，可计算出各标定点像素中心的空间坐标信息，以图像左上角为坐标原点，世界坐标系与左摄像机坐标系重合^{[9, 24-25]}，以左上方的像素中心坐标为例，按照式(6)~式(8)计算结果如下：x_{1 左上}=582.50 mm，y_1左上=405.00 mm，z_1左上=7 936.51 mm。以此类推，计算出其他像素中心坐标：右上(717.5，403.33，7 936.51)，左下(580.0，645.0，7 936.51)，右下(718.75，648.33，7 936.51)，改变基线间距，每次增加2 mm，共计测量10次。根据10次测量所测得的试验数据，可计算出各标定点像素中心的平均物理坐标分别为：左上(581.82，406.49，7 965.79)，右上(718.67，401.83，7 938.42)，左下(582.14，650.38，7 967.79)，右下(724.94，653.63，7 958.01)。

在保证2摄像机摄取图像位置不变的情况下，忽略自然因素对摄像机的影响，摄像机的焦距均为f=20 mm，初始基线B=60 mm。6个月后，左上标定点像素中心的物理坐标为别为：x_2左上=577.50 mm，y_2左上=401.67 mm，z_2左上=7 936.51 mm。同理，计算出其他像素中心坐标分别为右上(720.0，400.0，7 936.51)，左下(578.75，646.67，7 936.51)，右下(721.25，650.0，7 936.51)，改变基线间距，每次增加2 mm，共计测量10次。经过10次测量后，计算出各标定点像素中心的平均物理坐标分别为：左上(579.57，403.1，7 964.92)，右上(717.29，399.05，7 937.67)，左下(581.74，647.11，7 966.53)，右下(722.53，651.15，7 956.7)。

①标定点像素中心坐标的距离变化。由表 1可得：左上方像素中心坐标与其他3个像素中心的空间距离分别为L_{1左上右上}=139.6 mm；L_{1左上左下}=243.9；L_{1左上右下}=285.7 mm；同理，由表 2可计算出6个月后左上方像素中心点与其他像素中心点之间的距离分别为L_{2左上右上}=141.1 mm；L_{2左上左下}=246.3 mm；L_{2左上右下}=288.0 mm；间隔6个月后，ΔL_左上右上=1.5 mm；ΔL_左上左下=2.4 mm，ΔL_左上右下=2.3 mm。ΔL_左上右上说明x方向上发生了变化，ΔL_左上左下说明y方向上发生了变化。虽然x方向和y方向增量只是一个相对量，但它代表了矩形信息点在水平方向和高度方向的增量变化，说明在6个月时间内，所标定的矩形信息点发生了生长状态的变化，矩形的大小有所扩大。而垂直方向的变化是水平方向变化的1.6倍，说明树木高度上增长较快，而粗度上相对较慢，这与实际树木的生长快慢也是一致的。②标定点像素中心坐标的位置变化。由表 1和表 2测得的各标定点像素中心坐标来看，Δ_左上=(2.25，3.39，0.87)；Δ_右上=(1.38，2.78，0.75)；Δ_左下=(0.39，3.27，1.26)；Δ_右下=(1.41，2.52，1.31)。从试验结果上看，6个月前后各标定点空间信息发生了变化，4个信息点的像素中心距离均有增加，说明矩形的大小也较原图像有所扩大。上述计算过程中，均采取原数据与6个月后图像数据之差的形式进行的，而且是以图像左上角为坐标原点。而xz方向的数据变化较小，y方向数据变化相对大一些，这与树木生长过程高度长得快一些、粗度慢一些也是相符的^{[11, 20-22]}。由此分析，若时间间隔增长，矩形点像素中心的位置和间距增量也会增加，矩形的大小也将会继续扩大。

在实际测量过程中，对树木深度方向用最小分度为1 mm米尺进行测量；在水平和垂直方向上采用50分度游标卡尺进行测量，而且需要测量技术人员的协助，以保证测量方法具有可行性、准确性。本试验只针对树木信息点的间距进行了测量，采取测量10次取均值再进行间距计算的方式进行。初始和6个月后的测量结果如表 1所示。从表 1可以看出：利用传统的测量方法也可以实现对树木生长状态各个参量的测量，间隔6个月后，ΔL_左上右上=5.75 mm，ΔL_左上左下=5.63 mm，ΔL_左上右下=8.11 mm。说明树木在6个月时间范围内发生了生长状态的变化。ΔL左上右上代表水平方向上的增长，ΔL_左上左下代表垂直方向上的增长。经过6个月生长后，4个矩形点的间距发生了不同程度的增长，矩形的大小也有所扩大，但由于水平方向和高度方向增量非常接近，这与树木粗度上长得慢、高度上长得快是不相符的。主要原因是在测量过程中，周围环境和人工操作等因素引起的测量误差所导致的。

根据间隔6个月测得的结果，无论是采取视觉测量方法还是传统测量方法，各标定信息点间距均发生了变化，说明树木的状态发生了改变。但传统测量与视觉测量相比有很多不足，主要体现在：①在测量精度上，传统测量中的米尺最小分度为1.00 mm，游标卡尺最小分度为0.02 mm；而本试验图像测量最小单位达到0.004 2 mm，从数据精度的角度考虑，传统测量不如视觉测量。②在测量结果上，传统测量的水平方向增长了5.75 mm，说明树横向变粗了，而垂直方向增长了5.63 mm，说明树长高了，两者增长量非常接近，这与树木生长中高度长得快、粗度长得慢不相符^{[11, 20-22]}；而视觉测量中垂直方向的变化是水平方向变化的1.6倍，与实际树木生长快慢一致。③在误差处理上，传统测量是人为选择信息点中心来进行距离测量，数据来源和处理方式欠准确；而视觉测量只需处理好采集到的图像信息点即可，通过计算来确定像素中心坐标，测量结果更准确科学。④从采集环境上看，传统测量需到实验现场进行记录，人工来完成现场测量，受自然环境影响较大，测量结果缺乏准确性；而视觉测量对测量环境要求较低^[12]，即使树木经风雨而姿态发生改变，所标定的4个矩形信息点的间距也是相对稳定的。

采用双目视觉系统平台和传统测量方法对树木标定点的图像信息进行了采集和处理，并对两者间隔6个月的测量结果进行了比较研究。从结果上看，基于视觉的测量方法树木标定点的高度增长(2.40 mm)是粗度增长(1.50 mm)的1.6倍；而传统测量高度上与粗度上的数据变化相近，与实际不符。研究表明：①基于视觉技术的测量方法较传统的测量方法测量结果更合理，符合树木生长规律；②树木标定点水平方向和深度方向增长可近似代替信息点粗度上的变化，垂直方向增长代替高度上的变化，即用xz方向代替粗度方向，y方向代替高度方向。本研究只对给定树木标定点的空间变化进行了分析和研究，下一步将探索扩展测量参量，并利用多目相机来研究树木的生长变化，为实现对树木生长的远程无线监测，促进林业信息化提供必要的数据支撑。