-
观赏植物是专门培植来供观赏的植物, 一般都有美丽的花或者形态比较奇异[1]。在校园或公园等地会经常看到, 但普通的非专业人士一般不易识别。当前智能手机得到普及, 同时, 人们对辨识观赏植物有着浓厚的兴趣。通过手机拍摄, 并将识别相关信息在手机端展现, 将提高人们对观赏植物的欣赏能力。国内外学者通过叶片识别植物已做了不少研究, 并取得了一定的研究成果。2012年, 由华盛顿大学、哥伦比亚大学、马里兰大学和美国自然历史博物馆(即史密斯研究院)共同开发的手机应用“Leafsnap”可以通过树木叶片图像识别相应的树种, 即从复杂背景中分割出叶片图像, 然后提取叶脉轮廓线及其曲率, 最后从存有美国东北部184个树种的数据库中查询匹配[2]。陈芳等[3]开发了嵌入式植物自动识别系统, 通过提取叶片的形状特征实现了对校园内9种植物叶片的识别; 张玉琢等[4]设计了植物远程快速识别的方法, 通过网络上传叶片图像, 采用与叶片库中叶片进行图像对比的方式识别植物种类。当前最具有代表性的植物识别商业系统应用程序(application, APP)有形色、花伴侣、微软识花等。此类系统依托了庞大的植物数据库, 采用了人工智能识别技术。但其植物识别过程较粗放、不精细, 背后过于庞大的数据库反而容易误导, 导致识别结果不够准确。并且以上植物识别系统都无法将植物与本地文化相结合。本研究基于iOS系统, 采取精细化识别方法, 对传统的图像识别流程进行了优化。省去图像去噪处理, 筛选了颜色、形状、纹理特征中具有代表性的10种特征, 从而将识别时间控制在合理范围内, 提高了识别率, 加入了观赏植物的科学和人文属性, 充分发扬了本地校园内观赏植物的人文价值。
-
植物识别系统由数据库、图像预处理、特征提取、识别显示等组成。其中, 图像预处理、特征提取、图像分类是关键环节。研发流程如图 1所示。SQLite数据库用于存储叶片特征数据、植物属性信息; 在数据采集阶段, 采集观赏植物叶片样本以及结合了校园文化的植物属性信息; 然后用MATLAB软件处理采集到的叶片样本, 提取颜色、形状、纹理等特征, 与植物属性信息一同存入数据库; 最后采用OpenCV技术编写iOS程序, 实现系统功能。
如图 2所示:面对识别植物, 打开iPhone手机中的观赏植物识别APP, 正面拍摄植物叶片, 相关程序模块对获取的叶片图像进行分割, 提取叶片的颜色特征、形状特征、纹理特征, 并运用支持向量机(SVM)分类器识别叶片, 并从SQLite数据库中筛选出最具可能的植物并展示结果。
-
数据库是系统的核心内容, 需搭建SQLite数据库。系统的数据库由2个部分组成:特征(feature)表存储叶片的3种特征, 用于匹配和识别(表 1); 人文及科学价值信息(information)表用于储存校园文化、人文典故及科学价值等方面的信息, 从而将物种识别、科学普及、校园文化及人文典故有机结合, 真正起到了既识别物种又展示文化的效果(表 2)。
表 1 存储叶片的特征表
Table 1. Features
字段 类型 含义 ID integer 叶片编号 H_Value double 色相均值 S_Value double 饱和度均值 Shape1 double 纵横轴比 Shape2 double 矩形度 Shape3 double 圆形度 Shape4 double 形状参数 Texture1 double 能量 Texture2 double 对比度 Texture3 double 熵 Texture4 double 局部平稳性 表 2 人文及科学价值信息表
Table 2. Information
字段 类型 含义 ID integer 叶片编号 Picture blob 代表性图片 Name varchar 学名 LatinName varchar 拉丁名 EnglishName varchar 英文名 CampusCulture text 校园文化 Description text 植物概述 GuanShang text 观赏价值 YaoYong text 药用价值 DianGu text 相关典故 YuYi text 寓意 -
图像预处理的目的是获得图像中的叶片部分, 它会直接影响后续的特征提取与识别。主要由灰度转换、自动阈值分割和形态学处理3个环节构成。由于目前的iPhone手机拍照分辨率普遍较高, 成像清晰, 因此本研究未做图像去噪处理。
本研究的原始图片都基于RGB颜色模型, 转换为灰度图后, 运用OTSU法将其分割, 得到二值图像; 通过形态学操作, 消除杂物、空洞填充、腐蚀、膨胀等, 得到形状精确的二值图, 进而得到分割后的叶片灰度图。
-
叶片图像的分割首先要借助灰度图。本研究运用标准的灰度转换算法, 采用转换算式(1), 将RGB图像转换为灰度图。
$$ {\mathit{G}_{{\rm{ray}}}}{\rm{ = 0}}{\rm{.3}}\mathit{R}{\rm{ + 0}}{\rm{.59}}\mathit{G}{\rm{ + 0}}{\rm{.11}}\mathit{B}。 $$ (1) 式(1)中:Gray为灰度值; R为红色分量; G为绿色分量; B为蓝色分量。
-
将RGB原图转换为灰度图后, 可自动分割。自动阈值分割采取OTSU法[5], 又名大津法, 是一种使类间方差最大的自动确定阈值的方法, 对于呈现双峰特点的灰度直方图尤其有效, 是一种常用的阈值选取方法。叶片实验表明, 该方法简洁、高效、精确, 对叶片图像的分割效果良好。
-
分割后生成的叶片图像二值图, 内部可能会存在孔洞, 外部出现杂点, 需进行二值图像孔洞填充、去杂点、膨胀、腐蚀等形态学处理。此过程可有效去除二值图的噪声, 而且不会明显改变叶片原先的轮廓。
灰度膨胀公式:
$$ \begin{array}{l} \left( {f \oplus B} \right)\left( {x, y} \right) = \\ \max \left\{ {f\left( {x-i, y-i} \right) + B\left( {i, j} \right)|\left( {x-i, y - i} \right) \in {D_f},\; \left( {i, j} \right) \in {D_B}} \right\}; \end{array} $$ (2) 灰度腐蚀公式:
$$ \begin{array}{l} \left( {f⊖ B} \right)\left( {x, y} \right) = \\ \min \left\{ {f\left( {x + i, y + i} \right) - B\left( {i, j} \right)|\left( {x + i, y + i} \right) \in {D_f},\; \left( {i, j} \right) \in {D_B}} \right\}。 \end{array} $$ (3) 式(2)和式(3)中:f⊕B为灰度膨胀函数; f⊖B为灰度腐蚀函数; f和f(x, y)代表输入图像; B和B(i, j)代表结构元素; x和y分别代表输入图像的横、纵坐标; i和j分别代表结构元素的横、纵坐标; Df和DB分别是输入图像和结构元素的定义域。图 4展示了银杏叶片图像分割的各个步骤。
-
分割出图像中的叶片后, 需要提取叶片的特征参数。本研究选用植物叶片的颜色、形状和纹理3种主要特征。同种植物的不同叶片往往具有不同的特征值, 因此计算结果取其平均值。
-
植物叶片的颜色很直观, 具有旋转、平移不变性, 但不同种类叶片的色相H和饱和度S会有较大差异。本研究采用HSI颜色模型中H和S分量表示叶片的颜色特征, 即分割后的H分量图像的色相均值和S分量图像的饱和度均值。H和S的转换如式(4):
$$ \left\{ \begin{array}{l} H = \left\{ \begin{array}{l} \theta \;\;\;\;\;\;\;\;\; ,B \le G\\ 360- \theta, \mathit{B} > \mathit{G} \end{array} \right\}\\ S = 1- \frac{3}{{\left( {R + G + B} \right)}}\left[{\min \left( {R, G, B} \right)} \right] \end{array} \right.。 $$ (4) 式(4)中: $\theta = \arccos \left\{ {\frac{{\left[{\left( {R-G} \right) + \left( {R-B} \right)} \right]/2}}{{{{\left[{{{\left( {R-G} \right)}^2} + \left( {R-G} \right)\left( {G-B} \right)} \right]}^{1/2}}}}} \right\}$; R, G, B分别表示红、绿、蓝分量。
-
植物识别的依据是叶片的形状特征[6]。形状是叶片最本质的特征, 具有移动、缩放不变的特性, 不同植物的叶片几乎有着完全不同的形状。同类叶片大小不一, 但相对形状一致。本研究采用了叶片的纵横轴比、矩形度、圆形度、形状参数等4种相对形状特征, 算式如下:
$$ {纵横轴比} = {长度}\left({最小包围盒}\right)/ {宽度}\left({最小包围盒}\right); $$ (5) $$ {矩形度} = {叶片面积}/ {最小包围盒面积}; $$ (6) $$ {圆形度} = \left(\rm{4π} × {叶片面积}\right)/ {{凸包周长}^2}; $$ (7) $$ {形状参数} = \left(\rm{4π} × {叶片面积}\right)/ {{叶片周长}^2}。 $$ (8) -
不同叶片表面的纹理在粗细、走向上都有很大差别。相比其他方法, 灰度共生矩阵(gray level co-occurrence matrix, GLCM)特征能够更好地突出图像的纹理信息, 被大量应用于将灰度值转化为纹理信息[7]。考虑到计算量与有效性, 选取了灰度共生矩阵中的能量、对比度、熵和局部平稳性等4种纹理特征:①能量f1, 反映了图像灰度分布均匀程度和纹理粗细度, 采用式(9)计算:
$$ {f_1} = \sum\limits_{i = 1}^N {\sum\limits_{j = 1}^N {p{{\left( {i, j} \right)}^2}} } 。 $$ (9) ② 对比度f2, 反映了图像的清晰度和纹理的沟纹的深浅, 采用式(10)计算:
$$ {f_2} = \sum\limits_{i = 1}^N {\sum\limits_{j = 1}^N {{{\left( {i-j} \right)}^2}} } p\left( {i, j} \right)。 $$ (10) ③ 熵f3, 度量了图像纹理的非均匀度, 采用式(11)计算:
$$ {f_3} =- \sum\limits_{i = 1}^N {\sum\limits_{j = 1}^N {p\left( {i, j} \right)} } {\log _2}\left[{p\left( {i, j} \right)} \right]。 $$ (11) ④ 局部平稳性f4, 度量了图像纹理的平坦度, 采用式(12)计算:
$$ {f_4} =-\sum\limits_{i = 1}^N {\sum\limits_{j = 1}^N {\frac{{p\left( {i, j} \right)}}{{1 + {{\left( {i-j} \right)}^2}}}} } 。 $$ (12) 式(9)~(12)中:i和j为像素点横、纵坐标值; N由叶片图像的范围确定; p(i, j)为像素点的灰度值。
-
运用公式提取出叶片的特征值, 并与植物属性数据一同存入数据库。表 3为每种叶片的各特征归一化后的数值, 它们为200个叶片的平均值。
表 3 每种植物叶片各特征的平均值
Table 3. List of mean values of features of each plant leaf
植物名称 H S 纵横轴比 矩形度 圆形度 形状参数 能量 对比度 熵 局部平稳性 山茶 0.27 0.43 0.48 0.68 0.47 0.45 0.77 0.38 0.44 0.90 玉兰 0.26 0.66 0.52 0.65 0.45 0.42 0.82 0.39 0.41 0.92 银杏 0.24 0.70 1.23 0.71 0.39 0.21 0.58 0.21 0.17 0.89 大叶黄杨 0.23 0.72 0.45 0.69 0.42 0.40 0.83 0.45 0.33 0.93 紫叶小檗 0.97 0.38 0.53 0.81 0.51 0.54 0.80 0.43 0.50 0.92 日本晚樱 0.24 0.63 0.46 0.68 0.46 0.39 0.85 0.52 0.29 0.95 绣球荚蒾 0.26 0.62 0.81 0.75 0.65 0.55 0.92 0.56 0.25 0.98 红叶石楠 0.04 0.69 0.35 0.67 0.43 0.41 0.65 0.22 0.16 0.88 -
支持向量机(support vector machines, SVM)是一种最常用的分类器。与人工神经网络分类方法相比, SVM分类方法在解决小样本、非线性及高维模式识别中优势突出[8]。
将每种叶片的3类特征作为SVM的训练特征, 进而得到SVM分类器。得到叶片的颜色、形状和纹理特征的向量后, 将这些特征作为分类方法的输入向量, 用于植物叶片的识别。
SVM的关键在于核函数, 低维空间向量集通常难以划分, 解决的方法是将它们映射到高维空间; 但这个办法带来的困难就是计算复杂度的增加, 而核函数正好巧妙地解决了这个问题。由于径向基核函数是非线性函数, 在SVM分类器训练过程中, 能有效减少计算复杂性。多数研究[9-11]都采取了SVM分类器并采用径向基核函数。因此本研究选择径向基函数作为分类器核函数, 定义为:
$$ K\left( {{x_i},x} \right) = \exp \left( {-\frac{{{{\left| {x-{x_i}} \right|}^2}}}{{2{\delta ^2}}}} \right)。 $$ (13) 式(13)中:K为径向基函数名; x为权向量; xi为样本集中第i个样本; δ核函数扩展常数; 该参数决定SVM分类器的预测能力。
-
每种植物选取100张叶片图像做训练, 100张作为测试数据, 经过实际试验, 得出了3个系统对于各观赏植物的平均识别率和所用时间(表 4)。由表 4可知:本系统尽管平均用时比形色和花伴侣更长, 但识别率最高, 更能适应校园师生对校园内观赏植物识别和文化获取的需求。前2个商业应用程序无法给出与本地校园有关的观赏植物文化信息。
表 4 各观赏植物识别应用程序的识别率和所用时间
Table 4. Recognition rate and time of various ornamental plants recognition APP
植物名称 识别率/% 用时/s 形色 花伴侣 本研究 形色 花伴侣 本研究 山茶 88 91 91 1.8 2.0 2.1 玉兰 81 85 87 1.9 1.8 3.0 银杏 94 78 97 2.2 2.4 2.6 大叶黄杨 88 90 93 1.6 2.7 3.2 紫叶小檗 93 85 96 2.4 1.9 2.1 日本晚樱 83 80 89 2.1 2.2 2.7 绣球荚蒾 78 88 87 1.5 2.5 2.3 红叶石楠 91 75 96 1.7 2.1 2.8 平均 87 84 92 1.9 2.2 2.6 -
本研究选取植物叶片的颜色、形状、纹理特征, 采用SVM分类器, 利用iOS和OpenCV技术开发了观赏植物识别系统, 基本满足了公众对植物识别的要求, 为校内观赏植物的精细化识别及人文信息展现提供了可能。但研究所选植物数量少, 还需扩充植物数量, 完善数据库。同时, 采用B/S架构, 建立观赏植物中心数据库, 将数据集中于后台服务器, 提高处理效率, 扩大应用范围。
iOS-based recognition of ornamental plants
-
摘要: 为了解决公众识别校园内观赏植物的问题,基于iOS操作系统设计了一款利用叶片识别观赏植物的应用程序(APP)。建立了本地SQLite数据库,存储叶片的特征数据及与校园文化相关的植物属性信息。系统运行流程:通过iPhone拍照获取植物的叶片图像,转化为灰度图后,运用OTSU法分割出叶片区域,再提取叶片的颜色、形状、纹理等10种特征,运用支持向量机(SVM)分类器识别叶片并在iPhone上展示相应的图片和文字信息。结果显示:所选8种实验观赏植物叶片的平均识别率为92%,平均用时2.6 s。该系统简单便捷,为校园观赏植物基于叶片的手机自动识别提供了实现方法,有助于发挥观赏植物在大学校园的科学价值和独特人文价值。Abstract: In order to help the public to recognize ornamental plants on the campus, an APP (application) used for recognition of ornamental plants by utilizing the laminas was designed based on the iOS operating system. The local SQLite database was established to store the feature data of the laminas and the attribute information of the plants related to campus culture. The images of the laminas of the plants were acquired by taking photos with iPhone, which were then converted to grey-scale maps. The OTSU method was utilized to segment regions for the laminas, and 10 features of the laminas such as color, shape and texture were extracted. The laminas were then recognized with the support vector machines (SVM) classifier, and corresponding image and text information were displayed on iPhone. According to research findings, the average recognition rate of laminas of the 8 selected ornamental plants was 92 per cent, with average recognition time of 2.6 s. The system is simple and convenient, providing a method for realizing automatic mobile recognition of campus ornamental plants based on laminas. In addition, it gives full play to scientific values and unique humanistic values of ornamental plants on the campus.
-
Key words:
- botany /
- information processing /
- iOS /
- leaf /
- feature extraction /
- image recognition
-
表 1 存储叶片的特征表
Table 1. Features
字段 类型 含义 ID integer 叶片编号 H_Value double 色相均值 S_Value double 饱和度均值 Shape1 double 纵横轴比 Shape2 double 矩形度 Shape3 double 圆形度 Shape4 double 形状参数 Texture1 double 能量 Texture2 double 对比度 Texture3 double 熵 Texture4 double 局部平稳性 表 2 人文及科学价值信息表
Table 2. Information
字段 类型 含义 ID integer 叶片编号 Picture blob 代表性图片 Name varchar 学名 LatinName varchar 拉丁名 EnglishName varchar 英文名 CampusCulture text 校园文化 Description text 植物概述 GuanShang text 观赏价值 YaoYong text 药用价值 DianGu text 相关典故 YuYi text 寓意 表 3 每种植物叶片各特征的平均值
Table 3. List of mean values of features of each plant leaf
植物名称 H S 纵横轴比 矩形度 圆形度 形状参数 能量 对比度 熵 局部平稳性 山茶 0.27 0.43 0.48 0.68 0.47 0.45 0.77 0.38 0.44 0.90 玉兰 0.26 0.66 0.52 0.65 0.45 0.42 0.82 0.39 0.41 0.92 银杏 0.24 0.70 1.23 0.71 0.39 0.21 0.58 0.21 0.17 0.89 大叶黄杨 0.23 0.72 0.45 0.69 0.42 0.40 0.83 0.45 0.33 0.93 紫叶小檗 0.97 0.38 0.53 0.81 0.51 0.54 0.80 0.43 0.50 0.92 日本晚樱 0.24 0.63 0.46 0.68 0.46 0.39 0.85 0.52 0.29 0.95 绣球荚蒾 0.26 0.62 0.81 0.75 0.65 0.55 0.92 0.56 0.25 0.98 红叶石楠 0.04 0.69 0.35 0.67 0.43 0.41 0.65 0.22 0.16 0.88 表 4 各观赏植物识别应用程序的识别率和所用时间
Table 4. Recognition rate and time of various ornamental plants recognition APP
植物名称 识别率/% 用时/s 形色 花伴侣 本研究 形色 花伴侣 本研究 山茶 88 91 91 1.8 2.0 2.1 玉兰 81 85 87 1.9 1.8 3.0 银杏 94 78 97 2.2 2.4 2.6 大叶黄杨 88 90 93 1.6 2.7 3.2 紫叶小檗 93 85 96 2.4 1.9 2.1 日本晚樱 83 80 89 2.1 2.2 2.7 绣球荚蒾 78 88 87 1.5 2.5 2.3 红叶石楠 91 75 96 1.7 2.1 2.8 平均 87 84 92 1.9 2.2 2.6 -
[1] 刘奕清.观赏植物[M].北京:化学工业出版社, 2009. [2] KUMAR N, BELHUMEUR P N, BISWAS A, et al. Leafsnap: a computer vision system for automatic plant species identification[C]//FITZGIBBON A, LAZEBNIK S, PERONA P, et al. European Conference on Computer Vision. Heidelberg Berlin: Springer, 2012: 502-516. [3] 陈芳, 张广群, 崔坤鹏, 等.嵌入式植物自动识别系统的设计与实现[J].浙江农林大学学报, 2013, 30(3):379-384. CHEN Fang, ZHANG Guangqun, CUI Kunpeng, et al. Design and implementation of an embedded automatic plant recognition system[J]. J Zhejiang A&F Univ, 2013, 30(3):379-384. [4] 张玉琢, 李柏依.植物远程快速识别的方法[J].计算机应用, 2016, 36(增刊2):206-209. ZHANG Yuzhuo, LI Boyi. Remote rapid recognition method for plants[J]. J Comput Appl, 2016, 36(suppl 2):206-209. [5] OTSU N. A threshold selection method from Gray-Level Histograms[J]. IEEE Trans Syst Man Cybern, 1979, 9(1):62-66. [6] 胡秋萍.基于叶片形状特征的植物识别技术研究[D].西安: 西安电子科技大学, 2014. HU Qiuping. The Study of Plant Identification Technology based on Leaves'Shape Features[D]. Xi'an: Xidian University, 2014. [7] 柴阿丽.基于计算机视觉和光谱分析技术的蔬菜叶部病害诊断研究[D].北京: 中国农业科学院, 2011. CHAI Ali. Study on Diagnosis of Vegetable Foliage Diseases based on Computer Vision and Spectral Analysis[D]. Beijing: Chinese Academy of Agricultural Sciences, 2011. [8] 王梅嘉, 何东健, 任嘉琛.基于Android平台的苹果叶病害远程识别系统[J].计算机工程与设计, 2015, 36(9):2585-2590. WANG Meijia, HE Dongjian, REN Jiachen. Remote recognition of apple leaf disease based on Android platform[J]. Comput Eng Des, 2015, 36(9):2585-2590. [9] 丁世飞, 齐丙娟, 谭红艳, 等.支持向量机理论与算法研究综述[J].电子科技大学学报, 2011, 40(1):2-10. DING Shifei, QI Bingjuan, TAN Hongyan, et al. An overview on theory and algorithm of support vector machines[J]. J Univ Electron Sci Technol China, 2011, 40(1):2-10. [10] 王丽君, 淮永建, 彭月橙.基于叶片图像多特征融合的观叶植物种类识别[J].北京林业大学学报, 2015, 37(1):55-61. WANG Lijun, HUAI Yongjian, PENG Yuecheng. Method of identification of foliage from plants based on extraction of multiple features of leaf images[J]. J Beijing For Univ, 2015, 37(1):55-61. [11] 李洋, 李岳阳, 罗海驰, 等.基于形状特征的植物叶片在线识别方法[J].计算机工程与应用, 2017, 53(2):162-165. LI Yang, LI Yueyang, LUO Haichi, et al. Online plant left recognition based on shape features[J]. Comput Eng Appl, 2017, 53(2):162-165. -
链接本文:
https://zlxb.zafu.edu.cn/article/doi/10.11833/j.issn.2095-0756.2018.05.015