-
观赏植物是专门培植来供观赏的植物, 一般都有美丽的花或者形态比较奇异[1]。在校园或公园等地会经常看到, 但普通的非专业人士一般不易识别。当前智能手机得到普及, 同时, 人们对辨识观赏植物有着浓厚的兴趣。通过手机拍摄, 并将识别相关信息在手机端展现, 将提高人们对观赏植物的欣赏能力。国内外学者通过叶片识别植物已做了不少研究, 并取得了一定的研究成果。2012年, 由华盛顿大学、哥伦比亚大学、马里兰大学和美国自然历史博物馆(即史密斯研究院)共同开发的手机应用“Leafsnap”可以通过树木叶片图像识别相应的树种, 即从复杂背景中分割出叶片图像, 然后提取叶脉轮廓线及其曲率, 最后从存有美国东北部184个树种的数据库中查询匹配[2]。陈芳等[3]开发了嵌入式植物自动识别系统, 通过提取叶片的形状特征实现了对校园内9种植物叶片的识别; 张玉琢等[4]设计了植物远程快速识别的方法, 通过网络上传叶片图像, 采用与叶片库中叶片进行图像对比的方式识别植物种类。当前最具有代表性的植物识别商业系统应用程序(application, APP)有形色、花伴侣、微软识花等。此类系统依托了庞大的植物数据库, 采用了人工智能识别技术。但其植物识别过程较粗放、不精细, 背后过于庞大的数据库反而容易误导, 导致识别结果不够准确。并且以上植物识别系统都无法将植物与本地文化相结合。本研究基于iOS系统, 采取精细化识别方法, 对传统的图像识别流程进行了优化。省去图像去噪处理, 筛选了颜色、形状、纹理特征中具有代表性的10种特征, 从而将识别时间控制在合理范围内, 提高了识别率, 加入了观赏植物的科学和人文属性, 充分发扬了本地校园内观赏植物的人文价值。
HTML
-
植物识别系统由数据库、图像预处理、特征提取、识别显示等组成。其中, 图像预处理、特征提取、图像分类是关键环节。研发流程如图 1所示。SQLite数据库用于存储叶片特征数据、植物属性信息; 在数据采集阶段, 采集观赏植物叶片样本以及结合了校园文化的植物属性信息; 然后用MATLAB软件处理采集到的叶片样本, 提取颜色、形状、纹理等特征, 与植物属性信息一同存入数据库; 最后采用OpenCV技术编写iOS程序, 实现系统功能。
如图 2所示:面对识别植物, 打开iPhone手机中的观赏植物识别APP, 正面拍摄植物叶片, 相关程序模块对获取的叶片图像进行分割, 提取叶片的颜色特征、形状特征、纹理特征, 并运用支持向量机(SVM)分类器识别叶片, 并从SQLite数据库中筛选出最具可能的植物并展示结果。
-
数据库是系统的核心内容, 需搭建SQLite数据库。系统的数据库由2个部分组成:特征(feature)表存储叶片的3种特征, 用于匹配和识别(表 1); 人文及科学价值信息(information)表用于储存校园文化、人文典故及科学价值等方面的信息, 从而将物种识别、科学普及、校园文化及人文典故有机结合, 真正起到了既识别物种又展示文化的效果(表 2)。
字段 类型 含义 ID integer 叶片编号 H_Value double 色相均值 S_Value double 饱和度均值 Shape1 double 纵横轴比 Shape2 double 矩形度 Shape3 double 圆形度 Shape4 double 形状参数 Texture1 double 能量 Texture2 double 对比度 Texture3 double 熵 Texture4 double 局部平稳性 Table 1. Features
字段 类型 含义 ID integer 叶片编号 Picture blob 代表性图片 Name varchar 学名 LatinName varchar 拉丁名 EnglishName varchar 英文名 CampusCulture text 校园文化 Description text 植物概述 GuanShang text 观赏价值 YaoYong text 药用价值 DianGu text 相关典故 YuYi text 寓意 Table 2. Information
1.1. 研发流程及系统示意
1.2. 数据库设计
-
分割出图像中的叶片后, 需要提取叶片的特征参数。本研究选用植物叶片的颜色、形状和纹理3种主要特征。同种植物的不同叶片往往具有不同的特征值, 因此计算结果取其平均值。
-
植物叶片的颜色很直观, 具有旋转、平移不变性, 但不同种类叶片的色相H和饱和度S会有较大差异。本研究采用HSI颜色模型中H和S分量表示叶片的颜色特征, 即分割后的H分量图像的色相均值和S分量图像的饱和度均值。H和S的转换如式(4):
式(4)中: $\theta = \arccos \left\{ {\frac{{\left[{\left( {R-G} \right) + \left( {R-B} \right)} \right]/2}}{{{{\left[{{{\left( {R-G} \right)}^2} + \left( {R-G} \right)\left( {G-B} \right)} \right]}^{1/2}}}}} \right\}$; R, G, B分别表示红、绿、蓝分量。
-
植物识别的依据是叶片的形状特征[6]。形状是叶片最本质的特征, 具有移动、缩放不变的特性, 不同植物的叶片几乎有着完全不同的形状。同类叶片大小不一, 但相对形状一致。本研究采用了叶片的纵横轴比、矩形度、圆形度、形状参数等4种相对形状特征, 算式如下:
-
不同叶片表面的纹理在粗细、走向上都有很大差别。相比其他方法, 灰度共生矩阵(gray level co-occurrence matrix, GLCM)特征能够更好地突出图像的纹理信息, 被大量应用于将灰度值转化为纹理信息[7]。考虑到计算量与有效性, 选取了灰度共生矩阵中的能量、对比度、熵和局部平稳性等4种纹理特征:①能量f1, 反映了图像灰度分布均匀程度和纹理粗细度, 采用式(9)计算:
② 对比度f2, 反映了图像的清晰度和纹理的沟纹的深浅, 采用式(10)计算:
③ 熵f3, 度量了图像纹理的非均匀度, 采用式(11)计算:
④ 局部平稳性f4, 度量了图像纹理的平坦度, 采用式(12)计算:
式(9)~(12)中:i和j为像素点横、纵坐标值; N由叶片图像的范围确定; p(i, j)为像素点的灰度值。
-
运用公式提取出叶片的特征值, 并与植物属性数据一同存入数据库。表 3为每种叶片的各特征归一化后的数值, 它们为200个叶片的平均值。
植物名称 H S 纵横轴比 矩形度 圆形度 形状参数 能量 对比度 熵 局部平稳性 山茶 0.27 0.43 0.48 0.68 0.47 0.45 0.77 0.38 0.44 0.90 玉兰 0.26 0.66 0.52 0.65 0.45 0.42 0.82 0.39 0.41 0.92 银杏 0.24 0.70 1.23 0.71 0.39 0.21 0.58 0.21 0.17 0.89 大叶黄杨 0.23 0.72 0.45 0.69 0.42 0.40 0.83 0.45 0.33 0.93 紫叶小檗 0.97 0.38 0.53 0.81 0.51 0.54 0.80 0.43 0.50 0.92 日本晚樱 0.24 0.63 0.46 0.68 0.46 0.39 0.85 0.52 0.29 0.95 绣球荚蒾 0.26 0.62 0.81 0.75 0.65 0.55 0.92 0.56 0.25 0.98 红叶石楠 0.04 0.69 0.35 0.67 0.43 0.41 0.65 0.22 0.16 0.88 Table 3. List of mean values of features of each plant leaf
4.1. 颜色特征
4.2. 形状特征
4.3. 纹理特征
4.4. 特征入库
-
每种植物选取100张叶片图像做训练, 100张作为测试数据, 经过实际试验, 得出了3个系统对于各观赏植物的平均识别率和所用时间(表 4)。由表 4可知:本系统尽管平均用时比形色和花伴侣更长, 但识别率最高, 更能适应校园师生对校园内观赏植物识别和文化获取的需求。前2个商业应用程序无法给出与本地校园有关的观赏植物文化信息。
植物名称 识别率/% 用时/s 形色 花伴侣 本研究 形色 花伴侣 本研究 山茶 88 91 91 1.8 2.0 2.1 玉兰 81 85 87 1.9 1.8 3.0 银杏 94 78 97 2.2 2.4 2.6 大叶黄杨 88 90 93 1.6 2.7 3.2 紫叶小檗 93 85 96 2.4 1.9 2.1 日本晚樱 83 80 89 2.1 2.2 2.7 绣球荚蒾 78 88 87 1.5 2.5 2.3 红叶石楠 91 75 96 1.7 2.1 2.8 平均 87 84 92 1.9 2.2 2.6 Table 4. Recognition rate and time of various ornamental plants recognition APP
-
本研究选取植物叶片的颜色、形状、纹理特征, 采用SVM分类器, 利用iOS和OpenCV技术开发了观赏植物识别系统, 基本满足了公众对植物识别的要求, 为校内观赏植物的精细化识别及人文信息展现提供了可能。但研究所选植物数量少, 还需扩充植物数量, 完善数据库。同时, 采用B/S架构, 建立观赏植物中心数据库, 将数据集中于后台服务器, 提高处理效率, 扩大应用范围。