留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于iOS系统的观赏植物识别

王礼 洪祖兵 方陆明 陈珣 吴超

王礼, 洪祖兵, 方陆明, 陈珣, 吴超. 基于iOS系统的观赏植物识别[J]. 浙江农林大学学报, 2018, 35(5): 900-907. doi: 10.11833/j.issn.2095-0756.2018.05.015
引用本文: 王礼, 洪祖兵, 方陆明, 陈珣, 吴超. 基于iOS系统的观赏植物识别[J]. 浙江农林大学学报, 2018, 35(5): 900-907. doi: 10.11833/j.issn.2095-0756.2018.05.015
WANG Li, HONG Zubing, FANG Luming, CHEN Xun, WU Chao. iOS-based recognition of ornamental plants[J]. Journal of Zhejiang A&F University, 2018, 35(5): 900-907. doi: 10.11833/j.issn.2095-0756.2018.05.015
Citation: WANG Li, HONG Zubing, FANG Luming, CHEN Xun, WU Chao. iOS-based recognition of ornamental plants[J]. Journal of Zhejiang A&F University, 2018, 35(5): 900-907. doi: 10.11833/j.issn.2095-0756.2018.05.015

基于iOS系统的观赏植物识别

doi: 10.11833/j.issn.2095-0756.2018.05.015
基金项目: 

浙江省科技厅重点研发计划资助项目 2018C02013

详细信息
    作者简介: 王礼, 从事林业信息技术研究。E-mail:wangli_top@163.com
    通信作者: 方陆明, 教授, 博士, 从事林业信息化、资源与环境信息系统、数据挖掘与建模等研究。E-mail:fluming@126.com
  • 中图分类号: S718.4

iOS-based recognition of ornamental plants

图(5) / 表(4)
计量
  • 文章访问数:  2535
  • HTML全文浏览量:  453
  • PDF下载量:  976
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-11-07
  • 修回日期:  2018-01-17
  • 刊出日期:  2018-10-20

基于iOS系统的观赏植物识别

doi: 10.11833/j.issn.2095-0756.2018.05.015
    基金项目:

    浙江省科技厅重点研发计划资助项目 2018C02013

    作者简介:

    王礼, 从事林业信息技术研究。E-mail:wangli_top@163.com

    通信作者: 方陆明, 教授, 博士, 从事林业信息化、资源与环境信息系统、数据挖掘与建模等研究。E-mail:fluming@126.com
  • 中图分类号: S718.4

摘要: 为了解决公众识别校园内观赏植物的问题,基于iOS操作系统设计了一款利用叶片识别观赏植物的应用程序(APP)。建立了本地SQLite数据库,存储叶片的特征数据及与校园文化相关的植物属性信息。系统运行流程:通过iPhone拍照获取植物的叶片图像,转化为灰度图后,运用OTSU法分割出叶片区域,再提取叶片的颜色、形状、纹理等10种特征,运用支持向量机(SVM)分类器识别叶片并在iPhone上展示相应的图片和文字信息。结果显示:所选8种实验观赏植物叶片的平均识别率为92%,平均用时2.6 s。该系统简单便捷,为校园观赏植物基于叶片的手机自动识别提供了实现方法,有助于发挥观赏植物在大学校园的科学价值和独特人文价值。

English Abstract

王礼, 洪祖兵, 方陆明, 陈珣, 吴超. 基于iOS系统的观赏植物识别[J]. 浙江农林大学学报, 2018, 35(5): 900-907. doi: 10.11833/j.issn.2095-0756.2018.05.015
引用本文: 王礼, 洪祖兵, 方陆明, 陈珣, 吴超. 基于iOS系统的观赏植物识别[J]. 浙江农林大学学报, 2018, 35(5): 900-907. doi: 10.11833/j.issn.2095-0756.2018.05.015
WANG Li, HONG Zubing, FANG Luming, CHEN Xun, WU Chao. iOS-based recognition of ornamental plants[J]. Journal of Zhejiang A&F University, 2018, 35(5): 900-907. doi: 10.11833/j.issn.2095-0756.2018.05.015
Citation: WANG Li, HONG Zubing, FANG Luming, CHEN Xun, WU Chao. iOS-based recognition of ornamental plants[J]. Journal of Zhejiang A&F University, 2018, 35(5): 900-907. doi: 10.11833/j.issn.2095-0756.2018.05.015
  • 观赏植物是专门培植来供观赏的植物, 一般都有美丽的花或者形态比较奇异[1]。在校园或公园等地会经常看到, 但普通的非专业人士一般不易识别。当前智能手机得到普及, 同时, 人们对辨识观赏植物有着浓厚的兴趣。通过手机拍摄, 并将识别相关信息在手机端展现, 将提高人们对观赏植物的欣赏能力。国内外学者通过叶片识别植物已做了不少研究, 并取得了一定的研究成果。2012年, 由华盛顿大学、哥伦比亚大学、马里兰大学和美国自然历史博物馆(即史密斯研究院)共同开发的手机应用“Leafsnap”可以通过树木叶片图像识别相应的树种, 即从复杂背景中分割出叶片图像, 然后提取叶脉轮廓线及其曲率, 最后从存有美国东北部184个树种的数据库中查询匹配[2]。陈芳等[3]开发了嵌入式植物自动识别系统, 通过提取叶片的形状特征实现了对校园内9种植物叶片的识别; 张玉琢等[4]设计了植物远程快速识别的方法, 通过网络上传叶片图像, 采用与叶片库中叶片进行图像对比的方式识别植物种类。当前最具有代表性的植物识别商业系统应用程序(application, APP)有形色、花伴侣、微软识花等。此类系统依托了庞大的植物数据库, 采用了人工智能识别技术。但其植物识别过程较粗放、不精细, 背后过于庞大的数据库反而容易误导, 导致识别结果不够准确。并且以上植物识别系统都无法将植物与本地文化相结合。本研究基于iOS系统, 采取精细化识别方法, 对传统的图像识别流程进行了优化。省去图像去噪处理, 筛选了颜色、形状、纹理特征中具有代表性的10种特征, 从而将识别时间控制在合理范围内, 提高了识别率, 加入了观赏植物的科学和人文属性, 充分发扬了本地校园内观赏植物的人文价值。

    • 植物识别系统由数据库、图像预处理、特征提取、识别显示等组成。其中, 图像预处理、特征提取、图像分类是关键环节。研发流程如图 1所示。SQLite数据库用于存储叶片特征数据、植物属性信息; 在数据采集阶段, 采集观赏植物叶片样本以及结合了校园文化的植物属性信息; 然后用MATLAB软件处理采集到的叶片样本, 提取颜色、形状、纹理等特征, 与植物属性信息一同存入数据库; 最后采用OpenCV技术编写iOS程序, 实现系统功能。

      图  1  系统研发流程图

      Figure 1.  Flow diagram of system research and development

      图 2所示:面对识别植物, 打开iPhone手机中的观赏植物识别APP, 正面拍摄植物叶片, 相关程序模块对获取的叶片图像进行分割, 提取叶片的颜色特征、形状特征、纹理特征, 并运用支持向量机(SVM)分类器识别叶片, 并从SQLite数据库中筛选出最具可能的植物并展示结果。

      图  2  系统示意及识别流程图

      Figure 2.  System schematic and recognition procedure diagrams

    • 数据库是系统的核心内容, 需搭建SQLite数据库。系统的数据库由2个部分组成:特征(feature)表存储叶片的3种特征, 用于匹配和识别(表 1); 人文及科学价值信息(information)表用于储存校园文化、人文典故及科学价值等方面的信息, 从而将物种识别、科学普及、校园文化及人文典故有机结合, 真正起到了既识别物种又展示文化的效果(表 2)。

      表 1  存储叶片的特征表

      Table 1.  Features

      字段 类型 含义
      ID integer 叶片编号
      H_Value double 色相均值
      S_Value double 饱和度均值
      Shape1 double 纵横轴比
      Shape2 double 矩形度
      Shape3 double 圆形度
      Shape4 double 形状参数
      Texture1 double 能量
      Texture2 double 对比度
      Texture3 double
      Texture4 double 局部平稳性

      表 2  人文及科学价值信息表

      Table 2.  Information

      字段 类型 含义
      ID integer 叶片编号
      Picture blob 代表性图片
      Name varchar 学名
      LatinName varchar 拉丁名
      EnglishName varchar 英文名
      CampusCulture text 校园文化
      Description text 植物概述
      GuanShang text 观赏价值
      YaoYong text 药用价值
      DianGu text 相关典故
      YuYi text 寓意
    • 数据库框架和表格设计完成后, 需选取观赏植物并采集叶片, 提取数据存入数据库。植物的选取需要兼顾普及率和观赏性。本研究选取了浙江农林大学校园内8种常见的观赏植物, 分别为山茶Camellia japonica, 玉兰Magnolia denudata, 银杏Ginkgo biloba, 大叶黄杨Euonymus japonicas, 紫叶小檗Berberis thunbergii var.atropurpurea, 日本晚樱Cerasus serrulata var.lannesiana, 绣球荚蒾Viburnum macrocephalum, 红叶石楠Photinia fraseri(图 3)。植物叶片的外观在不同时期存在一定差异, 对每种植物在不同时期采集共200张叶片。其中100张作为SVM分类器训练样本, 其余100张作为系统测试样本。

      图  3  选取的8种观赏植物叶片

      Figure 3.  Leaves of the 8 selected ornamental plants

      采集后带回实验室拍照获取图像。采用的拍照设备为1 200万像素的iPhone SE。使用MATLAB_R2014b图像处理软件分割叶片图像, 提取相关特征值, 存入特征表中; 查阅该植物的人文及科学价值信息, 存入信息表, 完成SQLite数据库建设。

    • 图像预处理的目的是获得图像中的叶片部分, 它会直接影响后续的特征提取与识别。主要由灰度转换、自动阈值分割和形态学处理3个环节构成。由于目前的iPhone手机拍照分辨率普遍较高, 成像清晰, 因此本研究未做图像去噪处理。

      本研究的原始图片都基于RGB颜色模型, 转换为灰度图后, 运用OTSU法将其分割, 得到二值图像; 通过形态学操作, 消除杂物、空洞填充、腐蚀、膨胀等, 得到形状精确的二值图, 进而得到分割后的叶片灰度图。

    • 叶片图像的分割首先要借助灰度图。本研究运用标准的灰度转换算法, 采用转换算式(1), 将RGB图像转换为灰度图。

      $$ {\mathit{G}_{{\rm{ray}}}}{\rm{ = 0}}{\rm{.3}}\mathit{R}{\rm{ + 0}}{\rm{.59}}\mathit{G}{\rm{ + 0}}{\rm{.11}}\mathit{B}。 $$ (1)

      式(1)中:Gray为灰度值; R为红色分量; G为绿色分量; B为蓝色分量。

    • 将RGB原图转换为灰度图后, 可自动分割。自动阈值分割采取OTSU法[5], 又名大津法, 是一种使类间方差最大的自动确定阈值的方法, 对于呈现双峰特点的灰度直方图尤其有效, 是一种常用的阈值选取方法。叶片实验表明, 该方法简洁、高效、精确, 对叶片图像的分割效果良好。

    • 分割后生成的叶片图像二值图, 内部可能会存在孔洞, 外部出现杂点, 需进行二值图像孔洞填充、去杂点、膨胀、腐蚀等形态学处理。此过程可有效去除二值图的噪声, 而且不会明显改变叶片原先的轮廓。

      灰度膨胀公式:

      $$ \begin{array}{l} \left( {f \oplus B} \right)\left( {x, y} \right) = \\ \max \left\{ {f\left( {x-i, y-i} \right) + B\left( {i, j} \right)|\left( {x-i, y - i} \right) \in {D_f},\; \left( {i, j} \right) \in {D_B}} \right\}; \end{array} $$ (2)

      灰度腐蚀公式:

      $$ \begin{array}{l} \left( {f⊖ B} \right)\left( {x, y} \right) = \\ \min \left\{ {f\left( {x + i, y + i} \right) - B\left( {i, j} \right)|\left( {x + i, y + i} \right) \in {D_f},\; \left( {i, j} \right) \in {D_B}} \right\}。 \end{array} $$ (3)

      式(2)和式(3)中:fB为灰度膨胀函数; fB为灰度腐蚀函数; ff(x, y)代表输入图像; BB(i, j)代表结构元素; xy分别代表输入图像的横、纵坐标; ij分别代表结构元素的横、纵坐标; DfDB分别是输入图像和结构元素的定义域。图 4展示了银杏叶片图像分割的各个步骤。

      图  4  叶片图像分割各步骤示例

      Figure 4.  Examples on procedures for leaf image segmentation

    • 分割出图像中的叶片后, 需要提取叶片的特征参数。本研究选用植物叶片的颜色、形状和纹理3种主要特征。同种植物的不同叶片往往具有不同的特征值, 因此计算结果取其平均值。

    • 植物叶片的颜色很直观, 具有旋转、平移不变性, 但不同种类叶片的色相H和饱和度S会有较大差异。本研究采用HSI颜色模型中HS分量表示叶片的颜色特征, 即分割后的H分量图像的色相均值和S分量图像的饱和度均值。HS的转换如式(4):

      $$ \left\{ \begin{array}{l} H = \left\{ \begin{array}{l} \theta \;\;\;\;\;\;\;\;\; ,B \le G\\ 360- \theta, \mathit{B} > \mathit{G} \end{array} \right\}\\ S = 1- \frac{3}{{\left( {R + G + B} \right)}}\left[{\min \left( {R, G, B} \right)} \right] \end{array} \right.。 $$ (4)

      式(4)中: $\theta = \arccos \left\{ {\frac{{\left[{\left( {R-G} \right) + \left( {R-B} \right)} \right]/2}}{{{{\left[{{{\left( {R-G} \right)}^2} + \left( {R-G} \right)\left( {G-B} \right)} \right]}^{1/2}}}}} \right\}$; R, G, B分别表示红、绿、蓝分量。

    • 植物识别的依据是叶片的形状特征[6]。形状是叶片最本质的特征, 具有移动、缩放不变的特性, 不同植物的叶片几乎有着完全不同的形状。同类叶片大小不一, 但相对形状一致。本研究采用了叶片的纵横轴比、矩形度、圆形度、形状参数等4种相对形状特征, 算式如下:

      $$ {纵横轴比} = {长度}\left({最小包围盒}\right)/ {宽度}\left({最小包围盒}\right); $$ (5)
      $$ {矩形度} = {叶片面积}/ {最小包围盒面积}; $$ (6)
      $$ {圆形度} = \left(\rm{4π} × {叶片面积}\right)/ {{凸包周长}^2}; $$ (7)
      $$ {形状参数} = \left(\rm{4π} × {叶片面积}\right)/ {{叶片周长}^2}。 $$ (8)
    • 不同叶片表面的纹理在粗细、走向上都有很大差别。相比其他方法, 灰度共生矩阵(gray level co-occurrence matrix, GLCM)特征能够更好地突出图像的纹理信息, 被大量应用于将灰度值转化为纹理信息[7]。考虑到计算量与有效性, 选取了灰度共生矩阵中的能量、对比度、熵和局部平稳性等4种纹理特征:①能量f1, 反映了图像灰度分布均匀程度和纹理粗细度, 采用式(9)计算:

      $$ {f_1} = \sum\limits_{i = 1}^N {\sum\limits_{j = 1}^N {p{{\left( {i, j} \right)}^2}} } 。 $$ (9)

      ② 对比度f2, 反映了图像的清晰度和纹理的沟纹的深浅, 采用式(10)计算:

      $$ {f_2} = \sum\limits_{i = 1}^N {\sum\limits_{j = 1}^N {{{\left( {i-j} \right)}^2}} } p\left( {i, j} \right)。 $$ (10)

      ③ 熵f3, 度量了图像纹理的非均匀度, 采用式(11)计算:

      $$ {f_3} =- \sum\limits_{i = 1}^N {\sum\limits_{j = 1}^N {p\left( {i, j} \right)} } {\log _2}\left[{p\left( {i, j} \right)} \right]。 $$ (11)

      ④ 局部平稳性f4, 度量了图像纹理的平坦度, 采用式(12)计算:

      $$ {f_4} =-\sum\limits_{i = 1}^N {\sum\limits_{j = 1}^N {\frac{{p\left( {i, j} \right)}}{{1 + {{\left( {i-j} \right)}^2}}}} } 。 $$ (12)

      式(9)~(12)中:ij为像素点横、纵坐标值; N由叶片图像的范围确定; p(i, j)为像素点的灰度值。

    • 运用公式提取出叶片的特征值, 并与植物属性数据一同存入数据库。表 3为每种叶片的各特征归一化后的数值, 它们为200个叶片的平均值。

      表 3  每种植物叶片各特征的平均值

      Table 3.  List of mean values of features of each plant leaf

      植物名称 H S 纵横轴比 矩形度 圆形度 形状参数 能量 对比度 局部平稳性
      山茶 0.27 0.43 0.48 0.68 0.47 0.45 0.77 0.38 0.44 0.90
      玉兰 0.26 0.66 0.52 0.65 0.45 0.42 0.82 0.39 0.41 0.92
      银杏 0.24 0.70 1.23 0.71 0.39 0.21 0.58 0.21 0.17 0.89
      大叶黄杨 0.23 0.72 0.45 0.69 0.42 0.40 0.83 0.45 0.33 0.93
      紫叶小檗 0.97 0.38 0.53 0.81 0.51 0.54 0.80 0.43 0.50 0.92
      日本晚樱 0.24 0.63 0.46 0.68 0.46 0.39 0.85 0.52 0.29 0.95
      绣球荚蒾 0.26 0.62 0.81 0.75 0.65 0.55 0.92 0.56 0.25 0.98
      红叶石楠 0.04 0.69 0.35 0.67 0.43 0.41 0.65 0.22 0.16 0.88
    • 支持向量机(support vector machines, SVM)是一种最常用的分类器。与人工神经网络分类方法相比, SVM分类方法在解决小样本、非线性及高维模式识别中优势突出[8]

      将每种叶片的3类特征作为SVM的训练特征, 进而得到SVM分类器。得到叶片的颜色、形状和纹理特征的向量后, 将这些特征作为分类方法的输入向量, 用于植物叶片的识别。

      SVM的关键在于核函数, 低维空间向量集通常难以划分, 解决的方法是将它们映射到高维空间; 但这个办法带来的困难就是计算复杂度的增加, 而核函数正好巧妙地解决了这个问题。由于径向基核函数是非线性函数, 在SVM分类器训练过程中, 能有效减少计算复杂性。多数研究[9-11]都采取了SVM分类器并采用径向基核函数。因此本研究选择径向基函数作为分类器核函数, 定义为:

      $$ K\left( {{x_i},x} \right) = \exp \left( {-\frac{{{{\left| {x-{x_i}} \right|}^2}}}{{2{\delta ^2}}}} \right)。 $$ (13)

      式(13)中:K为径向基函数名; x为权向量; xi为样本集中第i个样本; δ核函数扩展常数; 该参数决定SVM分类器的预测能力。

    • 系统开发基于macOS操作系统, SQLite数据库, Xcode 8.0开发环境, 采用Swift 3.0语言和OpenCV技术。

      图 5为系统运行的界面。设计了3个Tab按钮, 分别为“浏览”“识别”“详情”。用户可在3个按钮之间自由切换。“浏览”界面为观赏植物列表, 点击选择某种观赏植物叶片, 程序会自动跳转到“详情”界面, 可查看该植物的校园文化、典故等信息, 并展现文字和四季图片。识别时, 点击中间的“识别”按钮, 然后将取景框对准叶片, 点击“拍照”按钮(或点击“相册”按钮直接从相册中获取图片), 等待2 s左右, 识别结果以图文形式在“详情”界面上显示。

      图  5  系统界面及功能展示

      Figure 5.  System interface and function exhibition

      图 5E5F为银杏叶片的识别结果, 展示了浙江农林大学校园内银杏大道一年四季的景色, 体现了深厚的文化内涵。

    • 每种植物选取100张叶片图像做训练, 100张作为测试数据, 经过实际试验, 得出了3个系统对于各观赏植物的平均识别率和所用时间(表 4)。由表 4可知:本系统尽管平均用时比形色和花伴侣更长, 但识别率最高, 更能适应校园师生对校园内观赏植物识别和文化获取的需求。前2个商业应用程序无法给出与本地校园有关的观赏植物文化信息。

      表 4  各观赏植物识别应用程序的识别率和所用时间

      Table 4.  Recognition rate and time of various ornamental plants recognition APP

      植物名称 识别率/% 用时/s
      形色 花伴侣 本研究 形色 花伴侣 本研究
      山茶 88 91 91 1.8 2.0 2.1
      玉兰 81 85 87 1.9 1.8 3.0
      银杏 94 78 97 2.2 2.4 2.6
      大叶黄杨 88 90 93 1.6 2.7 3.2
      紫叶小檗 93 85 96 2.4 1.9 2.1
      日本晚樱 83 80 89 2.1 2.2 2.7
      绣球荚蒾 78 88 87 1.5 2.5 2.3
      红叶石楠 91 75 96 1.7 2.1 2.8
      平均 87 84 92 1.9 2.2 2.6
    • 本研究选取植物叶片的颜色、形状、纹理特征, 采用SVM分类器, 利用iOS和OpenCV技术开发了观赏植物识别系统, 基本满足了公众对植物识别的要求, 为校内观赏植物的精细化识别及人文信息展现提供了可能。但研究所选植物数量少, 还需扩充植物数量, 完善数据库。同时, 采用B/S架构, 建立观赏植物中心数据库, 将数据集中于后台服务器, 提高处理效率, 扩大应用范围。

参考文献 (11)

目录

    /

    返回文章
    返回