植物学报

北方草地植物物种智能识别模型构建及应用

PDF下载

宣晶 ¹^,²^,^† , 付其迪 ¹^,^† , 谢淦 ¹^,²^,^† , 薛凯 ¹ , 雒海瑞 ¹^,² , 魏泽 ¹ , 赵明月 ¹ , 智亮 ¹ , 万华伟 ³ , 高吉喜 ³ , 李敏 ¹^,²^,^*

植物学报 | 技术方法 2025,60(1): 74-80

收起

植物学报 |技术方法 2025 , 60 (1) : 74 -80

北方草地植物物种智能识别模型构建及应用

全屏

宣晶¹^,²^,^†, 付其迪¹^,^†, 谢淦¹^,²^,^†, 薛凯¹, 雒海瑞¹^,², 魏泽¹, 赵明月¹, 智亮¹, 万华伟³, 高吉喜³, 李敏¹^,²^,^*

作者信息

¹中国科学院植物研究所, 大数据与AI生物多样性保护研究中心, 北京 100093

²国家植物园, 北京 100093

³生态环境部卫星环境应用中心, 北京 100094

通讯作者:

* 李敏, 高级工程师, 中国科学院植物研究所大数据与AI生物多样性保护研究中心副主任。致力于物种大数据与人工智能识别应用软件的研发。主持建设了中国植物图像库、iPlant 植物智——中国植物物种信息系统; 研发了“花伴侣”和“花伴侣专业版”等植物智能识别应用产品。拥有软件著作权登记多项。主编《植物星球》和《植物科学数据规范》等图书30余部。相关论文发表在The Innovation、Science Bulletin及Earth System Science Data等期刊。2015年被《中国科学报》评为十大科普人物, 2018年入选“中国科学院关键技术人才”, 2023年获聘中国科学院特聘研究岗位(骨干岗位)。E-mail: iplant@ibcas.ac.cn

作者简介:

^†共同第一作者

An Artificial Intelligence Model for Identifying Grassland Plants in Northern China

Jing Xuan¹^,², Qidi Fu¹, Gan Xie¹^,², Kai Xue¹, Hairui Luo¹^,², Ze Wei¹, Mingyue Zhao¹, Liang Zhi¹, Huawei Wan³, Jixi Gao³, Min Li¹^,²^,^*

Affiliations

¹Big Data and AI Biodiversity Conservation Research Center, Institute of Botany, Chinese Academy of Sciences, Beijing 100093, China

²China National Botanical Garden, Beijing 100093, China

³Satellite Application Center for Ecology and Environment, Ministry of Ecology and Environment, Beijing 100094, China

Corresponding Author:

* E-mail: iplant@ibcas.ac.cn

出版时间: 2025-01-10 doi: 10.11983/CBB24027

文章导航

摘要

收起

近年来, 大量植物图像智能识别相关应用软件被开发出来, 然而这些智能识别软件大多针对全国范围内的常见物种, 无法满足特定区域和特定植被类型的物种识别需求。该研究借助中国植物图像库中的图像数据集, 开发了一个人工智能模型, 用于识别内蒙古呼伦贝尔湿润草原和锡林浩特典型草原的优势和建群植物, 在实际野外测试中种级TOP5识别准确率达94.6%, 为实现特定区域植物物种智能识别提供了一种新方法。

关键词

草地植物 / 人工智能 / 图像识别 / 呼伦贝尔 / 锡林浩特

Abstract

收起

A large number of software applications for plant identification based on plant images have been developed in recent years. However, those applications are mostly used for identifying the common species countrywide, and thus cannot meet the needs of identifying region-specific vegetation types. In this study, we developed an artificial intelligence model for identifying the dominant plants in Hulunbeier and Xilinhot grassland in Inner Mongolia, based on the image datasets in the Plant Photo Bank of China. The Top5 accuracy of this model reaches 94.6% in the actual field identification tests. Our model provides a new method for the intelligent identification of the major plant species in a specific area.

Key words

grassland plants / artificial intelligence / image recognition / Hulunbeier / Xilinhot

引用本文

宣晶, 付其迪, 谢淦, 薛凯, 雒海瑞, 魏泽, 赵明月, 智亮, 万华伟, 高吉喜, 李敏. 北方草地植物物种智能识别模型构建及应用. 植物学报, 2025 , 60 (1) : 74 -80 . DOI: 10.11983/CBB24027

Jing Xuan, Qidi Fu, Gan Xie, Kai Xue, Hairui Luo, Ze Wei, Mingyue Zhao, Liang Zhi, Huawei Wan, Jixi Gao, Min Li. An Artificial Intelligence Model for Identifying Grassland Plants in Northern China[J]. Chinese Bulletin of Botany, 2025 , 60 (1) : 74 -80 . DOI: 10.11983/CBB24027

正文

收起

随着人工智能技术的发展以及设备和算法不断更新, 特别是深层卷积神经网络算法(LeCun et al., 2015; Szegedy et al., 2016a, 2016b)被应用于生物物种形态鉴定领域后, 植物图像智能识别技术表现出很高的准确性和实用性。不同研究者从植物个体到器官乃至细胞层面尝试开展智能识别相关工作(Grinblat et al., 2016; Ledford, 2017; Nguyen et al., 2018; Seeland et al., 2019)。

目前, 图像智能识别已逐步从理论走向实践。利用人工智能识别野外植物, 或通过众源采集的方式收集植物识别的相关数据, 已成为研究者和管理者进行植物调查、保护和管理的常规手段(Kumar et al., 2012; Cerutti et al., 2013)。中国科学院植物研究所2016年主持开发的花伴侣软件, 成功实现了中国约5 000种常见植物的智能识别, 2018年全球用户达到400余万(https://www.plantplus.cn/doi/10.12282/plantdata.0013), 软件下载量达1 300万, 累计识别数量超过2.5亿次。法国Pl@ntNet应用程序可识别近万种植物, 2018年在全球同样拥有约400万用户(Joly et al., 2018)。

由于获取高质量图像训练集比较困难, 目前可用的智能识别软件多针对全国范围内部分广布物种或常见物种开展智能识别。虽然可识别的物种数量和图片数据量大, 但是并不一定包含特定研究区域的优势种和建群种等重要植物, 因此难以满足对区域物种的识别需求(张勇辉等, 2023)。针对特定区域及特定生境, 定制化构建植物图像智能识别模型, 不仅花费的代价更小, 还可更好地满足区域植物识别需求。

本研究针对内蒙古呼伦贝尔湿润草原和锡林浩特典型草原构建智能识别模型, 开发出中国北方草地区域化植物物种的智能识别模型, 可为其它地区开展类似工作提供参考。

1 材料与方法

收起

1.1 研究区概况

呼伦贝尔实验地(118.930°E, 49.581°N)位于内蒙古呼伦贝尔市陈巴尔虎旗。当地年平均气温-2-0°C, 年平均降水量230-380 mm, 植被类型为湿润草原, 具体群系为羊草(Leymus chinense)和丛生禾草草原(needle grass steppe)。锡林浩特实验地(116.396°E, 44.191°N)位于锡林浩特市毛登牧场。当地年平均气温0.5-1°C, 平均年降水量350 mm, 植被类型为典型草原, 主要群系为大针茅草原(Stipa grandis steppe)。

1.2 野外调查及测试集构建

分别于2022年7月和8月在陈巴尔虎旗和毛登牧场进行野外调查。由植物分类专家先对调查队员进行植物拍摄现场培训。完成培训后, 由分类专家进行植物调查和记录, 调查队员借助相机或手机, 在样区内进行随机走访和拍摄。拍摄的植物图片由分类专家鉴定, 利用植物智网站的名称校正系统(https://www.iplant.cn/pnc)将所有物种按照中国植物物种名录(2023版)进行名称规范, 并汇总植物名单, 形成区域植物图片数据集, 作为智能识别模型的测试集。

1.3 北方草地重点植物名录建立

通过中国科学院植物科学数据中心中国植被图在线服务系统(doi:10.12282/plantdata.0155), 检索并整理呼伦贝尔和锡林浩特的优势种、建群种和指示性植物。按照中国植物物种名录(2023版)进行名称规范, 结合野外调查结果, 建立北方草地重点植物名录, 共计47科141属216种(附表1)。

1.4 图像识别模型训练集构建

根据北方草地重点植物名录, 基于中国植物图像库(Plant Photo Bank of China, http://ppbc.cn), 构建涵盖8.6万幅图片的北方草地重点植物图片数据集(附表1), 用于训练植物图像智能识别模型。

1.5 图像智能识别模型训练

基于深层卷积神经网络算法中的分支式神经网络, 利用训练集中的鉴定图片, 使用反向传播算法对每层神经网络中的计算单元进行训练, 以构建识别模型(LeCun et al., 2015; Szegedy et al., 2016a, 2016b)。具体流程见图1。

(1) 图片预处理。提取的训练集图片分辨率通常短边大于1 000像素, 需要通过双线性插值算法缩放到299像素。完成处理后, 所有图片以每1 024幅编为1组, 打包成一个顺序读取的记录文件, 供后续并行训练使用。

(2) 变换图片参数。为保证模型具有足够的健壮性, 在训练前对训练集图片进行参数随机变换, 如图片的切割、亮度和颜色的调整及长宽比变化, 以模拟实际拍照时发生的光照、对焦点和设备偏差等, 并适应不同的输入图片长宽比。

(3) 并行训练模型。使用中国科学院植物研究所公共技术中心人工智能GPU服务器(8× Nvidia P100)作为计算资源, 将预处理并编组、打包的训练集图片按顺序依次分配给8张GPU, 每个训练批次每张GPU获取32幅图片, 通过数据并行的方式对模型进行并行训练。将利用模型计算得到的分类结果(output value)与正确结果(ground truth)进行比较, 通过反向传播(back propagation)算法将二者的残差(residual)反馈给模型, 以对模型进行修正。

1.6 模型测试

将2次野外实际拍摄的智能识别模型测试集用于对216种草地植物识别模型(以下简称216种模型)进行识别准确率测试。作为对比, 使用能够识别全国15 000种植物的花伴侣专业版15K模型(http://www.iplant.cn/stu/15k)对测试集的图片进行识别, 并对2次测试的识别结果进行统计。

由于现行的图像识别均属于监督学习, 如遇到训练集数据库中没有出现过的类群, 机器会将其鉴定为另一个训练集含有且与被测试类群在某种程度上相似的类群。因此, 在测试时去除了名称不在模型训练集的物种图片, 仅统计物种名称在各识别模型训练集中的图片的识别准确率。

识别时, 模型对每幅图给出多个识别结果。在统计时, 模型给出的第1个识别结果标记为TOP1, 前5个识别结果标记为TOP5, 分别统计TOP1和TOP5的识别准确率。同时, 机器给出的识别结果均为直接鉴定到种级, 属级和科级的准确率由种级准确率统计而来。

2 结果与讨论

收起

2.1 植物图像采集

在两地野外调查过程中, 专家共发现30科72属106种植物, 其中, 呼伦贝尔样区有23科59属79种, 锡林浩特样区有30科61属93种。调查队员利用相机和手机共拍摄图片1 498幅。经过专家鉴定, 分属于31科68属90种(附表2)。专家实际调查获得的植物类群数量多于通过调查队员野外拍摄图片鉴定出的结果, 其原因可能是专家对相关植物及其可能的生境更为熟悉。

2.2 智能识别模型的识别结果

利用构建的216种模型对野外拍摄的图片进行识别, 以统计模型的识别准确率。对图片模型的种级识别准确率TOP1为85.2%, TOP5为94.6%; 属级识别准确率TOP1为90.6%, TOP5为95.9%; 科级识别准确率TOP1为94.0%, TOP5为97.0% (图2; 附表3)。

用此前研发的15K模型同样识别这1 498幅图片, 有6种不在15K模型可识别范围内。用15K模型识别剩余31科64属84种1 426幅植物图片的种级识别准确率TOP1为61.8%, TOP5为85.0%; 属级识别准确率TOP1为77.7%, TOP5为88.4%; 科级识别准确率TOP1为84.1%, TOP5为91.4% (图2; 附表3)。

2.3 讨论

本研究构建的216种模型识别准确率在同类识别软件中位居前列。目前, 虽然植物图像识别相关研究较多, 但是经过系统评测的不多。许展慧等(2020)选取国内8款常用的植物识别软件, 对来自干旱半干旱区、温带、热带和亚热带的400张植物图片进行图像识别测试能力对比评价, 发现国内各识别软件在识别草地植物时识别率最高仅为70%。Conference and Labs of the Evaluation Forum举办的植物图像识别赛中, 不同参赛者构建的智能识别模型在识别来自法国的75种植物时, 种级识别准确率为32%-84% (Joly et al., 2018)。北京林业大学在菊花品种智能识别方面开展了一系列研究, 分别基于24、103和213个菊花品种的图像开展深度学习训练, 构建了大花菊品种识别与分类的多信息模型, 该模型基于花器官的识别准确率为70%-90% (刘芷兰等, 2017; Liu et al., 2019; Zhang et al., 2021; Wang et al., 2022)。而我们用同样算法构建的15K模型及216种模型具有更高的识别准确率。

专注于特定区域、特定植被类型、可识别物种数量更少的模型识别准确率更高。一方面可能是由于15K模型规模太大, 出于效率考虑其单个物种的训练集图片数量最多为150张, 远少于216种模型, 导致机器对这些物种形态信息的学习不够充分。另一方面可能是每增加1个可识别的类群, 机器都需要将其与其它所有类群进行形态比对和区分。识别模型可识别的类群数量/模型的规模越小, 机器识别所需考虑的变量就越少、计算量越小, 识别精度也越高。然而, 15K模型和216种模型无论在可识别物种数量, 还是在单个物种训练集图片数量上均存在较大差别。模型可识别物种数量与识别准确率存在何种关系, 可能需要未来设计可识别物种数量呈梯度变化的一系列模型进行验证。

训练专注于特定区域的小模型, 可使智能识别模型更加实用。将216种模型和15K模型进行对比可知, 针对区域物种进行优化后, 虽然模型可识别的物种数量较少, 但是其区域覆盖度更高。可能的原因是, 当野外调查时间和调查区域固定后, 可观察到的植物类群也基本固定。这意味着在已有文献和数据的基础上, 专家只需进行有限次的野外调查, 补充完善区域的物种名单并进行模型迭代更新即可。这对于区域植物和植被的长期观测非常重要, 可极大减少工作量, 提升基层巡护人员等相关工作者的业务能力。

小模型还意味着模型的算法和对设备的要求更低。当前的算法是基于矩阵的方式, 以像素点为单位对植物图片上的形态信息进行提取和处理, 再根据提取的形态特征对植物进行区分和识别。机器学习单个物种的图片越多, 提取的形态特征越完整, 对物种的识别精度也越高。这种信息提取方式将带来极大的计算量, 且对物种的图片数量和设备的计算性能提出较高的要求。而可识别物种数量的大幅增加, 不仅造成计算量急速增多, 还可能对图片上的形态信息提出更高的要求。特别是要实现一些近缘物种的智能识别, 必然要求模型学习到更多、更细微的形态特征。但是图片能够记录的植物形态信息有限, 部分形态特征不一定能够被目前的拍照设备和技术捕捉到, 并且图片的清晰度还受限于设备、环境以及拍摄水平。无论是更多的图片, 还是更简洁的算法、更好的计算和拍照设备, 都意味着更大的投入。

综上所述, 组建大而全的智能识别模型固然重要, 但是因时、因地制宜, 定制特定区域、特定植被类型的小而精的模型, 用于小区域的植物识别, 也是将智能识别切实运用于野外科研的一种很好的方式。不同区域小模型之间的无缝对接和数据整合可能是下一步人工智能植物物种图像识别发展的方向。

考虑到野外实际使用场景, 本研究进一步开发了专门的手机应用程序(图3), 集成相关植物的形态图像库和野外识别手册等内容, 可实现离线查阅相关物种图片和信息以及离线智能识别, 并可在有网络时将拍摄图片和识别记录上传到云端, 进而集成到图像在线管理平台, 实现识图数据汇聚和在线管理。后续我们将进一步探索智能识别服务于科研实践的方向和可能性。

作者贡献声明

收起

李敏, 高吉喜, 万华伟: 构思并设计实验; 宣晶: 分析数据并提供技术支持, 撰写论文; 付其迪: 完成实验, 分析数据并提供技术支持; 谢淦: 完成实验, 撰写论文; 薛凯, 魏泽: 完成实验; 雒海瑞, 赵明月, 智亮: 分析数据并提供技术支持。

附表1 北方草地重点植物名录

Appendix table 1 The list of key grassland plants in Northern China

附表2 测试物种及图片数量

Appendix table 2 The number of test species and their images

附表3 216种草地植物识别模型和15K智能识别模型对野外拍摄草地植物的识别结果

Appendix table 3 The results of 216 species grassland plants intelligent recognition model and 15K intelligent recognition model in identifying grassland plants captured in the field

https://www.chinbullbotany.com/fileup/1674-3466/PDF/24-027-1.pdf

基金

收起

国家重点研发计划(2021YFB3901102)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

Cerutti

, Tougne

, Mille

, Vacavant

, Coquin

(2013). Understanding leaves in natural images—a model-based approach for tree species identification. Comput Vis Image Underst 117, 1482-1501.

[2]

Grinblat

, Uzal

, Larese

, Granitto

(2016). Deep learning for plant identification using vein morphological patterns. Comput Electron Agric 127, 418-424.

[3]

Joly

, Goëau

, Botella

, Glotin

, Bonnet

, Vellinga

, Planqué

, Müller

(2018). Overview of LifeCLEF 2018: a large-scale evaluation of species identification and recommendation algorithms in the era of AI. In: Bellot P, Trabelsi C, Mothe J, Murtagh F, Nie JY, Soulier L, SanJuan E, Cappellato L, Ferro N, eds. CLEF 2018: Experimental IR Meets Multilinguality, Multimodality, and Interaction. Cham: Springer. pp. 247-266.

[4]

Kumar

, Belhumeur

, Biswas

, Jacobs

, Kress

, Lopez

, Soares

JVB

(2012). Leafsnap: a computer vision system for automatic plant species identification. In:Fitzgibbon A, Lazebnik S, Perona P, Sato Y, Schmid C, eds. Computer Vision-ECCV 2012. Lecture Notes in Computer Science 7573. Berlin, Heidelberg: Springer. pp. 502-516.

[5]

LeCun

, Bengio

, Hinton

(2015). Deep learning. Nature 521, 436-444.

[6]

Ledford

(2017). Artificial intelligence identifies plant species for science. Nature doi: 10.1038/nature.2017.22442.

[7]

Liu

, Gao

, Tan

, Dai

, Song

(2017). Identification of chrysanthemum cultivars based on unfolding image with LBP texture feature. In: Advances in Ornamental Horticulture of China 2017. Chengdu: Ornamental Horticulture Professional Committee, Chinese Society for Horticultural Science, National Engineering Research Center for Floriculture. pp. 167-173. (in Chinese)

刘芷兰, 高康, 田野, 戴思兰, 宋雪彬 (2017). 基于展开图像LBP纹理的菊花品种识别. 见: 中国观赏园艺研究进展2017. 成都: 中国园艺学会观赏园艺专业委员会, 国家花卉工程技术研究中心. pp. 167-173.

[8]

Liu

, Wang

, Tian

, Dai

(2019). Deep learning for image-based large-flowered chrysanthemum cultivar recognition. Plant Methods 15, 146.

[9]

Nguyen

, Nguyen

, Sidorov

, Dreglea

(2018). Machine learning algorithms application to road defects classification. Intel Decis Technol 12, 59-66.

[10]

Seeland

, Rzanny

, Boho

, Wäldchen

, Mäder

(2019). Image-based classification of plant genus and family for trained and untrained plant species. BMC Bioinformatics 20, 4.

[11]

Szegedy

, Loffe

, Vanhoucke

, Alemi

(2016a). Inception-v4, inception-ResNet and the impact of residual connections on learning. In: Singh S, Markovitch S, eds. AAAI'17: Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence. San Francisco: AAAI Press. pp. 4278-4284.

[12]

Szegedy

, Vanhoucke

, Ioffe

, Shlens

, Wojna

(2016b). Rethinking the inception architecture for computer vision. In:Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE. pp. 2818-2826.

[13]

Wang

, Tian

, Zhang

, Liu

, Tian

, Dai

(2022). Multi-information model for large-flowered chrysanthemum cultivar recognition and classification. Front Plant Sci 13, 806711.

[14]

, Liu

, Zhao

, Tu

, Chang

, Zhang

, Guo

, Zheng

, Geng

, Gu

, Guo

, Wang

, Xu

, Peng

, Yang

, Cui

, Sun

, Zhang

, Liu

, Ba

, Wang

, Jia

, Wu

, Xiao

, Ma

(2020). Evaluation of the identification ability of eight commonly used plant identification application softwares in China. Biodivers Sci 28, 524-533. (in Chinese)

许展慧, 刘诗尧, 赵莹, 涂文琴, 常诏峰, 张恩涛, 郭靖, 郑迪, 耿鋆, 顾高营, 郭淳鹏, 郭璐璐, 王静, 徐春阳, 彭钏, 杨腾, 崔梦琪, 孙伟成, 张剑坛, 刘皓天, 巴超群, 王鹤琪, 贾竞超, 武金洲, 肖翠, 马克平 (2020). 国内8款常用植物识别软件的识别能力评价. 生物多样性 28, 524-533.

[15]

Zhang

, Tian

, Zhang

, Dai

, Hou

, Wang

, Guo

(2021). Metric learning for image-based flower cultivars identification. Plant Methods 17, 65.

[16]

Zhang

, Feng

, Liang

, Gao

, Huang

, Sun

, Wu

(2023). Introducing a grassland resource survey and intelligent analysis system. Pratacultural Science 40, 2171-2178. (in Chinese)

张勇辉, 冯琦胜, 梁天刚, 高新华, 黄晓东, 孙德伟, 吴安东 (2023). 草地资源调查与智能分析系统简介. 草业科学 40, 2171-2178.

2025年第60卷第1期

PDF下载

引用本文

BibTeX

文章信息

doi: 10.11983/CBB24027

接收时间：2024-02-23
首发时间：2026-10-27
出版时间：2025-01-10

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-02-23
录用日期：2024-06-21

基金

国家重点研发计划(2021YFB3901102)

作者信息

¹中国科学院植物研究所, 大数据与AI生物多样性保护研究中心, 北京 100093

²国家植物园, 北京 100093

³生态环境部卫星环境应用中心, 北京 100094

通讯作者:

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/zwxb/CN/10.11983/CBB24027

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT