第 37 卷 第 3 期 广东工业大学学报 Vol. 37 No.

3
2020 年 5 月 Journal of Guangdong University of Technology May 2020

doi: 10.12052/gdutxb.190157

基于Inception与Residual组合网络的
农作物病虫害识别
冯 广，孔立斌，石鸣鸣，贺敏慧，何雅萱
（广东工业大学 自动化学院，广东 广州 510006）

摘要: 针对我国农作物病虫害识别方法中存在的速度慢、主观性强、所需专业知识要求高以及识别成本高等问题, 提
出一种基于Inception与Residual结构组合的Inception-resnet-v2网络模型的农作物病虫害识别方法, 以实现精准高效的农
作物病虫害识别。网络使用residual结构, 采用跨层连接方式将低层特征与高层特征进行组合学习以增加网络深度。
同时加入了Inception结构, 既能保持网络结构的稀疏性, 又能利用密集矩阵的高计算性能, 加快了训练速度。最后通过
Softmax分类器进行多分类预测。与传统方法相比, 本文方法收敛速度更快, 不仅准确率达到96.67%、精确度达到
90.77%、召回率达到89.72%, 还使病虫害识别的不同类别更加均衡, 改善了传统方法中对特定类别识别效果差的问题。
关键词: 农作物病虫害识别；Inception结构；Residual结构；Inception-resnetl-v2；Softmax分类器
中图分类号: TP391.41 文献标志码: A 文章编号: 1007–7162(2020)03–0017–06

Crop Pest Recognition Based on Inception and

Residual Combined Network
Feng Guang, Kong Li-bin, Shi Ming-ming, He Min-hui, He Ya-xuan
(School of Automation, Guangdong University of Technology, Guangzhou 510006, China)

Abstract: Aiming at the problems of slow speed, subjectivity, high requirement of professional knowledge and
high recognition cost in the identification methods of crop pests and diseases in China, a crop pest and disease
identification method is proposed based on Inception-resnet-v2 network model combining Inception and Residual
structure. To achieve accurate and efficient crop pest identification, the network uses a residual structure to combine
low-level features with high-level features to increase network depth. At the same time, the Inception structure is
added, which not only maintains the sparsity of the network structure, but also utilizes the high computational
performance of the dense matrix to speed up the training. Finally, the multi-class prediction is performed by the
Softmax classifier. Compared with the traditional method, the proposed method converges faster, not only with an
accuracy rate of 96.67%, but also with an accuracy of 90.77% and a recall rate of 89.72%. It also makes the
different categories of pest and disease identification more balanced, improving the specific methods in the
traditional methods, by which the recognition effect is poor.
Key words: crop pest recognition; Inception structure; Residual structure; Inception-resnetl-v2; Softmax classifier

农业病虫害问题是我国主要的农业自然灾害之 解决该问题，赵国华等 [ 1 ] 利用进阶精简指令集机

一，具有种类繁多、影响大且时常爆发成灾的特点。 (Advanced RISC Machine，ARM)对农作物病虫害的
目前的农作物病虫害识别手段主要是人工识别或计 识别系统构建进行研究，该方法通过图像扫描提取
算机辅助识别，但由于病虫害的种类繁多、识别起来 图像的数字化特征，然后遍历数据库，通过K-
速度慢、错误率高，而且对专业知识要求高，现有的 means聚类计算特征相似度来输出相似度最高的病
病虫害识别手段越来越离不开计算机的辅助。为了 虫害种类。这种方法存在识别精度低和识别速度慢

收稿日期：2019-12-17
基金项目：国家自然科学基金资助项目(70971027)
作者简介：冯广(1973–)，男，高级工程师，博士，主要研究方向为网络控制、机器学习、大数据
18 广 东 工 业 大 学 学 报
的问题。柴帅等 [ 2 ] 利用深度卷积神经网络(Deep
convolutional neural network，DCNN)实现番茄叶片的
病虫害识别，通过构建VGG-19网络缓和了识别番茄
叶片病虫害时出现的过拟合现象，提取特征后利用
支持向量机进行分类，进一步提高了识别准确率。但
该方法存在对一些特定类别的识别率低的问题。孙
军[3]用目标识别的方式来对茶树病虫害进行识别，通
过基于目标分割算法实现目标位置锁定，确定阈值
调整目标位置的图像比例尺寸，再对目标属类进行
划分，效果优于普通的卷积神经网络(Convolutional
Neural Network，CNN)模型。但均匀的密集采样的一
个重要缺点是训练比较困难，因为正样本与负样本
(背景)极其不均衡，导致模型准确度稍低。因此，设计
出训练速度快、识别准确率高和分类效果好的农作
物病虫害识别算法是急需解决的问题，对于改善种
植环境、提高粮食产量以及推动我国精准农业的发
展都具有重要意义。
当前的计算机视觉任务主要采用深度学习的方
法，在图像识别和分类任务上都取得了较好的效果。
2012年ImageNet竞赛冠军获得者Hinton和他的学生
Alex Krizhevsky[4]设计的AlexNet是深度学习用于图
像分类的一个划时代算法。与传统的人工特征方法
的图像分类相比，AlexNet使得分类的准确率大幅度
提升。Szegedy等[5]另辟蹊径，用回归的方法解决目标
识别问题，将深度卷积网络作为特征提取器，然后回
归出目标的种类。Dumitru Erhan等[6]将感兴趣的区域
信息包装成边界框，然后给出每个边界框的信息进
行回归训练，利用深度卷积网络进行回归预测。为了
解决输入图像尺寸限制问题，He等[7]提出一种空间
金字塔池化(Spatial Pyramid Pooling，SPP)方法，可以
把不同尺寸的输入图像映射到一个固定尺寸的特征
向量上，提高了识别速率。以上方法均需要提取候选
区域，这一步是与识别无关的耗时步骤，为了避免候
选区域的提取耗时过多，一种端到端的识别方法陆
续提出。Cirshick等[8]提出一种端到端的快速区域卷
积神经网络，将整个图像归一化后直接送入CNN网
络，卷积层不进行候选区的特征提取，而是在最后一
个池化层加入候选区域坐标信息，进行特征提取的
计算，加快了识别速率。Liu等[9]提出一种单点多盒探
测器的方法，把不同卷积核用于不同的宽高比进行
识别，然后将特征图用于网络高层的多个特征映射
当中，采用多尺度特征映射用于识别。而面对农作物
病虫害的识别任务中，当新增种类时便需要模型迁
移训练，这就要求模型的训练速度要快。同时对于类
第 37 卷
别较多的问题，需要一种更有效的特征提取网络以
及更有效的多分类器。
针对上述问题，本文提出一种基于深度学习的
InceptionNet网络的Inception结构和ResNet网络的
Residual结构组合的Inception-resnetl-v2网络以及
softmax分类器的农作物病虫识别方法，改善了传统
深度学习中的普通卷积结构训练慢、容易过拟合以
及分类效果差的问题，实现更精准高效的农作物病
虫害识别。最后通过实验对比传统深度学习算法，验
证了本文方法的有效性。
1 病虫害图像识别原理
随着精准农业的兴起，运用信息技术辅助农业
生产为农作物病虫害的识别提供了新思路，图像处
理技术就是其中之一[10]。一种高效的农作物病虫害
识别算法不仅能有效提取病虫害的特征，还能均衡
区分不同类别。传统的图像分类算法大多采用普通
CNN或DCNN提取图像特征，然后使用支持向量机
(Support Vector Machine，SVM)进行多个二分类。与
人工特征方法相比，取得了一定的效果。但是存在过
拟合导致特征提取效果差和模型训练成本高的问
题，有较大的改进空间。本文以Inception结构和
Residual结构组合的Inception-resnetl-v2网络和
Softmax分类器构建了一种用于多分类的农作物病
虫害识别算法，达到准确识别和分类的均衡化。所提
出的农作物病虫害识别算法中，利用特征提取网络
(Inception-resnet-v2)以及Softmax分类器是实现农作
物病虫害识别算法的关键环节，识别流程如图1所示。
输入原始图片
预处理
Inception-ResNet-v2预处理
目标的特征图模型
特征图展开成一维向量
Softmax算法
输出病虫害检测结果
图 1 农作物病虫害识别流程
Fig.1 Crop pest and disease identification process
第3期 冯广，等：基于Inception与Residual组合网络的农作物病虫害识别 19

2 病虫害图像特征提取网络 ReLu激活

提取农作物病虫害图像的特征以及学习相应的 +
1×1卷积
(384维输出)
图像模式是农作物病虫害算法实现敏感识别和精准
1×1卷积
分类的关键。为了可以提取更高级的病虫害深度特 (64)

征表达，产生更多不同的特征组合学习得到病虫害 3×3卷积 1×1卷积 ×5

(32) (48)
特征映射，本文构建了病虫害深度特征提取网络，网
络结构采用了Szegedy等[11]提出的Inception结构，在 1×1卷积 1×1卷积 1×1卷积
(32) (32) (32)
性能不降低的前提下降低参数数量，加快训练速度。
Inception-resnet-A
同时采用了残差网络的连接思想，引入了He等[12]提 ReLu激活
出的Residual结构，在保证网络结构很深的情况下仍
能收敛。农作物病虫害特征提取网络如图2所示。
网络包含3种Inception-resnet块，3种网络块区别 平均池化

在于Inception结构卷积核的大小和数量不同。对于
Softmax
Inception-resnet-A块，首先输入上一个深度网络层输 降维
出的病虫害特征映射，Inception结构有3路卷积通道， 降维

分别提取出尺寸相同通道数不同的特征映射进行堆
叠，然后对堆叠后的特征映射进行卷积得到Inception
结构的输出特征，通过残差连接与输入特征映射相
ReLu激活
加，最后通过激活函数得到这个块提取的病虫害更 ReLu激活
高级的特征映射。以水稻稻瘟病为例，通过Inception- +
resnet-A块把纹枯病的低级特征映射高度抽象得到 1×1卷积 +
(896维输出) 1×1卷积
高级特征映射如图3所示。网络的特征提取核心结构 (1 792维输出)

由Inception-resnet-A/B/C块组成，该结构由一系列卷 7×1卷积
(128) 3×1卷积
积和残差连接实现，公式为 (192)
( ( ) ) 1×1卷积 1×7卷积
×10
xb = f hk xb−1 + xb−1 , k = A, B,C (1) (128) (128) 1×1卷积 1×3卷积
(192) (192)
×5

m  1×1卷积
∑ 
l
(128) 1×1卷积
Anl = f  i ∗ Wn + bn 
Al−1 l 
 (2) (192)

i=1
ReLu激活 ReLu激活
其中， xb表示第b个Incepption-resnet块输出的特征映
Inception-resnet-B Inception-resnet-C
射；hk (x) 表示Inception-resnet-K块提取的特征映射。
图 2 病虫害特征提取网络
Aln 是第l 层卷积网络的第n个输出特征映射；函数 f 为
Fig.2 Pest and disease feature extraction network
i 为第l − 1层卷积网络的第i 个输出特征
激活函数； Al−1
映射；Wnl 为第l 层卷积网络的第n个卷积核权重；参数 3 病虫害识别过程
bln是第l 层卷积网络的第n个特征映射的偏置。
对原始图像进行亮度归一化[13]预处理后，输入
通过Inception-resnet结构提取的病虫害高级特
到Inception-resnet-v2网络对农作物病虫害图像采用
征，存在邻域大小受限造成的估计值方差增大，为了
端到端的方式直接提取从低级到高级的特征，得到
缩小该误差，使用平均值池化卷积层输出的病虫害
特征映射后再通过平均池化层进行池化，池化输出
特征映射。池化特征映射表达式为
( ) 后将特征映射进行一维展开得到相应的特征向量，
fu,v = Avg Srn{i+(u−1)×d, j+(v−1)×d} (3) 最后将特征向量通过分类器进行农作物病虫害分类。
其中，i 和 j 表示卷积网络的池化核的维度；Srn 表示经 由于农作物病虫害种类多，而且类别之间相似
过Inception-resnet块运算得到的第n个病虫害特征映 度较高，容易造成误分类。本文选用多类别分类的
射，d 表示池化步长； fu,v 表示池化后得到的特征，参 Softmax分类器，它是由逻辑回归分类器的基础发展
数u 和v 是特征维度。 而来，能够一次完成对多个类别的分类任务。
 20 广 东 工 业 大 学 学 报 第 37 卷

∑
c θ j x(i)
其中， e 对概率值进行归一化，使得所有概率之
j=1
和为1；θ j 维度为1 × 1 536，是Softmax分类器的第 j 个
输入节点权重，同时使用θ 表示全部参数，该矩阵是
将θ1 , θ2 , · · · , θc 按行排列得到，维度为c × 1 536 ，θ 可表
示为θ = [θ1 , θ2 , · · · , θc ]。
Softmax分类器的损失函数是对函数中类别标
记的c 个概率值进行累加，公式为
 
 
1 ∑ 
m ∑


c


L(θ) = − 
 1(y(i)
= j) ln(P(y (i)
= j|x(i)
; θ))
 (5)
m
 i=1 j=1 


其中，1(·) ∈ {0, 1}为示性函数；m表示样本数；c 表示类

别数；i 表示第i 个样本， j 表示第 j 个类别。

(a) 低级特征映射
4 实验与分析
4.1 农作物病虫害数据集
本文实验采用的数据集来源于农业病虫害研究
图像数据库(Image Database for Agricultural Diseases
and Pests Research，IDADP)[14]，IDADP包含大量的水
稻、小麦、玉米等作物病害图像资源，每种病害有几
百乃至上千幅图片，其原始图片分辨率达到2 000万
像素，建立了一个可为机器学习建模提供训练和测
试样本的农作物病虫害识别研究图像数据集。本文
选取水稻和小麦作为研究对象，每个研究对象各选
取3种常见的病虫害类别，共6个类别，分别水稻白叶
枯病、水稻胡麻斑病、水稻稻瘟病、小麦白粉病、小麦
赤霉病、小麦叶锈病，其中水稻每个类别600张图片，
小麦每个类别400张图片，共计3 000张图片用于训练
加验证，另外有单独300张用于测试。每一张样本图
片分辨率为3 000×2 000×3。部分样本示例如图4
(b) 高级特征映射 所示。
图 3 水稻稻瘟病低级特征到高级特征
Fig.3 Low-grade to advanced features of rice blast

经过特征提取网络提取后输出的第i 个样本特
征向量 x(i) ，向量表示为1 536 × 1。本文将病虫害特征 水稻纹枯病 水稻胡麻斑病 水稻稻瘟病

向量 x(i) 与病虫害图片标签值作为Softmax分类器的
输入，分别表示为{x(1) , x(2) , · · · , x(m) }与y(i) ∈ {1, 2, · · · , c}，
其中m为样本数，c 为类别数，本文取值为c = 6。因此，
针对给定的输入样本 x(i) ，归一化为每一个类别的概 小麦白粉病 小麦赤霉病 小麦叶锈病
率值P 可表示为
图 4 水稻与小麦的图像样例
θ j x(i) Fig.4 Samples of images of rice and wheat
e
P(y(i) = j|x(i) ; θ) = , j = 1, 2, · · · , c (4)
∑
c θ j x(i)
e 本实验的实验平台为Ubuntu16.04操作系统，
j=1
32 GB RAM，CPU处理器主频为3.7 GHz，GPU为
GTX1060，深度学习框架为Pytorch1.1.0。
 第3期 冯广，等：基于Inception与Residual组合网络的农作物病虫害识别 21

4.2 参数选择 100

训练过程中，为了更明显地进行对比，本文选用 90

CNN和DCNN两种传统网络与本文方法进行对比， 80

均使用Adam优化器进行参数更新，损失函数为交叉 70

训练准确率/%
熵(Cross Entropy, CE)函数。其中Adam学习率初始化 60

为10−3，权重衰减为10−4 。每一次迭代完成都使用一 50

次验证集进行验证，当连续3次迭代完成的损失都没 40
本文
有下降时则将学习率缩小10%。测试集用来对模型 30
DCNN
进行最后的评估。 20 CNN
10
4.3 效果对比
为了验证本文方法的有效性，本文采用传统神 0 50 100 150 200 250 300
经网络和深度卷积神经网络方法对农作物病虫害识 迭代次数

别做实验对比，评价指标包括准确率、精度、召回率 图 5 模型迭代曲线

和F1分数。结果如表1~3所示。根据图5显示的训练过 Fig.5 Model iteration curve

程迭代次数的平均准确率发现，本文方法在迭代约 的网络能达到94.56%的平均准确率。而本文方法引
200次后，随着迭代次数的增加，准确率基本保持不 入了残差连接，在深度一定的情况下有效的缓和过
变并趋于稳定，而DCNN和CNN还未收敛。表明本文 拟合，准确率达到了96.67%，比没有残差结构的
方法在训练过程中具有较快的训练速度。 DCNN多2.11%的准确率。
表 1 平均准确率对比 由表2可知，不同模型对不同类别的识别效果有
Table 1 Mean accuracy comparison %
明显差异，CNN对稻瘟病的识别准确率与赤霉病识
模型 训练集 测试集 别准确率相差达到23.66%，对稻瘟病的识别表现最
CNN 82.69 79.56
差，存在明显的识别不均衡现象。本文方法的各个类
DCNN 98.76 94.56
别的识别准确率均匀，而且每个类别的识别准确率
本文 96.75 96.67
比DCNN高。
表 2 特定类别的识别准确率对比 由表3可知，本文方法的模型精度(precision，预
Table 2 Comparison of recognition accuracy for specific categories 测为正的样本当中真实为正的比例)达到90.77%，在
%
预测的正样本中准确率最高。同时，本文方法的召回
类型 CNN DCNN 本文
率(recall，真实为正的样本中被预测正确的比例)为
纹枯病 77.00 89.67 93.67
89.72%，在样本中找到各个病虫害类别的能力最强。
胡麻斑病 75.00 94.33 97.00
稻瘟病
本文方法的F1分数(score，对精度和召回率的调和平
64.67 91.67 96.00
白粉病 85.67 94.67 94.67 均：F1=2(precision×recall)/(precision+recall))体现了召
赤霉病 88.33 99.67 100.00 回率和精度的调和平均，统计结果为90.24%，模型综
叶锈病 86.67 97.33 98.67 合表现最好。病虫害的识别模型指标统计结果表明，
CNN模型并不能很好地提取不同病虫害类型的特
表 3 精度、召回率和F1分数
Table 3 Precision, Recall and F1 score % 征，DCNN由于其结构限制，存在收敛慢、过拟合等
现象导致综合指标不高，而基于本文方法的病虫害
指标 精度 召回率 F1分数
CNN 34.17 38.33 36.13
识别模型可以较好地提取不同类型的病虫害特征，
DCNN 85.41 84.17 84.79 能够获得很好的病虫害识别效果。
本文 90.77 89.72 90.24
5 结语
通过表1可知，在包含水稻和小麦的共6种类型 本文提出的基于Inception和Residual结构组合的
农作物的病虫害识别任务中，传统的CNN算法表现 Inception-resnet-v2网络的农作物病虫害识别分类方
最差，测试平均准确率仅为79.56%。DCNN通过更深 法在面向多类别的任务中，不仅有效提升了识别准
 22 广 东 工 业 大 学 学 报 第 37 卷

确率，还平衡了不同类别带来的差异特征。与传统算 ion and Pattern Recognition. Washington, DC: IEEE Com-

puter Society, 2014: 2155-2162.
法的对比表明，本文模型的训练能够更快收敛，能减
[ 7 ] HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid
少训练成本，同时又有很好的准确性和鲁棒性。本研
pooling in deep convolutional networks for visual recogni-
究是基于组合结构网络在农作物病虫害上的识别研 tion [J]. IEEE Transactions on Pattern Analysis and Ma-
究，并未对其他更多的农作物种类和病虫害种类进 chine Intelligence, 2015, 37(9): 1904-1916.
行更大规模的识别研究。后续工作将采用规模更大 [ 8 ] ROSS G. Fast R-CNN[C]// The IEEE International Confer-
的数据集和其他组合网络进行更深入的研究。 ence on Computer Vision (ICCV). Washington, DC: IEEE
Computer Society, 2015: 1440-1448.
参考文献： [ 9 ] LIU W, ANGUELOV D, ERHAN D, et al. SSD: single shot
multibox detector[C]//ECCV 2016: Proceedings of the 2016
[ 1 ] 赵国华, 王婷. 基于ARM的作物病虫害自动识别系统设
European Conference on Computer Vision, LNCS 9905.
计[J]. 南方农机, 2019, 50(5): 62.
Cham: Springer, 2016: 21-37.
[ 2 ] 柴帅, 李壮举. 基于迁移学习的番茄病虫害检测[J]. 计算
[10] 汪京京, 张武, 刘连忠, 等. 农作物病虫害图像识别技术
机工程与设计, 2019, 40(6): 1701-1705.
的研究综述[J]. 计算机工程与科学, 2014, 36(7): 1363-
CHAI S, LI Z J. Detection of tomato pests and diseases
1370.
based on transfer learning [J]. Computer Engineering and
WANG J J, ZHANG W, LIU L Z, et al. Summary of crop
Design, 2019, 40(6): 1701-1705.
diseases and pests image recognition technology [J]. Com-
[ 3 ] 孙军. 基于图像目标检测的茶树病虫害预警研究[J]. 福
puter Engineering & Science, 2014, 36(7): 1363-1370.
建茶叶, 2018, 40(12): 11.
[11] SZEGEDY C, LIU W, JIA Y Q, et al. Going deeper with
SUN J. Study on early warning of insect pests in tea yard
convolutions[C]//The IEEE Conference on Computer Vis-
based on image target detection [J]. Tea in Fujian, 2018,
ion and Pattern Recognition. Washington (CVPR), DC:
40(12): 11.
IEEE Computer Society, 2015: 1-9.
[ 4 ] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Image
[12] HE K, ZHANG X, REN S, et al. Deep Residual Learning for
net classification with deep convolutional neural
Image Recognition[C]//The IEEE Conference on Computer
networks[C]//NIPS 2012: Proceedings of the 25th Interna-
Vision and Pattern Recognition (CVPR). Washington, DC:
tional Conference on Neural Information Processing Sys-
IEEE Computer Society, 2016: 770-778.
tems. North Miami Beach, FL: Curran Associates Inc, 2012:
[13] 蔡建新, 汪仁煌, 黄颖怡. 亮度归一化在图像处理中的应
1097-1105.
用[J]. 广东工业大学学报, 2008, 25(4): 65-68.
[ 5 ] SZEGEDY C, TOSHEV A, ERHAN D. Deep neural net-
CAI J X, WANG R H, HUANG Y Y. Application of bright-
works for object detection[C]// Proceedings of the 2013 In-
ness normalization in image processing [J]. Journal of
ternational Conference on Neural Information Processing
Guangdong University of Technology, 2008, 25(4): 65-68.
Systems. Cambridge, MA: MIT Press, 2013: 2553-2561.
[14] 陈雷, 袁媛. 大田作物病害识别研究图像数据集[DB/OL].
[ 6 ] ERHAN D, SZEGEDY C, TOSHEV A, et al. Scalable ob-
Science Data Bank, 2019. (2019-03-20)[2019-07-12]. DOI:
ject detection using deep neural networks[C]//CVPR 2014:
10.11922/sciencedb.745.
Proceedings of the 2014 IEEE Conference on Computer Vis-
（责任编辑：杨耀辉）