Professional Documents
Culture Documents
Journal of Graphics
ISSN 2095-302X,CN 10-1034/T
《图学学报》网络首发论文
网络首发:在编辑部工作流程中,稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等阶
段。录用定稿指内容已经确定,且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期
刊特定版式(包括网络呈现版式)排版后的稿件,可暂不确定出版年、卷、期和页码。整期汇编定稿指出
版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合《出
版管理条例》和《期刊出版管理规定》的有关规定;学术研究成果具有创新性、科学性和先进性,符合编
辑部对刊文的录用要求,不存在学术不端行为及其他侵权行为;稿件内容应基本符合国家有关书刊编辑、
出版的技术标准,正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。
为确保录用定稿网络首发的严肃性,录用定稿一经发布,不得修改论文题目、作者、机构名称和学术内容,
只可基于编辑规范进行少量文字的修改。
出版确认:纸质期刊编辑部通过与《中国学术期刊(光盘版)》电子杂志社有限公司签约,在《中国
学术期刊(网络版)》出版传播平台上创办与纸质期刊内容一致的网络版,以单篇或整期出版形式,在印刷
出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为《中国学术期刊(网络版)》是国家新闻出
版广电总局批准的网络连续型出版物(ISSN 2096-4188,CN 11-6037/Z),所以签约期刊的网络版上网络首
发论文视为正式出版。
网络首发时间:2021-07-19 13:32:00
网络首发地址:https://kns.cnki.net/kcms/detail/10.1034.T.20210719.0952.002.html
图学学报
JOURNALOFGRAPHICS
2. National Fisheries Innovation Center of China Agricultural University, Beijing 100083, China)
Abstract: Aiming at the diseases of two types of Solanaceae vegetables, tomato and eggplant, a noise -resistant
Solanaceae disease identification network is constructed based on SE-Inception and capsule network, called Capsule
SE-Inception. The network is mainly divided into two parts: the feature extraction part and the capsule network part.
The feature extraction part of the network uses a batch normalization layer (BN) to accelerate the convergence of the
network; the SE-Inception structure and multi-scale feature extraction module are used to improve the accuracy of the
model. The capsule network part uses a capsule with a routing iteration number of two and a dimension of sixteen for
processing. The experiments were carried out based on a self-built data set of Solanaceae diseases. Our sample data
contains four disease categories: whitefly, powdery mildew, yellow smut, cotton blight and healthy leaves . Besides, in
order to reduce over-fitting, the data is augmented. The experimental results show that the capsule SE-Inception
network has good noise immunity against common Gaussian, salt and pepper and fuzzy noise; it only needs less data
to achieve higher recognition accuracy. Based on the same amount of data, the recognition accuracy of Capsule
SE-Inception network is higher than that of common lightweight models.
Keywords: solanaceous vegetables; disease recognition; noise immunity; SE-Inception structure; capsule network
收稿日期:2021-06-17;定稿日期:2021-07-02
Received:17 June,2021;Finalized:2 July,2021
基金项目:国家重点研发计划蓝色粮仓科技创新重点专项项目 (2020YFD0900204);广东省重点领域研发计划项目(2020B0202010009)
Foundation items: National Key R&D Program Blue Granary Technology Innovation Key Special Project(2020YFD0900204); Guangdong
Province Key Field R&D Program Project (2020B0202010009)
第一作者:杨泳波(1994–),男,浙江杭州人,硕士生。主要研究方向为图像处理与识别。E-mail:yyb631830346@163.com
Firstauthor:YANG Yong-bo (1994–), male, master student. His main research interests cover image processing and recognition.
E-mail:yyb631830346@163.com
通信作者:李振波(1978–),男,山东潍坊人,教授,博士。主要研究方向为计算机视觉等。E-mail:lizb@cau.edu.cn
Correspondingauthor:LI Zhen-bo (1978-), male, professor, Ph.D. His main research interests cover computer vision, etc. E-mail:lizb@cau.edu.cn
图学学报
JOURNALOFGRAPHICS
图1 自建数据集拍摄地点及样本示例
Fig. 1 Constructed data set shooting location and sample
examples
PlantVillage 是一个植物病害数据集,其囊括了
大量的植物病害图像,包含 13 种植物,26 类病害
叶片,总计 38 个种类,共 54305 张植物病害叶片 图2 胶囊 SE-Inception 结构
图像。在实验中,将数据集随机打乱,按照 6:2:2 Fig. 2 Capsule SE-Inception structure
的比例将其划分为训练集、验证集和测试集,并将 1.3.1 特征提取部分
原始图片的尺寸归一化为 96×96,作为模型的输入。 图 2 中红色虚线框标识部分表示特征提取部分,
1.2 图像预处理 该部分由多尺度特征提取模块,最大池化层,卷积
构建的数据集包含 434 张黄曲病图像,161 张 层,最大池化层,两个 SE-Inception 模块堆叠而成。
绵疫病图像,386 张白粉病图像,104 张白粉虱图 多尺度特征提取模块即图 2 中所指的 MultiConv,
像以及 750 张健康的叶片图像,数据集样本分布不 参照 Inception 的思想分别用 1×1,3×3,5×5, 7×7
平衡。由于不平衡数据会影响深度学习模型的识别 四种不同的卷积核进行特征提取,其卷积核的数量
效果[30],针对数据量较少的几个类别进行数据增强。 分别为 32,32,16,16。对于网络中的每个卷积层
颜色特征是疾病识别的关键特征之一,所以在数据 后都添加了 BN 层,加速网络收敛,防止过拟合。
增强过程中,原始图像的颜色信息不能改变。本文 图 2 中红色模块代表 SE-Inception 架构,其主要是
基于 Keras 框架,主要采用了以下 3 种数据增强方 将 SENet ( Squeeze-and-Excitation Networks ) 与
法:随机翻转、任意角度旋转和图像偏移。进行过 InceptionV2 相结合,让网络保持较少参数量的同时
图像扩充后的数据分布为:黄曲病 690 张,绵疫病 有着较强的特征提取能力,设置其通道压缩比 16。
644 张,白粉病 674 张,白粉虱 602 张,健康叶片 1.3.2 胶囊网络部分
750 张。增广过程前后数据的分布见表 1。 该部分一般的胶囊网络主要由卷积层,主胶囊
表 1 自建数据集数据增广详情
层,数字胶囊层和输出层构成[31]。主胶囊层将不同
Table 1 Constructed data set and data augmentation
details 的特征分化为胶囊,获得实例化参数。而数字胶囊
序 原始 原始(新苑阳 层作为高层胶囊,主要储存与低级胶囊层之间的权
名称 原始数据 扩充数据
号 (AI) 光)
重矩阵即 Wij ,以及由动态路由算法得出的表示该
1 黄曲病 261 173 434 690
层胶囊与上层胶囊之间密切程度的耦合系数 Cij 。胶
2 绵疫病 0 161 161 644
囊网络数据处理流程见表 2。
3 白粉病 343 43 386 674 表2 胶囊网络数据处理流程
4 白粉虱 0 104 104 602 Table 2 Capsule network data processing flow
5 健康 711 39 750 750 步骤 向量神经元(VN)
斯 噪 声 的 抗 干 扰 性 优 于 原 始 SE-Inception 、 Mobile-
93.73 91.72/2.01 89.32/2.40 66.99/22.33
NetV2
MobileNetV1、MobileNetV2 和 ShuttleNetV2,劣于 Mobile-
95.16 95.23/-0.07 92.67/2.56 75.06/17.61
NetV3
MobileNetV3。 Shuffle-
96.58 94.29/2.29 91.83/2.46 36.87/54.96
NetV2
表4 基于不同程度高斯噪声图片对比实验结果 原始
SE-Ince 98.26 97.27/0.99 95.5/1.77 73.01/22.49
Table 4 Comparison of experimental results based on
ption
images of different degrees of Gaussian noise 胶囊
SE-Ince 95.20 94.80/0.40 94.33/0.47 77.59/16.74
模型 无噪声 0.03 0.05 0.1 ption
MobileNetV1 92.59 93.26 92.74 77.56 2.3.4 模糊噪声
MobileNetV2 93.73 93.27 91.94 82.45
MobileNetV3 95.16 95.25 94.94 88.48 为了验证胶囊 SE-Inception 对于模糊图片的识
ShuffleNetV2 96.58 95.15 93.60 83.38
原始 SE-Inception 98.26 97.25 87.77 70.05 别效果,本节采用 OpenCV 中的中值滤波方法对原
胶囊 SE-Inception 95.20 95.51 94.67 84.39 始图片进行处理,中值滤波的滤波核选取 3×3、5
2.3.3 椒盐噪声 ×5 和 7×7。与前两节噪声处理方式一致,选取相
为了探究模型在不同程度椒盐噪声下的识别 同的验证集加以中值滤波进行处理得到模糊图片
精度,本节利用 OpenCV 框架将原有验证集添加不 测试集。具体的实验结果见表 6。
同程度的椒盐噪声,验证所提出模型的椒盐抗噪性。 由表 6 可知胶囊 SE-Inception 对于采用 5×5 和
本节采用了占比为 0.01、0.02 和 0.05 的椒盐噪声对 7×7 的中值滤波处理的图片都有着最好的识别效
原始图片进行处理,0.01 表示把原始图片中随机 1% 果。当中值滤波核为 3×3 时,本文提出的模型在
的像素点变成噪声点,同理 0.02 和 0.05 分别表示 测试集上的精度为 92.4%,略高于 MobileNetV3 的
把原始图片中随机 2%的像素点和 5%的像素点变 91.46% , 远 高 于 MobileNetV1 的 86.87% ,
为噪声点。具体模型识别的准确率见表 5。 MobileNetV2 的 83.56%和 ShuttleNetV2 的 85.78%。
由表 5 可得,当椒盐噪声程度逐步上升时几 当中值滤波核为 7×7 时,胶囊 SE-Inception 的识别
乎所有模型的识别精度都出现了一定程度上的下 效果是最好的,为 85.39%,MobileNetV3 的识别精
降。当加入 0.01 的椒盐噪声时,胶囊 SE-Inception 度 为 86.92% , MobileNetV1 、 MobileNetV2 和
模 型 的 识 别 精 度 低 于 MobileNetV3 和 原 始 ShuffleNetV2 的识别精度均低于 80%。
SE-Inception,其识别准确率为 95.23%。随着噪声 对比无噪声和 3×3 中值滤波下的噪声图片,
程度的不断上升,胶囊 SE-Inception 在 0.03。条 胶囊 SE-Inception 的识别精度下降了 2.8 个百分点,
件 下 , 的 识 别 准 确 率 分 为 94.33% 。 超 过 了 原 始 SE-Inception 下 降 了 3.55 个 百 分 点 ,
MobileNetV3 与原始 SE-Inception 的差距逐渐变小。 MobileNetV3 下降了 3.7 个百分点,MobileNetV1
当椒盐噪声程度为 0.05 时,胶囊 SE-Inception 的 下 降 了 5.7 个 百 分 点 , 而 MobileNetV2 和
识别精度是所有模型中最优的为 77.59%。斜杠后 ShuffleNetV2 都下降了 10 个百分点以上。对比 5×
的数值代表当前噪声下识别精度与之前噪声下识 5 和 3×3 的滤波核,胶囊 SE-Inception 也是最优的,
别精度的差值,由该值可知本文提出的模型在验 识别精度下降了 2.68%;MobileNetV3 下降了 4.54%,
证集上精度下降的幅度低于其他几个模型,说明 MobileNetV1 下降了 8.74%,MobileNetV2 下降了
其对椒盐噪声的抵抗能力较强。MobileNetV1 和 10.12%,ShuffleNetV2 下降了 12.22%。综上所述,
MobileNetV2 在原始图片和不同程度的椒盐噪声 胶囊 SE-Inception 对于模糊图片的识别效果优于上
下,其表现均不如胶囊 SE-Inception。综上所述, 述对照模型 MobileNet 系列与 ShuffleNetV2 以及原
始 SE-Inception。 模型在数据量为原有数据的 90%、80%和 70%的时
表6 基于不同程度模糊图片的实验结果 候有着最高的精度,但图 3 中的曲线反映基于不同
Table 6 Experimental results based on different degrees
数据量的各个模型之间的识别精度相差并不是很
of blurred images 大,各个模型在不同数据量下的具体识别精度见表
无噪
7。
模型 3*3 5*5 7*7
声 表7 基于不同数据量的识别结果(自建数据集)
MobileNet 74.08/4.
92.59 86.87/5.72 78.13/8.74 Table 7 Recognition results based on different data
V1 05
MobileNet 68.00/5. volumes (constructed data set)
93.73 83.56/10.17 73.44/10.12
V2 44
MobileNet 83.90/3. Mobile Mobile Mobile Shuffle
95.16 91.46/3.7 86。92/4.54 型 Capsule
V3 02 -NetV1 -NetV2 -NetV3 -NetV2
ShuffleNet 68.14/5. 100 92.59 93.73 95.16 96.58 95.20
96.58 85.78/10.80 73.56/12.22
V2 42 90% 92.02 91.45 93.16 94.30 94.30
原始 80% 92.59 90.88 90.88 92.31 93.16
79.41/7.9
SE-Inceptio 98.26 94.71/3.55 87.38/5.59 70% 91.17 92.02 91.74 92.31 92.31
7
n 60% 88.32 91.74 91.74 92.31 91.74
50% 89.17 87.46 89.74 87.75 87.75
胶囊
85.39/4.
SE-Incepti 95.20 92.40/2.80 89.72/2.68
33
结合图 3 和表 7 可知,部分模型的识别精度随
on
着数据的下降反而出现了略微的提升,分析其原因
2.4 数据量实验 可能有以下几个方面:数据敏感性,在减少训练数据
为了探究胶囊 SE-Inception 模型在少量训练数 量时可能会把那些难以分类的数据给剔除;自建数
据下的识别效果,分别基于自建茄科病害数据集和 据集包含图片的数量太少,波动性较大。此外,模
PlantVillage 数据集进行了测试。 型在训练过程中会以验证集精度或者损失调整模
2.4.1 基于自建数据集的数据量实验 型参数,验证集本身参与到训练过程中,因此采用
由于自建数据集包含的病害图片较少,因此在 模型在验证集上的识别精度作为评判标准具有一
训练时把其以 8∶2 的比例划分为训练集和验证集。 定的局限性。因此基于 PlantVillage 数据集进行了
在对少量训练数据进行测试时,训练的数据量分别 进一步的实验。
2.4.2 基于 PlantVillage 数据集的数据量实验
为原有数据量的 100%~50%,并参照 3.2 节的实验
环境与相关参数设置,得到了如图 3 所示的基于不 PlantVillage 数据集共有 54305 张病害图片,其
同数据量的模型精度曲线图(自建数据集)。图 3 描 中训练集有 32571 张,验证集有 10852 张,测试集
绘了 MobileNetV1、MobileNetV2、MobileNetV3、 有 10852 张。本节在进行不同训练数据量实验时分
ShuttleNetV2 和胶囊 SE-Inception 基于不同规模的 为 10 个级别,数据量分别是原有训练集数据量的
数据集的识别精度。 100%~10%,验证集和测试集不变。参照 3.2 节的
实验环境与相关参数设置,得到了如图 4 所示的基
于不同数据量的模型精度曲线图。
图3 基于不同数据量的实验结果(自建数据集)
Fig. 3 Experimental results based on different amounts of
data (constructed data set) 图4 基于不同数据量的模型精度曲线图(PlantVillage)
由图 3 可知,所有的模型的识别精度曲线随着 Fig. 4 Model accuracy curves based on different data
训练数据的减少,大体上呈现下降趋势,即训练集 volumes (PlantVillage)
的数据量与识别精度成负相关。胶囊 SE-Incpetinon 由图 4 可知,当数据量较多时所有模型的下降
曲线都比较平滑,可能是因为训练集数量能够满足 [2] Prabhakar M, Purushothaman R, Awasthi D P. Deep learning based
assessment of disease severity for early blight in tomato crop[J].
模型提取到有效的特征。数据量从 50%以下开始,
Multimedia Tools and Applications, 2020,79(39-40): 28773-28784.
对照模型的精度就出现了比较明显的下降;而胶囊 [3] Liu J, Wang X W. Tomato Diseases and Pests Detection Based on
SE-Inception 出现拐点是在 30%的数据量。当模型 Improved Yolo V3 Convolutional Neural Network[J]. Frontiers in
Plant Science, 2020, 11.
处于同一数据量时,胶囊 SE-Inception 在测试集上
[4] Chen X, Zhou G, Chen A, et al. Identi fi cation of tomato leaf
的识别精度是所有模型中最高的;此外,从图 4 各个 diseases based on combination of ABCK-BWTR and B-ARNet[J].
曲线的斜率可以看出,当训练集的数据量缩减时, Computers and Electronics in Agriculture,2020,178.
[5] Aversano L, Bernardi M L, Cimitile M, et al. Tomato diseases
胶囊 SE-Inception 识别精度的下降较为平缓,从侧
Classification Based on VGG and Transfer Learning[C]//2020 IEEE
面说明当其使用较少的数据就可以达到比较好的 International Workshop on Metrology for Agriculture and Forestry.
识别效果。例如当训练数据量为原来的 10%时,胶 New York: IEEE Press ,2020: 129-33.
[6] Anton A, Rustad S, Shidik G F, et al. Classification of Tomato Plant
囊 SE-Inception 的识别精度为 86.48%,优于其他对
Diseases Through Leaf Using Gray-Level Co-occurrence Matrix and
比模型在数据量为原来的 20%所得到的识别结果。 Color Moment with Convolutional Neural Network Methods[J].
关于各个网络在不同数据量下具体的识别精度见 Smart Trends in Computing and Communications: Proceedings of
20% 80.68 82.09 80.34 84.69 94.32 networks[J]. Pattern Recognition, 2018, 77: 354-377.
10% 69.44 69.39 68.62 72.23 86.48 [11] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with
deep convolutional neural networks[C]//Advances in neural
网络和 SE-Inception 网络,构建针对茄科病害的胶 [13] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]
//The IEEE conference on computer vision and pattern recognition.
囊 SE-Inception 网络。该网络在自建数据集上的检 New York: IEEE Communications Society, 2015: 1-9.
测精度为 95.20%,在 PlantVillage 上的检测精度为 [14] He K, Zhang X, Ren S, et al. Deep Residual Learning for Image
99.31%。 Recognition[C]//IEEE Conference on Computer Vision & Pattern
Recognition. New York: IEEE Communications Society, 2016.
另外,胶囊 SE-Inception 网络的抗干扰能力优
[15] Huang G, Liu Z, Van Der Maaten L, et al. Densely connected
于 MobieNetV3 等常见轻量级模型,且在相同数据 convolutional networks[C]//IEEE conference on computer vision and
量下其识别精度高于其他对比网络。表明所构建网 pattern recognition. New York: IEEE Communications Society, 2017:
4700-4708.
络具有在实际环境中进行病害诊断的潜力。该网络
[16] Nachtigall L G, Araujo R M, Nachtigall G R. Classification of apple
能够较好的平衡精度与抗噪性。 tree disorders using convolutional neural networks[C]//2016 IEEE
参考文献 (References) 28th International Conference on Tools with Artificial Intelligence
[1] 高吉兴.茄科蔬菜灰霉病快速检测方法和仪器研究[D]. 浙江: 浙 (ICTAI). New York: IEEE Communications Society, 2016: 472-476.
江大学, 2014. [17] Li Z, Guo R, Li M, et al. A review of computer vision technologies
GAO J X. Study on the rapid detection method and instrument for for plant phenotyping[J]. Computers and Electronics in Agriculture,
gray mold of solanaceous vegetables[D]. Zhe Jiang:Zhe Jiang 2020, 176: 105672.
University, 2014 (in Chinese). [18] Yang G, Chen G, He Y, et al. Self-Supervised Collaborative
Multi-Network for Fine-Grained Visual Categorization of Tomato Multi-Scale Capsule Network[J]. Ieee Signal Processing Letters,
Diseases[J]. Ieee Access, 2020, 8: 211912-211923. 2018, 25(12): 1850-1854.
[19] Too E C, Yu L, Njuki S, et al. A comparative study of fine-tuning [26] 丁永军, 张晶晶, 李民赞. 基于卷积胶囊网络的百合病害识别研
deep learning models for plant disease identification[J]. Computers 究[J]. 农业机械学报, 2020, 51(12): 246-251.
and Electronics in Agriculture, 2019, 161: 272-279. DING Y J, ZHANG J J, LI M Z. Research on Lily Disease
[20] Szegedy C, Ioffe S, Vanhoucke V, et al. Inception-v4, Recognition Based on Convolutional Capsule Network[J].
inception-resnet and the impact of residual connections on Transactions of The Chinese Society of Agricultural Machinery, 2020,
learning[C]//Thirty-First AAAI Conference on Artificial Intelligence. 51(12): 246-251 (in Chinese).
Menlo Park: AAAI, 2017. [27] Kwabena P M, Weyori B A, Mighty A A. Gabor Capsule Network for
[21] Zhong Y, Zhao M. Research on deep learning in apple leaf disease Plant Disease Detection[J]. International Journal of Advanced
recognition[J]. Computers and Electronics in Agriculture, 2020, Computer Science and Applications, 2020, 11(10): 388-395.
168: 105146. [28] Li Z, Yang Y, Li Y, et al. A solanaceae disease recognition model
[22] Chen J, Chen J, Zhang D, et al. Using deep transfer learning for based on SE-Inception[J]. Computers and Electronics in Agriculture,
image-based plant disease identification[J]. Computers and 2020, 178: 105792.
Electronics in Agriculture, 2020, 173: 105393. [29] Hughes D, SalathéM. An open access repository of images on plant
[23] Katebi R, Zhou Y, Chornock R, et al. Galaxy morphology prediction health to enable the development of mobile disease diagnostics[J].
using capsule networks[J]. Monthly Notices of the Royal arXiv preprint arXiv:1511.08060, 2015.
Astronomical Society, 2019, 486(2): 1539-1547. [30] Buda M, Maki A, Mazurowski M A. A systematic study of the class
[24] 贾旭东, 王莉. 基于多头注意力胶囊网络的文本分类模型[J]. 清 imbalance problem in convolutional neural networks[J]. Neural
华大学学报(自然科学版), 2020, 60(5): 415-421. Networks, 2018, 106: 249-259.
JIA X D, WANG L. Text classification model based on multi-head [31] Peng D, Zhang D, Liu C, et al. BG-SAC: Entity relationship
attention capsule network[J]. Journal Publishing Center of Tsinghua classification model based on Self-Attention supported Capsule
University Press, 2020, 60(5): 415-421 (in Chinese). Networks[J]. Applied Soft Computing, 2020, 91: 106186.
[25] Xiang C Q, Zhang L, Tang Y, et al. MS-CapsNet: A Novel