第 36 卷 第 23 期 农 业 工 程 学 报 Vol.36 No.

23
2020 年 12 月 Transactions of the Chinese Society of Agricultural Engineering Dec. 2020 171

基于迁移学习的卷积神经网络花生荚果等级图像识别
张瑞青 1，李张威 1，郝建军 1，孙 磊 1，李 浩 1，韩 鹏 2
（1. 河北农业大学机电工程学院，保定 071001；2. 河北省农业技术推广总站，石家庄 050000）

摘 要：针对花生荚果人工分级效率低、机械分级不精确等问题，该研究提出一种基于迁移学习的卷积神经网络花生荚果
等级图像识别方法。利用翻转、旋转、平移、对比度变换和亮度变换等操作，对获取的 5 个等级花生荚果图像进行数量扩
充和预处理，得到花生荚果等级图像数据集；对比分析了 GoogLeNet、ResNet18 和 AlexNet 3 种基本模型下花生荚果图像分
级识别的性能；通过迁移 AlexNet 卷积层对花生荚果等级识别模型进行了改进，用批归一化替换局部响应归一化且将激活函
数置于批归一化层前后不同位置，设计了 4 种不同的识别训练模型；对改进的 4 种 AlexNet 模型进行迁移学习对比试验和超
参数学习率优化试验，研究了非饱和激活函数和改进的非饱和激活函数对模型性能的影响。试验结果表明，在满足测试精
度的基础上 AlexNet 模型所用训练时间最少；基于 AlexNet 的改进模型的迁移学习中学习率是需要优化的超参数，合适的学
习率能够加快模型的训练并提升识别能力；改进模型中批归一化的引入及网络参数的减少，缩减了 220 s 训练时间，模型性
能提高。所构建的花生荚果等级识别模型（Penut_AlexNet model，PA 模型）对花生荚果 5 个等级分类识别准确率达到 95.43%，
该模型对花生荚果等级识别具有较高的准确率，也可为其他农产品精确分级提供参考。
关键词：图像识别；模型；卷积神经网络；迁移学习；批归一化；花生荚果；等级分类
doi：10.11975/j.issn.1002-6819.2020.23.020
中图分类号：S565.2; TP391.4 文献标志码：A 文章编号：1002-6819(2020)-23-0171-10

张瑞青，李张威，郝建军，等. 基于迁移学习的卷积神经网络花生荚果等级图像识别[J]. 农业工程学报，2020，36(23)：

171-180. doi：10.11975/j.issn.1002-6819.2020.23.020 http://www.tcsae.org
Zhang Ruiqing, Li Zhangwei, Hao Jianjun, et al. Image recognition of peanut pod grades based on transfer learning with
convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),
2020, 36(23): 171-180. (in Chinese with English abstract) doi ： 10.11975/j.issn.1002-6819.2020.23.020
http://www.tcsae.org

目，目前 CNN 已在图像识别、自然语言处理、文本分析

0 引 言
等方面取得了成功。在图像分类识别上，CNN 的优势在
花生是中国经济作物和油料作物之一，种植面广， 于可以用原始图像作为输入，通过前向与反向传播优化
产量高。但在收获时，不论是机械收获还是人工收获， 模型参数，得到输出预测结果，实现端到端的学习。这
都会出现花生荚果等级不一且夹杂各种杂物的现象，不 种智能学习方法摒弃了以往繁杂的图像预处理和特征提
同等级的花生荚果价格不同，经济效益也不同，在售卖、 取过程，减少了由人工设计合适的特征提取器等工作。
加工或出口前进行分选分级，可以提升花生荚果品质和 但 CNN 却需要大量的标记样本进行训练以及强大的图形
价值。由于人工分级效率低，而机械式（圆筒筛分）[1] 处理器（Graphics Processing Unit, GPU）加速学习[6]，并
和振动筛分[2]）分级根据花生荚果的大小来分选，筛式分 且复杂的 CNN 深层网络结构还需耗费大量时间去调参[7]。
级易造成堵塞和花生受损，也难以精确细分。近年来， 高震宇等[8]搭建了一个 7 层的 CNN 模型实现鲜茶叶的识
花生的分级、检测在智能识别上已有了初步的研究，如 别，识别精度不低于 90%。无论是训练一个大型的 CCN
将机器视觉技术与人工神经网络结合实现的花生仁外观 模型还是收集大量的图像数据，都是一个耗时的过程，
品质检测[3]，基于卷积神经网络实现的花生仁完整性分类 而迁移学习的出现则很好的解决上述问题。农业领域中，
识别[4]，将深度学习与高光谱成像技术结合实现的花生品 Patino-Saucedo 等[9]以 AlexNet 模型为基础，使用增强的
种分类[5]，鲜少有将深度学习用于花生荚果等级分类识别 训练数据集训练微调后的迁移学习模型，实现了 15 类热
的研究报道。 带水果的分类，分类精度高。基于迁移学习的 CNN 在植
卷积神经网络（Convolutional Neural Network, CNN） 物叶片图像识别[10]、病害图像分类识别[11-14]、水果目标
是深度学习的代表算法之一，CNN 通过权值共享与局部 识别[15-16]、红枣外观品质分级[17]等方面都取得了成功。
连接，不但可以降低网络模型复杂度，还能减少权值数 CNN 已成为计算机视觉的核心算法模型，AlexNet[18]作为
深度学习发展史的转折点，得到了研究者的广泛应用研
收稿日期：2020-09-04 修订日期：2020-10-15 究，并且出现了 VGGNet[19] 、GoogLeNet[20] 、ResNet[21]
基金项目：河北省现代农业产业技术体系创新团队项目 等模型及其在农业工程中的应用研究。
（HBCT2018090206）
；河北省重点研发计划项目（1922418D）
综上，为了提高花生荚果等级识别的精度，探索适
作者简介：张瑞青，博士，副教授，主要从事机器学习、智能农业装备及先
进控制技术研究。Email：zhrqingcn@163.com 合花生荚果等级识别的迁移学习模型以及模型中有关参
 172 农业工程学报（http://www.tcsae.org） 2020 年

数的最优设置，本研究基于 AlexNet 基本模型，利用迁移 样本，为减少因样本数量过少而造成过拟合问题，提高

学习方法构建并训练花生荚果等级识别模型；对 模型泛化能力及识别准确率，通过数据增强，对样本图
AlexNet、GoogLeNet 和 ResNet18 3 种基本模型进行了对 像数量进行扩充。方法是使用编写好的 MATLAB 脚本程
比分析试验；对模型结构及超参数进行了改进和优化， 序，对图像进行水平翻转、垂直翻转、平移、旋转、亮
以期减少模型占用的内存空间，缩短训练时间，提高模 度变换、对比度变换等操作以便获得更多的图像样本，
型识别准确率。本研究将为开发嵌入式的花生荚果智能 最终的图像数据集总数为 3 500 幅，每级各 700 幅。模型
分级系统提供模型支持，给出模型超参数优选方法和经 训练时，从样本集中随机选取 60%（每级 420 幅共 2 100
验，还可以为基于 CNN 的荚果类农产品的图像识别分级 幅）的样本作为训练集训练模型参数，20%（每级 140
系统提供参考依据。 幅共 700 幅）作为验证集调整模型超参数，剩余 20%作
为测试集评估模型。通过观察模型的训练与验证过程，
1 材料与方法
判断模型是否发生过拟合；通过可视化模型验证过程，
1.1 花生荚果分级试验平台及图像数据预处理 进行超参数优选和模型择优。
以实验室工作站作为训练处理平台，系统配置为 1.2 模型构建
Windows10 系统，处理器为 Intel Core i7-6700HQ，主频 迁移学习[24]是把在大型数据集 ImageNet 上学到的图像
2.60 GHz ， 16 GB 内 存 ， 显 卡 为 NVIDIA GeForce 分类知识成功运用到待解决的新的目标分类任务中[25]。其
GTX950M，4 GB 显存。软件平台使用 MATLAB，使用 优势在于 1）以现有最佳网络模型为基础，通过微调网络
其中的深度学习工具箱来设计和实现基于迁移学习的 层结构来构建本研究的模型，比构建和训练随机初始化
CNN 的花生荚果等级图像识别。 的新网络更快且更容易；2）预训练网络模型由于已学习
本研究选用的花生为河北省农林科学院培育的冀花 了丰富的特征，无需庞大的数据量再训练，可以有效缩
5 号，荚果整齐饱满[22]。根据食用花生标准[23]并结合花生 短训练时间。因此，本研究以经典的 AlexNet 作为预训练
栽培专家经验将花生荚果划分为 5 个等级：一级果、二 模型，利微调网络模型和参数微调的迁移学习方法，对
级果、三级果、四级异形果和五级破损果。在暗室环境 花生荚果等级图像的识别进行了研究。
下，发光二极管（Light Emitting Diode, LED）提供光源， 1.2.1 花生荚果等级图像识别模型构建
花生荚果平放在黑色背景上，用通用串行总线（Universal 本研究在 AlexNet 模型基础上，基于迁移学习方法，
Serial Bus, USB）接口的摄像头垂直采集荚果样本，拍摄 对模型激活函数和归一化处理进行了结构微调研究，构
距离 14 cm，每个等级的荚果图像各 100 幅，样本总数为 建了花生荚果等级识别训练模型。通过不同层结构模型
500 幅，每幅图像像素大小为 640×480，格式为.jpg。使 的训练结果对比和超参数优化分析，确定了本研究的花
用 MATLAB 编写脚本程序对图像进行预处理，在图中荚 生荚果等级识别模型结构（图 1），该模型由 5 个卷积模
果不发生形变的情况下将图像像素大小统一修改为 块（Conv1～Conv5）和 2 个全连接模块（FC1, FC2）构
227×227，以统一的尺寸输入至 CNN，可以减少图像无用 成，将该网络模型称为花生荚果等级识别模型
信息，提高处理速度。 （Penut_AlexNet model，PA 模型），占用的内存空间为
由于建立的花生荚果等级图像数据集属于小数据集 25.5 MB。

注：输入层的图像像素大小为 227×227；卷积层 1、卷积层 2、卷积层 3、卷积层 4 和卷积层 5 的卷积核数目分别为 96、256、384、384、256，卷积核大小分

别为 11×11、5×5、3×3、3×3、3×3，步长分别为 4、1、1、1、1，填充类型分别为 VALID、SAME、SAME、SAME、SAME；池化层 1、池化层 2 和池化层
3 的池化类型均为最大池化，核大小均为 3×3，步长均为 2，填充类型均为 VALID；全连接层 1 和全连接层 2 的输出单元数分别为 512 和 5；卷积层、全连接
层的激活函数均为 ReLU，且卷积层 1 和卷积层 2 的激活函数后都有一个批归一化层。
Note: The image pixel size of input layer is 227×227; the number of Conv1, Conv2, Conv3, Conv4, and Conv5 layers’ convolution kernels are 96, 256, 384, 384, and
256 respectively, their convolution kernel sizes are 11×11, 5×5, 3×3, 3×3, and 3×3 respectively, their strides are 4, 1, 1, 1 and 1 respectively, and their padding types are
VALID, SAME, SAME, SAME and SAME, respectively; Pooling1, Pooling2, and Pooling3 layers’ pooling types are maximum pooling, their kernel sizes are 3×3, their
strides are 2, their padding types are VALID; FC1 and FC2 layers’ output units are 512 and 5 respectively; activation functions of convolution layers and fully connected
layers are all ReLU, and there is a batch normalization layer after the ReLU of Conv 1 and Conv 2.

图 1 花生荚果等级识别 PA 模型结构
Fig.1 Structure of Penut_AlexNet (PA) model for peanut pod grade recognition
 第 23 期 张瑞青等：基于迁移学习的卷积神经网络花生荚果等级图像识别
传统的 CNN 一般使用饱和非线性函数（如 Sigmoid、
Tanh 等）作为激活函数，网络容易出现梯度消失、梯度
爆炸问题[26]，而目前的 CNN 模型常使用非线性激活函数
修正线性单元（Rectified Linear Unit, ReLU）代替饱和的
非线性函数，能有效解决上述问题，且能加快网络的收
敛速度[27]。ReLU 函数表达式如式（1）所示：
 x, x ＞ 0
f ( x)   （1）
0, x ≤ 0
式中 x 为输入，f(x)为输出。
但 ReLU 也存在不足，由式（1）可知，ReLU 仅保
留 x>0 的部分，将所有的负值设置为 0，负值梯度为 0，
在梯度优化过程会导致某些神经元不会被激活，权值得
不到更新，处于“坏死”状态。为此，Maas 等[28]提出一
种改进的激活函数泄露的修正线性单元（Leaky Rectified
Linear Unit, LReLU），x>0 的部分和 ReLU 一样，在 x≤0
的部分加入一个很小的非零系数 a， a  (0,1) 经验取值，
当 a 为 0 时，则 LReLU=ReLU，LReLU 函数表达式如式
（2）所示：
 x, x＞0
f ( x)   （2）
 ax, x ≤ 0
本研究在模型构建时，对 2 种激活函数 LReLU 和
ReLU 的模型性能进行了对比分析，由于 LReLU 微调模
型性能改善并不明显， 最终确定使用 ReLU 作为本研究模
型的激活函数。
Simonyan 等[19]和郭敏钢等[29]研究证实局部响应归一
化（Local Response Normalization, LRN）并不会提高模型
的性能，郭小清等[30]研究中发现去除 LRN 层可以加快网
络传播速度。批归一化（Batch Normalization, BN）由 Ioffe
等[31]提出并置于激活函数前，其结果表明 BN 能够加快
网络的训练，提升模型的性能。因此，本研究在模型中
用 BN 替换 LRN，并进行模型替换前后的性能比较，参
考 Rosebrock[32]结论及本研究结果分析，最终将 BN 置于
激活函数后边。BN 函数表达式如式（3）所示：
x  B
Yi   i  （3）
 B2  
式中 xi 为输入，Yi 为输出，μB 为批大小的均值，  B2 为批
大小的方差，ε 为常数，γ 为缩放因子，β 为偏移因子。
AlexNet 原始模型的参数数量高达 6 100 万，其中全
连接层占 96.17%，即使由 1 000 类输出变为本研究的 5
类花生荚果输出，参数量依然很大，计算冗余易出现过
拟合，且占用很大内存。因此，为降低网络模型参数量，
对模型结构进行改进，去除原有的 3 个全连接层（全连
接层 FC1、FC2、FC3 的输出单元数分别为 4 096、4 096、
1 000），设计新的 2 个全连接层（全连接层 FC1、FC2
的输出单元数分别为 512、5），在 FC1 前加入一个失活
层，并设置失活概率为 0.4，FC1 的激活函数使用 ReLU。
此时的模型参数量为 7 055 749，与只修改最后一个全连
接层的模型相比，参数量下降了 87.6%。为加快新全连接
层的学习，设置新全连接层的权重学习率因子和偏置学
173
习率因子都为 20，并对新全连接层的权重和偏置进行随
机初始化。
Softmax 层用于计算某张花生荚果图像属于各等级
的概率值，选择最大概率值对应的等级作为预测输出，
输出层通过交叉熵损失函数计算误差，评价实际输出与
期望输出的接近程度，在反向传播过程中对各层参数进
行优化更新，交叉熵损失函数表达式如式（4）所示：
N K
L(W , b)   tij ln yij （4）
i 1 j 1
式中 W 为权重矩阵，b 为偏置向量，N 为样本数，K 为
类别数，tij 为第 i 个样本属于类别 j 的概率，yij 为类别 j
中样本 i 的输出概率。
为进一步减小过拟合，给损失函数添加 L2 正则化，
则损失函数变化为如式（5）所示：
LR (W , b)  L(W , b)   (W ) （5）
式 中 λ 为 正 则 化 系 数 ， Ω(W) 为 正 则 化 函 数
1
 (W )  W TW 。
2
1.2.2 模型超参数设置和参数更新
模型训练前，指定训练选项并设置超参数，选用带
动量的随机梯度下降算法作为模型的优化器，最大训练
轮数设置为 12，批大小为 70，总共进行 360 次迭代训练，
动量设置为 0.8，L2 正则化系数设为 0.000 5，每一轮训
练与验证前对数据进行打乱，验证频率为 1，使用 GPU
加速模型的训练与验证过程并进行可视化分析。
模型的训练过程包括花生荚果特征提取的前向传播
过程，即根据输入计算输出的过程；参数更新的反向传
播过程，即反向传播实际输出与期望输出的误差，更新
各层参数。通过上述前后的迭代循环训练，目标是使损
失函数值达到最小。
本研究采用带动量的随机梯度下降算法（Stochastic
Gradient Descent with Momentum, SGDM）来更新参数和
优化训练过程，参数更新函数表达式如式（6）所示：
l 1   l  LR (l )  m(l  l 1 ) （6）
式中 l 为迭代次数； θ 为参数（权重矩阵 W 和偏置向量 b）；
LR ( ) 为损失函数的梯度；m 为动量因子，通常取值为
0.9；α 为学习率，其为优化时的重要超参数，α 过大，网
络不收敛，α 过小，则收敛缓慢。学习率 α 调整策略本研
究采用分段式常数衰减法，也称步衰减法，即每经过指
定的迭代次数，α 乘以一个衰减系数  (0< <1) 进行学习
率的更新。
1.3 模型评价指标
通 过混 淆 矩 阵 计算 查 准 率 （Precision ） 、 查 全率
（Recall）、F1 得分（F1-score）和准确率（Accuracy）、
来评估所提出模型的性能，各指标函数表达式如式（7）～
（10）所示：
TP
Precision   100% （7）
TP  FP
TP
Recall   100% （8）
TP  FN
 174 农业工程学报（http://www.tcsae.org） 2020 年

2Precision  Recall 步骤 1：微调 AlexNet 模型，根据花生荚果实际要求

F1-score=  100% （9）
Precision+Recall 输出 5 级类别，把最后一个全连接层由 1 000 类输出改为
N 5 类输出，替换新的 Softmax 层以及分类输出层，模型仍
Accuracy  correct  100% （10）
N total 为 8 层结构，记此时微调的迁移学习模型为花生 AlexNet-
式中 TP 为真阳性样本数量，FP 为假阳性样本数量，FN Ⅰ（Peanut_AlexNet-Ⅰ，PA-Ⅰ）；
为假阴性样本数量，Ncorrect 为测试中预测正确的样本数 步骤 2：在步骤 1 的基础上，用 BN 替换 LRN，有 2
量，Ntotal 为总的测试样本数量。 种方式，1）BN 置于 ReLU 前时，记迁移学习模型为花
生 AlexNet-Ⅱ（Peanut_AlexNet-Ⅱ，PA-Ⅱ）；2）BN 置
2 结果与分析 于 ReLU 后 时 ， 记 迁 移 学 习 模 型 为 花 生 AlexNet-Ⅲ
2.1 不同基本模型训练分析 （Peanut_AlexNet-Ⅲ，PA-Ⅲ） ；
本研究结合现有设备，对 AlexNet、GoogLeNet 和 步骤 3：在步骤 1 的基础上对模型进行全部学习，即
ResNet18 3 种花生荚果图像分类识别基本模型进行对比 随机初始化所有层的参数，记此时的全部学习模型为花
试验，分别把 3 种基本模型的最后一个全连接层由 1 000 生 AlexNet-Ⅳ（Peanut_AlexNet-Ⅳ，PA-Ⅳ）。
类输出改为 5 类输出，替换新的 Softmax 层以及分类输 表1 AlexNet、GoogLeNet、ResNet18 3 种
出层，在相同的训练设置下，用花生荚果图像训练集与 模型迁移学习结果比较
验证集分别训练与验证模型，3 种模型的迁移学习训练 Table 1 Comparison of transfer learning results of AlexNet,
过程并未出现过拟合，达到最大迭代训练次数各模型均 GoogLeNet and ResNet18 models
大小 训练时间 测试准确率
稳定收敛，模型都得到了充分的训练，3 种模型的验证 方法 深度 参数量
Size/ Training Test
Methods Depth Parameters
过程如图 2 所示。由图 2 可知这 3 种模型均可用于花生 MB time/s accuracy/%
AlexNet 迁移学习
荚果等级的识别，其中 ResNet18 的准确率最高，损失 AlexNet transfer 8 202 56 888 709 1 428 93.57
learning
值最低。GoogLeNet 的网络层数比 ResNet18 和 AlexNet GoogLeNet 迁移学习
要多，但性能并未优于 ResNet18，说明模型深度的增 GoogLeNet transfer 22 21.7 5 978 677 3 422 95.43
learning
加，用本研究的花生荚果图像数据集训练出的模型性能 ResNet18 迁移学习
并不一定提高。 ResNet18 transfer 18 39.7 11 174 277 3 304 96.14
learning
注：深度为模型从输入层到输出层的路径中顺序卷积层或全连接层的最大数
量，大小为模型占用的内存空间。
Note: The depth is the maximum number of sequential convolution layers or full
connection layers in the path from the input layer to the output layer, and the size
is the memory space occupied by the model.

上述 4 种模型 PA-Ⅰ、PA-Ⅱ、PA-Ⅲ和 PA-Ⅳ都

具有 8 层结构（5 个卷积层和 3 个全连接层），其中
前 3 种模型仅对所建的全连接层的参数（权重矩阵 W
和偏置向量 b）进行初始化，而 PA-Ⅳ模型则对所有
图2 AlexNet、GoogLeNet、ResNet18 3 种模型迁移学习的验
层参数进行初始化，采用均值为 0，标准差为 0.01 的
证准确率与损失值曲线
Fig.2 Validation accuracy and loss values curves of AlexNet, 正态分布来随机初始化。考虑试验复杂性，在不同影
GoogLeNet and ResNet18 models in transfer learning 响因素下，对本研究获取的花生荚果等级图像数据集
进行模型训练、超参数优选及模型择优等试验，包括
用花生荚果图像测试集对 AlexNet、GoogLeNet 和 固定不同学习率和学习率自动更新的迁移学习和全部
ResNet18 3 种迁移学习模型进行测试，结果如表 1 所示， 学习、不同激活函数的迁移学习以及降低全连接层参
可 知 3 种 模型的测试精 度均能满足 分级 要 求， 其 中 数量的迁移学习。
GoogLeNet 和 ResNet18 模型的测试精度稍高于 AlexNet 2.2.2 不同模型下学习率的影响
模型，但 GoogLeNet、 ResNet18 花费的训练时间是 AlexNet 固定学 习 率的 值依次为 0.01、0.001 、0.000 1 和
的 2～3 倍。所以本研究后续工作是在 AlexNet 模型的基 0.000 01 对上述 4 种花生荚果等级识别模型分别进行训
础上，对模型结构进行了微调设计和参数优化分析等方 练，总共进行 16 组试验，经过 360 次迭代训练后，4 种
面的工作。 模型 PA-Ⅰ、PA-Ⅱ、PA-Ⅲ和 PA-Ⅳ的训练与验证结果
2.2 基于 AlexNet 的 4 种改进模型结构及参数优化分析 如表 2 所示。由表 2 可知学习率对各模型训练结果影响
2.2.1 微调模型结构研究 较大。同一学习率下，各模型性能有差异，学习率不同
为了获得更高的识别准确率，采用微调模型结构 时，同一模型性能也不同。学习率为 0.01 时，PA-Ⅲ模型
方法对 AlexNet 原始模型进行了改进，研究了 4 种不 准确率最高，损失值最低，性能最优，模型性能由高到
同花生荚果等级图像识别结构模型，微调模型构建步 低依次为 PA-Ⅲ、PA-Ⅱ、PA-Ⅳ和 PA-Ⅰ，其中 PA-Ⅰ模
骤如下： 型准确率仅为随机猜测水平，训练过程中模型发散导致
 第 23 期 张瑞青等：基于迁移学习的卷积神经网络花生荚果等级图像识别 175

损失值出现无穷大（NaN）；学习率为 0.001 时，PA-Ⅲ 表2 不同固定学习率下 PA-I、PA-II、PA-III 和 PA-IV

模型性能最优，模型性能由高到低依次为 PA-Ⅲ、PA-Ⅱ、 4 种模型训练集与验证集的准确率和损失值
Table 2 Accuracy and loss values of training set and validation
PA-Ⅰ和 PA-Ⅳ；学习率为 0.000 1 或 0.000 01 时，PA-Ⅰ set of PA-I, PA-II, PA-III, and PA-IV models under different fixed
模型性能最优，模型性能由高到低依次为 PA-Ⅰ、PA-Ⅲ、 learning rates
PA-Ⅱ、和 PA-Ⅳ。比较同一个模型在不同学习率下的性 固定学习率 损失值 Loss values 准确率 Accuracy/%
模型
Fixed learning 训练集 验证集 训练集 验证集
Models
能，发现以学习率为 0.001 训练的这一组模型的性能比其 rates Training set Validation set Training set Validation set
余 3 组要好。 PA-I NaN NaN 22.38 20.00
PA-II 0.086 3 0.149 1 97.14 94.62
0.01
PA-Ⅰ、PA-Ⅲ、PA-Ⅱ、和 PA-Ⅳ 4 种模型的验证曲 PA-III 0.085 0 0.100 8 98.10 97.00
PA-IV 0.713 6 0.771 4 74.29 70.81
线如图 3 所示，由图 3 可知，学习率为 0.01 时，经过 360
PA-I 0.111 7 0.136 9 96.67 95.28
次迭代训练后 4 种模型均不能收敛，曲线出现了不同程度 PA-II
0.001
0.046 7 0.071 5 98.10 97.52
PA-III 0.063 2 0.067 6 98.10 97.71
的振荡，全部学习的 PA-Ⅳ模型曲线振荡最严重，说明学习 PA-IV 0.759 7 0.737 5 65.71 72.33
率过大，设置不当；学习率为 0.000 1 或 0.000 01 时，虽然 PA-I 0.265 0 0.144 2 92.38 94.28
PA-II 0.535 7 0.525 0 88.57 86.33
曲线振荡不严重，但训练过于缓慢，达到最大迭代次数模 PA-III
0.000 1
0.398 7 0.392 6 88.10 89.29
型还未收敛，说明学习率过小，模型还需要更多的迭代次 PA-IV 1.441 7 1.411 6 37.62 45.19
PA-I 0.586 6 0.444 1 77.14 84.24
数来训练；学习率为 0.001 时，各模型均能获得较高的准确 PA-II 1.460 5 1.447 4 52.38 72.67
0.000 01
率和较低的损失值，其中 PA-Ⅲ模型性能最优基本达到收 PA-III 1.378 7 1.353 3 57.62 74.62
PA-IV 1.610 8 1.603 7 18.57 27.33
敛，迭代 100 次，迁移学习模型的准确率比全部学习模型 注：NaN 表示无穷大。
高出约 34%～41%，且迁移学习模型曲线振荡幅度更小。 Note: NaN means infinity.

注：α 为学习率。 Note: α is the learning rate.

图 3 不同固定学习率下 PA-I、PA-II、PA-III 和 PA-IV 4 种模型的验证准确率与损失值曲线
Fig.3 Validation accuracy and loss values curves of PA-I, PA-II, PA-III and PA-IV models under different fixed learning rates

综上可知超参数学习率对花生荚果等级识别模型性 到最大迭代训练时都达到了稳定收敛的状态，不再像此
能有重要影响：模型达到最大迭代训练次数时仍未收敛 前的曲线振荡，表明各模型都得到了充分的训练，此时
表明超参数学习率的设置不当，需要修改；学习率过大， 的超参数设置合适。PA-I、PA-II、PA-III 和 PA-IV 4 个
模型训练振荡甚至无法正常训练；学习率过小，模型训 模型的验证准确率分别为 93.81%、95.10%、97.24%和
练缓慢；学习率适当，迁移学习的模型获得的准确率更 61.33%，验证损失值分别为 0.206 9、0.156 8、0.096 8 和
高，损失值更低。以固定学习率的方式对网络模型训练 0.981 1，其中 PA-Ⅲ模型获得的准确率最高，损失值最低，
不可取，需要大量的试错或优化方法寻找一个合适的学 表明其性能最优。
习率，较为耗时。 PA-I、PA-II、PA-III 和 PA-IV 4 种模型的验证曲线
由表 2 与图 3 可知固定学习率为 0.001 时各模型的性 如图 4 所示，由图 4 可知，在取得相同验证准确率 60%
能较好，但验证曲线未达到稳定收敛。因此学习率采用 的情况下，全部学习模型 PA-IV 4 所需迭代次数大约是迁
分段式常数衰减法进行更新，设置初始学习率为 0.001， 移学习模型的 8.3～15 倍，说明 PA-I、PA-II、PA-III 3
每经过 4 个周期学习率乘以衰减系数 0.1 进行更新，对 种迁移学习模型训练更快更容易。PA-I 模型结构中有
PA-I、PA-II、PA-III 和 PA-IV 4 个模型分别进行训练， LRN 层，而 PA-II 和 PA-III 模型结构中有 BN 层，迭代
训练与验证结果如表 3 所示，观察训练过程发现各模型 训练 100 次时， PA-II 和 PA-III 模型达到的准确率比 PA-I
训练时并未发生过拟合。由表 3 可知，相较于表 2 中固 模型高出约 7%～10%，达到的损失值也小于 PA-I 模型，
定学习率为 0.001 的 4 种模型，准确率下降，损失值上升。 说明 BN 有助于模型的训练且能使模型获得更高的准确
但由图 4 与图 3cd 可知，学习率更新下训练的 4 种模型达 率和更低的损失值。
 176 农业工程学报（http://www.tcsae.org） 2020 年

表3 学习率更新下 PA-I、PA-II、PA-III 和 PA-IV 4 种模型训 2.2.3 不同模型下归一化的影响

练集与验证集的准确率和损失值 本研究通过可视化归一化层上的特征分布来分析
Table 3 Accuracy and loss values of training set and validation set of
比较 PA-I、PA-II 和 PA-III 模型，3 种模型归一化层上
PA-I, PA-II, PA-III, and PA-IV models under learning rate updating
损失值 Loss values 准确率 Accuracy/%
的特征分布如图 5 所示。由图 5 可知，虽然 PA-Ⅱ模型
模型
Models 训练集 验证集 训练集 验证集 BN 上的特征分布少于 PA-I 模型 LRN 上的特征分布，
Training set Validation set Training set Validation set
但 PA-I 模型 LRN 上的特征分布存在尖锐突出现象，
PA-I 0.212 8 0.206 9 91.43 93.81
PA-II 0.160 3 0.156 8 96.19 95.10 PA-II 模型 BN 上的特征分布则较为平缓，使得 PA-II
PA-III 0.113 1 0.096 8 95.71 97.24 模型的训练结果优于 PA-I 模型。PA-II 模型 BN 处于
PA-IV 0.975 3 0.981 1 61.43 61.33
ReLU 前，BN 归一化卷积层输出特征图再经 ReLU 后
特征减少，原因是归一化后有的特征变为负值（归一化
前可能不是负值的特征）经过 ReLU 后，负值变为 0，
该特征被抑制得不到学习；PA-III 模型 BN 处于 ReLU
后，BN 归一化 ReLU 的激活值即正值特征，归一化后
的特征较 PA-II 模型的多，且 PA-III 模型第二个 BN 上
的特征分布更具平滑性和对称性，使得 PA-III 模型的
训练结果优于 PA-II 模型。BN 确实改善了训练过程，
图 4 学习率更新下 PA-I、PA-II、PA-III 和 PA-IV 4 种模型的验
使模型能获得更高的准确率和更低的损失值，关键因素
证准确率与损失值曲线
Fig.4 Validation accuracy and loss values curves of PA-I, PA-II, 在于 BN 的平滑效果使优化问题的解空间更加平滑 [33]，
PA-III and PA-IV models under learning rate updating 从而加快了训练，提高了性能。

图 5 PA-I、PA-II 和 PA-III 3 种模型归一化层上的特征分布

Fig.5 Feature distribution on the normalization layers of PA-I, PA-II, and PA-III models

2.2.4 不同模型下激活函数的影响 a 值，通过多组训练结果发现，a 取值≥0.05 时，模型损

Xu 等[34]通过试验得到 LReLU 系数 a 为 0.01 时，与 失值出现无穷大，准确率仅为 20%，说明这些值不适用
使用 ReLU 的模型性能相似， 当 a 为 0.18 时，
性能比 ReLU 于本研究；a 取值≤0.01 时，模型性能良好能达到稳定收
好。为了提高花生荚果等级识别模型的分类识别准确率， 敛，且取值为 0.000 1 时，模型性能最优。
本研究探究了 LReLU 中系数 a 的取值规律。 同样在 2.2.1 中步骤 2 的基础模型上，激活函数全部
在 2.2.1 中步骤 1 的基础模型上，用 LReLU 激活函 替换为 LReLU，并取值 0.000 1，此时模型分别记为
数替换 ReLU，此时模型记为 LReLU 型花生 AlexNet-Ⅰ LReLU 型花生 AlexNet-Ⅱ（LReLU-Peanut_AlexNet-Ⅱ,
（LReLU-Peanut_AlexNet-Ⅰ, LReLU-PA-Ⅰ）。取不同的 LReLU-PA- Ⅱ ） 和 LReLU 型 花 生 AlexNet- Ⅲ
 第 23 期 张瑞青等：基于迁移学习的卷积神经网络花生荚果等级图像识别 177

（LReLU-Peanut_AlexNet-Ⅲ, LReLU-PA-Ⅲ）并进行训练， 率提高，损失值降低，PA 模型的验证准确率和损失值分

LReLU-PA-Ⅰ、LReLU-PA-Ⅱ和 LReLU-PA-Ⅲ 3 种模型 别达到了 98.00%和 0.051 4，且训练时间缩减了 220 s，
训练过程并未出现过拟合，曲线稳定收敛。训练与验证 PA 模型的验证结果优于 PA-Ⅲ模型。
结果如表 4 所示。由表 4 可知，LReLU-PA-Ⅲ模型准确 表 5 PA-Ⅲ和 PA 2 种模型训练集与验证集的准确率和损失值
率最高，损失值最低，表明其性能最优。相较表 4 与表 3 Table 5 Accuracy and loss values of training set and validation
可知，替换激活函数后，LReLU-PA-Ⅰ模型较 PA-Ⅰ模型 set of PA-Ⅲ and PA models
准确率提高，损失值降低，模型性能得到了一定的提升， 训练时间 损失值 Loss values 准确率 Accuracy/%
模型
Training
但 LReLU-PA-Ⅱ、LReLU-PA-Ⅲ模型与 PA-Ⅱ、PA-Ⅲ模 Models 训练集 验证集 训练集 验证集
time/s Training set Validation set Training set Validation set
型性能相当，性能提升的效果很微弱，LReLU 对模型的 1 438 0.113 1 0.096 8 95.71 97.24
PA-Ⅲ
训练并没有产生实质性的影响而且还需花费额外的时间 PA 1 218 0.098 4 0.051 4 98.57 98.00
搜索合适的系数。
表4 LReLU-PA-Ⅰ、LReLU-PA-Ⅱ和 LReLU-PA-Ⅲ 3 种模型 PA-Ⅲ和 PA 2 种模型的验证曲线如图 6 所示。观察
训练集与验证集的准确率和损失值 模型训练过程训练集和验证集的准确率及损失值变化曲
Table 4 Accuracy and loss values of training set and validation 线走势基本一致，模型未出现过拟合，训练结束时模型
set of LReLU-PA-Ⅰ, LReLU-PA-Ⅱ, and LReLU-PA-Ⅲ models 稳定收敛。综合表 5 和图 6 可知，PA 模型的准确率更高，
损失值 Loss values 准确率 Accuracy/% 损失值更低，花费的训练时间更少，说明降低全连接层
模型
Models 训练集 验证集 训练集 验证集
Training set Validation set Training set Validation set
参数量可以提升模型的性能，减少训练时间，提高效率。
LReLU-PA-Ⅰ 0.104 9 0.153 0 97.62 94.90
LReLU-PA-Ⅱ 0.174 8 0.156 4 93.81 94.67
LReLU-PA-Ⅲ 0.132 0 0.092 1 95.71 97.38

2.2.5 全连接层参数量的影响
通 过 上 述 对 PA- Ⅰ 、 PA- Ⅱ 、 PA- Ⅲ 、 PA- Ⅳ 、
LReLU-PA-Ⅰ、LReLU-PA-Ⅱ和 LReLU-PA-Ⅲ 7 种模型
在本研究的花生荚果图像数据集上的训练与验证结果比
图 6 PA-Ⅲ和 PA 2 种模型的验证准确率与损失值曲线
较分析，可知在学习率更新的情况下 LReLU-PA-Ⅲ模型
Fig.6 Validation accuracy and loss values curves of PA-Ⅲ and
和 PA- Ⅲ 模 型 的 验 证 结 果 优 于 其 他 模 型 ， 但 因 为 PA models
LReLU-PA-Ⅲ模型需耗费额外的时间搜索合适的系数，
所以 PA-Ⅲ模型的训练效率高于 LReLU-PA-Ⅲ模型。但 2.3模型检验
此时 PA-Ⅲ模型的参数量仍然庞大，模型训练时间较长， 使用最终训练好的 PA 模型对花生荚果测试集进行
因此对 PA-Ⅲ模型进行降参处理，缩短训练时间，降低模 等级识别，通过混淆矩阵计算得到查准率、查全率及 F1
型占用的内存空间。 值评估模型的性能（表 6）。由表 6 可知 PA 模型对花生
对 PA-Ⅲ模型进行改进：去除所有的全连接层，设计 荚果等级的平均分类识别准确率为 95.43%，准确率较高，
新的 2 个全连接层（全连接层 FC1、FC2 的输出单元数 分类性能（根据 F1 得分）由高到低依次为三级果、二级
分 别 为 512 、 5 ） ， 此 时 的 模 型 即 为 花 生 AlexNet 果、一级果、五级破损果和四级异形果。测试集中四等
（Peanut_AlexNet, PA）（图 1），与 PA-Ⅲ模型相比，PA 异形果的识别准确率为 87.14%，误识别为五级破损果的
模型参数量下降了 87.60%。用花生荚果图像训练集与验 较多，主要是因为部分荚果腰部窄小且存在暗色区域，
证集分别对 PA-Ⅲ和 PA 2 种模型进行训练与验证，训练 荚果表面有斑块，荚果头部或尾部有凹陷以及低分辨率
结果如表 5 所示，由表 5 可知，降参数量后，模型准确 等因素造成的误判。

表 6 PA 模型的混淆矩阵及分类性能
Table 6 Confusion matrix and classification performance of PA model
预测花生荚果等级 Prediction of peanut pod grades 分类性能 Classification performance
样本集 四级异形果 五级破损果
Sample sets 一级果 二级果 三级果 查准率 查全率 F1 得分
Fourth-grade Fifth-grade
First-grade pod Second-grade pod Third-grade pod Precision/% Recall/% F1 score/%
abnormal pod damaged pod
一级果
131 0 0 1 8 99.24 93.57 96.32
First-grade pod
二级果
0 136 0 1 3 97.84 97.14 97.49
Second-grade pod
三级果
0 0 139 0 1 100 99.29 99.64
Third-grade pod
四级异形果
1 3 0 122 14 98.39 87.14 92.42
Fourth-grade abnormal pod
五级破损果
0 0 0 0 140 84.34 100 94.50
Fifth-grade damaged pod
 178 农业工程学报（http://www.tcsae.org） 2020 年

convolution neural network[J]. Transactions of the Chinese

3 结 论 Society of Agricultural Engineering (Transactions of the
CSAE), 2018, 34(21): 195-201. (in Chinese with English
本研究提出一种基于迁移学习的花生荚果等级图像
abstract)
识别方法，利用 AlexNet 模型进行迁移学习，构建了适合
[5] 刘翠玲，林珑，于重重，等. 基于深度学习的花生高光谱
花生荚果等级识别的网络模型，并对影响模型性能的层
图像分类方法研究[J]. 计算机仿真，2020，37(3)：189-192，
结构和超参数等因素进行了分析，结论如下：
283.
1）4 种微调模型花生 AlexNet-Ⅰ（Peanut_AlexNet-Ⅰ， Liu Cuiling, Lin Long, Yu Chongchong, et al. Research on
PA-Ⅰ）、花生 AlexNet-Ⅱ（Peanut_AlexNet-Ⅱ，PA-Ⅱ）、 peanut hyperspectral image classification method based on
花生 AlexNet-Ⅲ（Peanut_AlexNet-Ⅲ，PA-Ⅲ）和花生 deep learning[J]. Computer Simulation, 2020, 37(3): 189-192,
AlexNet-Ⅳ（Peanut_AlexNet-Ⅳ，PA-Ⅳ）中，PA-Ⅲ模型 283. (in Chinese with English abstract)
的性能最佳；基于 PA-Ⅲ模型，构建并训练的花生荚果等 [6] Han Dongmei, Liu Qigang, Fan Weiguo. A new image
classification method using CNN transfer learning and web
级识别模型花生 AlexNet（Peanut_AlexNet，PA）可以较
data augmentation[J]. Expert Systems with Applications,
好的识别花生荚果等级，平均识别准确率为 95.43%。 2018, 95: 43-56.
2）学习率对模型性能影响较大，学习率固定，模型 [7] Tain Lei, Fan Chunxiao, Ming Yue, et al. Stacked PCA
训练结果不佳；学习率自动更新，模型都能达到收敛且 Network (SPCANet): An effective deep learning for face
迁移学习模型较全部学习模型性能要好；学习率自动更 recognition[C]//IEEE International Conference on Digital
新时，批归一化（Batch Normalization, BN）性能较局部 Signal Processing, Singapore, Singapore, 2015.
响应归一化（Local Response Normalization, LRN）要好， [8] 高震宇，王安，刘勇，等. 基于卷积神经网络的鲜茶叶智
能使模型获得更高的准确率和更低的损失值。 能分选系统研究[J]. 农业机械学报，2017，48(7)：53-58.
Gao Zhenyu, Wang An, Liu Yong, et al. Intelligent
3）当模型激活函数为泄露的修正线性单元（Leaky
fresh-tea-leaves sorting system research based on convolution
Rectified Linear Unit，LReLU）且系数为 0.000 1 时，与
neural network[J]. Transactions of the Chinese Society for
使用修正线性单元（Rectified Linear Unit，ReLU）为激 Agricultural Machinery, 2017, 48(7): 53-58. (in Chinese with
活函数的模型性能相当，LReLU 对模型的训练结果并未 English abstract)
有实质影响。 [9] Patino-Saucedo A, Rostro-Gonzalez H, Conradt J. Tropical
fruits classification using an AlexNet-type convolutional
4）全连接层参数量对模型性能有一定影响，降低全
neural network and image augmentation[C]//The 25th
连接层参数量后，训练时间减少，模型准确率提高，损
International Conference on Neural Information Processing,
失值降低。 Siem Reap, Cambodia, 2018.
[10] 郑一力，张露. 基于迁移学习的卷积神经网络植物叶片图
[参 考 文 献]
像识别方法[J]. 农业机械学报，2018，49(增刊 1)：354-359.
[1] 吕尚武，尚书旗，王东伟，等. 花生除杂（清选）分级机
Zheng Yili, Zhang Lu. Plant leaf image recognition method
的设计与研究[J]. 农机化研究，2019，41(9)：71-75.
based on transfer learning with convolutional neural
Lyu Shangwu, Shang Shuqi, Wang Dongwei, et al. Design networks[J]. Transactions of the Chinese Society for
and research of peanut cleaning and sorting machine[J]. Agricultural Machinery, 2018, 49(Supp1): 354-359. (in
Journal of Agricultural Mechanization Research, 2019, 41(9): Chinese with English abstract)
71-75. (in Chinese with English abstract)
[11] 龙满生，欧阳春娟，刘欢，等. 基于卷积神经网络与迁移
[2] 高连兴，李献奇，关萌，等. 双吸风口振动式花生荚果清
学习的油茶病 害图像识别[J]. 农业工程学报，2018，
选装 置设计与试验[J]. 农业机械学报，2015，46(3)：
34(18)：194-201.
110-117.
Long Mansheng, Ouyang Chunjuan, Liu Huan, et al. Image
Gao Lianxing, Li Xianqi, Guan Meng, et al. Design and test
recognition of Camellia oleifera diseases based on
on cleaning device of peanut pods with double air-suction
convolutional neural network & transfer learning[J].
inlets with vibration screen[J]. Transactions of the Chinese
Transactions of the Chinese Society of Agricultural
Society for Agricultural Machinery, 2015, 46(3): 110-117. (in
Engineering (Transactions of the CSAE), 2018, 34(18):
Chinese with English abstract)
194-201. (in Chinese with English abstract)
[3] 韩仲志，赵友刚. 基于计算机视觉的花生品质分级检测研
[12] 许景辉，邵明烨，王一琛，等. 基于迁移学习的卷积神经
究[J]. 中国农业科学，2010，43(18)：3882-3891.
网络玉米病害图像识别[J]. 农业机械学报，2020，51(2)：
Han Zhongzhi, Zhao Yougang. Quality grade detection in
230-236，253.
peanut using computer vision[J]. Science Agricultural Sinica,
Xu Jinghui, Shao Mingye, Wang Yichen, et al. Recognition
2010, 43(18): 3882-3891. (in Chinese with English abstract)
of corn leaf spot and rust based on transfer learning with
[4] 赵志衡，宋欢，朱江波，等. 基于卷积神经网络的花生籽
convolution neural network[J]. Transactions of the Chinese
粒完 整性识别算法及 应用[J]. 农业工程学报，2018，
Society for Agricultural Machinery, 2020, 51(2): 230-236,
34(21)：195-201. 253. (in Chinese with English abstract)
Zhao Zhiheng, Song Huan, Zhu Jiangbo, et al. Identification [13] 马浚诚，杜克明，郑飞翔，等. 基于卷积神经网络的温室
algorithm and application of peanut kernel integrity based on
 第 23 期 张瑞青等：基于迁移学习的卷积神经网络花生荚果等级图像识别
黄瓜病害识别系统[J]. 农业工程学报，2018，34(12)：
86-192.
Ma Juncheng, Du Keming, Zheng Feixiang, et al. Disease
recognition system for greenhouse cucumbers based on deep
convolutional neural network[J]. Transactions of the Chinese
Society of Agricultural Engineering (Transactions of the
CSAE), 2018, 34(12): 186-192. (in Chinese with English
abstract)
[14] 王艳玲，张宏立，刘庆飞，等. 基于迁移学习的番茄叶片
病害 图像分类[J]. 中国农业大学学报，2019，24(6)：
124-130.
Wang Yanling, Zhang Hongli, Liu Qingfei, et al. Image
classification of tomato leaf diseases based on transfer
learning[J]. Journal of China Agricultural University, 2019,
24(6): 124-130. (in Chinese with English abstract)
[15] 毕松，高峰，陈俊文，等. 基于深度卷积神经网络的柑橘
目标识别方法[J]. 农业机械学报，2019，50(5)：181-186.
Bi Song, Gao Feng, Chen Junwen, et al. Detection method of
citrus based on deep convolution neural network[J].
Transactions of the Chinese Society for Agricultural
Machinery, 2019, 50(5): 181-186. (in Chinese with English
abstract)
[16] 穆龙涛，高宗斌，崔永杰，等. 基于改进 AlexNet 的广域
复杂 环境下遮挡猕猴桃目 标 识别[J]. 农业机械学报，
2019，50(10)：24-34.
Mu Longtao, Gao Zongbin, Cui Yongjie, et al. Kiwifruit
detection of far-view and occluded fruit based on improved
AlexNet[J]. Transactions of the Chinese Society for
Agricultural Machinery, 2019, 50(10): 24-34. (in Chinese
with English abstract)
[17] Geng Lei, Xu Wenlong, Zhang Fang, et al. Dried jujube
classification based on double branch deep fusion
convolution neural network[J]. Food Science and Technology
Research, 2018, 24(6): 1007-1015.
[18] Krizhevsky A, Sutskever I, Hinton G E. ImageNet
classification with deep convolutional neural networks[C]//
Proceeding of the 25th International Conference on Neural
Information Processing Systems, Lake Tahoe, Nevada, 2012.
[19] Simonyan K, Zisserman A. Very deep convolutional
networks for large-scale image recognition[C]// International
Conference on Learning Representations, San Diego, USA,
2015.
[20] Szegedy C, Liu Wei, Jia Yangqing, et al. Going deeper with
convolutions[C]// IEEE Conference on Computer Vision and
Pattern Recognition,Boston, USA, 2015.
[21] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Deep
residual learning for image recognition[C]// IEEE Conference
on Computer Vision and Pattern Recognition, Los Alamitos,
USA, 2016.
[22] 陈秀勇. 冀花 5 号花生种植技术[J]. 农技服务，2013，
30(4)：324.
Chen Xiuyong. Planting techniques of Jihua No.5 peanut [J].
Agricultural Technology Service, 2013, 30(4): 324. (in
Chinese with English abstract)
[23] 中华人民共和国农业部. 中华人民共和国农业行业标准-
179
食 用 花 生 ： NY/T 1067-2006[S/OL]. [2006-07-10],
https://www.antpedia.com/standard/files/pdfs_ora/CN-NY/62e/
NY_T%201067-2006.pdf.
[24] 庄福振，罗平，何清，等. 迁移学习研究进展[J]. 软件学
报，2015，26(1)：26-39.
Zhuang Fuzhen, Luo Ping, He Qing, et al. Survey on transfer
learning research[J]. Journal of Software, 2015, 26(1): 26-39.
(in Chinese with English abstract)
[25] 李彦冬，郝宗波，雷航. 卷积神经网络研究综述[J]. 计算
机应用，2016，36(9)：2508-2515，2565.
Li Yandong, Hao Zongbo, Lei Hang. Survey of convolutional
neural network[J]. Journal of Computer Applications, 2016,
36(9): 2508-2515, 2565. (in Chinese with English abstract)
[26] 周飞燕，金林鹏，董军. 卷积神经网络研究综述[J]. 计算
机学报，2017，40(6)：1229-1251.
Zhou Feiyan, Jin Linpeng, Dong Jun. Review of
convolutional neural network[J]. Chinese Journal of
Computer, 2017, 40(6): 1229-1251. (in Chinese with English
abstract)
[27] Wang Shuihua, Xie Shipeng, Chen Xianqing, et al.
Alcoholism identification based on an AlexNet transfer
learning model[J]. Frontiers in Psychiatry, 2019, 10: 1-13.
[28] Maas A L, Hannun A Y, Ng A Y. Rectifier nonlinearities
improve neural network acoustic models[C]// Proceedings of
the 30th International Conference on Machine Learning,
Atlanta, USA, 2013.
[29] 郭敏钢，宫鹤. AlexNet 改进及优化方法的研究[J]. 计算机
工程与应用，2020，56(20)：124-131.
Guo Mingang, Gong He. Research on AlexNet improvement
and optimization method[J]. Computer Engineering and
Applications, 2020, 56(20): 124-131. (in Chinese with
English abstract)
[30] 郭小清，范涛杰，舒欣. 基于改进 Multi-Scale AlexNet 的
番茄叶部病害图像识别[J]. 农业工程学报，2019，35(13)：
162-169.
Guo Xiaoqing, Fan Taojie, Shu Xin. Tomato leaf diseases
recognition based on improved multi-scale AlexNet[J].
Transactions of the Chinese Society of Agricultural
Engineering (Transactions of the CSAE), 2019, 35(13):
162-169. (in Chinese with English abstract)
[31] Ioffe S, Szegedy C. Batch normalization: Accelerating deep
network training by reducing internal covariate shift[C]//
Proceedings of the 32nd International Conference on Machine
Learning, Lille, France, 2015.
[32] Rosebrock A. Deep Learning for Computer Vision with
Python-Starter Bundle[M]. Baltimore: PyImageSearch, 2017:
189-190.
[33] Santurkar S, Tsipras D, Ilyas A, et al. How does batch
normalization help optimization?[C]// Proceedings of the 32nd
International Conference on Neural Information Processing
Systems, Montréal, Canada, 2018.
[34] Xu Bing, Wang Naiyan, Chen Tianqi, et al. Empirical
evaluation of rectified activations in convolutional
network[C]//Proceedings of the 32nd International Conference
on Machine Learning, Lille, France, 2015.
 180 农业工程学报（http://www.tcsae.org） 2020 年

Image recognition of peanut pod grades based on transfer learning with

convolutional neural network
Zhang Ruiqing1, Li Zhangwei1, Hao Jianjun1, Sun Lei1, Li Hao1, Han Peng2
(1. College of Mechanical and Electrical Engineering, Hebei Agricultural University, Baoding 071001, China;
2. Agricultural Technology Extension Station of Hebei Province, Shijiazhuang 050000, China)

Abstract: Aiming at the problems of low efficiency of manual grading and inaccurate mechanical grading of peanut pods, a
convolutional neural network peanut pod grades image recognition method based on transfer learning was proposed. By using
the operations of the flip, rotation, translation, contrast transformation, and brightness transformation, the obtained five grades
(first-grade pod, second-grade pod, third-grade pod, fourth-grade abnormal pod, and fifth-grade damaged pod) of peanut pod
images were expanded and preprocessed, thus the peanut pod grades image data set was established. The 60% of data was
randomly selected as the training set, 20% of data was randomly selected as the validation set, and the remaining 20% as the
test set. The performance of peanut pod image classification based on the GoogLeNet, ResNet18, and AlexNet was compared
and analyzed. The peanut pod grades recognition model was improved by transferring the AlexNet convolution layers. The
local response normalization was replaced by batch normalization, and the activation function was placed in different positions
before and after the batch normalization layer, so that four different recognition-training models were designed, including the
PA-I model, PA-II model, PA-III model, and PA-IV model. The transfer learning contrast experiments and the hyperparameter
optimization experiments of the learning rate carried out for the four improved AlexNet models proposed above. The effects of
the unsaturated activation function (ReLU) and improved unsaturated activation function (LReLU) on the performance of the
model were studied. The experimental results showed that the training time of the AlexNet model was the least on the basis of
satisfying the test accuracy and the learning rate of transfer learning based on the improved AlexNet model was a very
important hyperparameter that needed to be optimized. If the learning rate is chosen too high, the model training oscillates
seriously and even can’t train normally; if the learning rate too small, the model training slow. An appropriate learning rate can
speed up the training and improve the recognition ability of the model. When the learning rate was updated automatically, the
model with batch normalization had better performance than local response normalization, which could make the model get
higher accuracy and lower loss value. When the coefficient of activation function LReLU was 0.000 1, the performance of the
LReLU used in the model was equivalent to that of the ReLU used in the model, therefore LReLU had no substantial impact
on the training results of the model. The addition of batch normalization and reduction of parameters in the model reduced 220
s training time and improved the model’s performance. The classification accuracy of the proposed peanut pod grades
recognition model for the first-grade pod, second-grade pod, third-grade pod, fourth-grade abnormal pod, and fifth-grade
damaged pod was 93.57%, 97.14%, 99.29%, 87.14%, and 100% respectively and the average classification accuracy reached
95.43%, and F1-scores achieved 96.32%, 97.49%, 99.64%, 92.42%, and 94.50% respectively. The model proposed in this
study had high classification accuracy for peanut pod grades and could provide a reference for the precise classification of
other agricultural products.
Keywords: image recognition; models; convolutional neural network; transfer learning; batch normalization; peanut pod; rank
classification