第３６卷第 １０期 计算机应用与软件 Ｖｏ

ｌ３６ Ｎｏ
．１０
２０１９年 １０月 Ｃｏ
ｍｐｕｔ
ｅｒＡｐｐ
ｌｉｃ
ａｔｉ
ｏｎｓａ
ｎｄＳｏ
ｆｔ
ｗａｒ
ｅ Ｏｃ
ｔ．２０１９

Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ中深度前馈网络优化研究及其轴承故障诊断应用
梁 昱１ 李彬彬１ 陈志高２ 焦 斌１
１
（上海电机学院电气学院 上海 ２
０１３
０６）
２
（中核检修有限公司海盐分公司 浙江 嘉兴 ３
１４３
００）

摘 要 目前在复杂系统的故障诊断中，故障特征与故障类型之间存在较强的非线性关系，且数据量较大，信
号处理复杂，诊断效率不高，而深度学习在特征提取与模式识别方面显示出巨大潜力。针对此问题提出基于深度
前馈网络的故障诊断模型，将其应用于复杂的轴承故障诊断。该方法直接将原始信号作为模型的输入特征量，然
后利用谷歌开源深度学习框架 Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ建模，通过相关参数设置、梯度算法优化、正则化处理对网络进行优化
设计。构建上万的 ９种轴承故障类型样本，确保样本多样性，提高网络鲁棒性，最终优化后的模型诊断准确率为
９８．
９６％。将该方法与多种传统的机器学习诊断方法进行比较，结果表明该方法能更有效地进行轴承故障诊断，
验证了模型的合理性和优越性。

关键词 深度前馈网络 参数选取 优化算法 Ｔｅ

ｎｓｏ
ｒＦｌ
ｏｗ 轴承故障诊断

中图分类号 ＴＰ１８３ 文献标识码 Ａ ＤＯＩ

：１０．
３９６９／
ｊ．ｉ
ｓｓｎ．
１０００
３８６ｘ
．２０１９．
１０．
０３１

ＯＰＴＩ
ＭＩＺＡＴＩ
ＯＮＯＦＤＥＥＰＦＥＥＤＦＯＲＷＡＲＤＮＥＴＷＯＲＫ
Ｉ
ＮＴＥＮＳＯＲＦＬＯＷ ＡＮＤＩＴＳＡＰＰＬＩ
ＣＡＴＩ
ＯＮＯＦＢＥＡＲＩ
ＮＧ ＦＡＵＬＴＤＩ
ＡＧＮＯＳＩ
Ｓ
Ｌｉ
ａｎｇＹｕ１ ＬｉＢｉ
ｎｂｎ１
ｉ Ｃｈｅ
ｎＺｈｉ
ｇａ２
ｏ Ｊ
ｉａ ｎ１
ｏＢｉ
１
（Ｓ
ｃｈｏ
ｏｌｏ
ｆＥｌ
ｅｃｔ
ｒｉ
ｃａｌＥｎ
ｇｉｎ
ｅｅｒ
ｉｎｇ，Ｓ
ｈａｎ
ｇｈａ
ｉＤｉ
ａｎｊ
ｉＵｎ
ｉｖｅ
ｒｓｉ
ｔｙ，Ｓ
ｈａｎ
ｇｈａ
ｉ２０
１３０
６，Ｃｈ
ｉｎａ）
２
（Ｃｈ
ｉｎａＮｕ
ｃｌｅ
ａｒＩ
ｎｄｕ
ｓｔｒ
ｙＭａ
ｉｎｔ
ｅｎａ
ｎｃｅＣｏ
．，Ｌ
ｔｄ．Ｈａ
ｉｙａ
ｎＢｒ
ａｎｃ
ｈ，Ｊ
ｉａｘ
ｉｎｇ３
１４３
００，Ｚｈ
ｅｊｉ
ａｎｇ，Ｃｈ
ｉｎａ）

Ａｂｓ
ｔｒａ
ｃｔ Ａｔｐｒ
ｅｓｅ
ｎｔ，ｉ
ｎｔｈ
ｅｆａ
ｕｌｔｄｉ
ａｇｎｏ
ｓｉｓｏ
ｆｃｏ
ｍｐｌ
ｅｘｓ
ｙｓｔ
ｅｍｓ
，ｔｈｅ
ｒｅｉ
ｓａｓ
ｔｒ
ｏｎｇｎｏ
ｎｌｉ
ｎｅａ
ｒｒｅ
ｌａｔ
ｉｏ
ｎｓｈｉ
ｐｂｅ
ｔｗｅ
ｅｎｔ
ｈｅ
ｆ
ａｕｌ
ｔｃｈ
ａｒａ
ｃｔｅ
ｒｉｓ
ｔｉ
ｃｓａ
ｎｄｔ
ｈｅｆ
ａｕｌ
ｔｔｙ
ｐｅ．Ｄｕ
ｅｔｏｔ
ｈｅｂｉ
ｇａｍｏ
ｕｎｔｏ
ｆｄａ
ｔａａ
ｎｄｔ
ｈｅｃ
ｏｍｐｌ
ｅｘｓ
ｉｇｎａ
ｌｐｒ
ｏｃｅ
ｓｓｉ
ｎｇ，ｔ
ｈｅｅ
ｆｆ
ｉｃ
ｉｅｎｃ
ｙｏｆ
ｄｉ
ａｇｎｏ
ｓｉｓｉ
ｓｎｏ
ｔｈｉ
ｇｈ，ｗｈｉ
ｌｅｔ
ｈｅｄｅ
ｅｐｌ
ｅａｒ
ｎｉｎｇｈ
ａｓｓ
ｈｏｗｎｇ
ｒｅａ
ｔｐｏ
ｔｅｎｔ
ｉａ
ｌｉｎｆ
ｅａｔ
ｕｒｅｅ
ｘｔｒ
ａｃｔ
ｉｏ
ｎａｎｄｐａ
ｔｔ
ｅｒｎｒ
ｅｃｏ
ｇｎｉ
ｔｉ
ｏｎ．Ｗｅ
ｐｒ
ｏｐｏ
ｓｅｄａｆ
ａｕｌ
ｔｄｉ
ａｇｎｏ
ｓｉｓｍｏ
ｄｅｌｂ
ａｓｅ
ｄｏｎｄ
ｅｅｐｆ
ｅｅｄ
ｆｏｒ
ｗａｒ
ｄｎｅ
ｔｗｏ
ｒｋｆ
ｏｒｔ
ｈｉｓｐｒ
ｏｂｌ
ｅｍ，ｗｈｉ
ｃｈｗａ
ｓａｐｐｌ
ｉｅ
ｄｔｏｃ
ｏｍｐｌ
ｅｘ
ｂｅ
ａｒｉ
ｎｇｆ
ａｕｌ
ｔｄｉ
ａｇｎｏ
ｓｉｓ
．Ｗｅｄ
ｉｒｅ
ｃｔｌ
ｙｒｅ
ｇａｒ
ｄｅｄｔ
ｈｅｏ
ｒｉｇ
ｉｎａ
ｌｓｉ
ｇｎａ
ｌａｓｔ
ｈｅｉ
ｎｐｕｔｆ
ｅａｔ
ｕｒｅｏ
ｆｔｈｅｍｏ
ｄｅｌ
，ａｎｄｔ
ｈｅｎｕｓ
ｅｄｔ
ｈｅ
Ｇｏ
ｏｇｌ
ｅｏｐｅ
ｎｓｏ
ｕｒｃ
ｅｄｅ
ｅｐｌ
ｅａｒ
ｎｉｎ
ｇｆｒ
ａｍｅ
ｗｏｒ
ｋＴｅ
ｎｓｏ
ｒＦｌ
ｏｗｔ
ｏｍｏ
ｄｅｌａ
ｎｄｏ
ｐｔｉ
ｍｉｚ
ｅｔｈｅｎｅ
ｔｗｏ
ｒｋｔ
ｈｒｏ
ｕｇｈｒ
ｅｌｅ
ｖａｎｔｐａ
ｒａｍｅ
ｔｅｒ
ｓ
ｓ
ｅｔｔ
ｉｎｇ
，ｇｒ
ａｄｉ
ｅｎｔｏ
ｐｔｉ
ｍｉｚ
ａｔｉ
ｏｎａ
ｌｇｏ
ｒｉｔ
ｈｍａ
ｎｄｒ
ｅｇｕｌ
ａｒｉ
ｚａｔ
ｉｏ
ｎｐｒ
ｏｃｅ
ｓｓｉ
ｎｇ．Ｎｉ
ｎｅｋｉ
ｎｄｓｏ
ｆｂｅ
ａｒｉ
ｎｇｆ
ａｕｌ
ｔｓａ
ｍｐｌ
ｅｓｂｅ
ｙｏｎｄ
１００００，ｗｅ
ｒｅｂｕｉ
ｌｔｔ
ｏｅｎｓ
ｕｒｅｓ
ａｍｐ
ｌｅｄｉ
ｖｅｒ
ｓｉ
ｔｙ，ｉ
ｍｐｒ
ｏｖｅｎｅ
ｔｗｏ
ｒｋｒ
ｏｂｕｓ
ｔｎｅ
ｓｓ．Ｔｈｅｆ
ｉｎａ
ｌｏｐｔ
ｉｍｉ
ｚｅｄｍｏ
ｄｅｌｄｉ
ａｇｎｏ
ｓｉｓａ
ｃｃｕｒ
ａｃｙ
ｉ
ｓ９８．
９６％．Ｔｈｉ
ｓｍｅ
ｔｈｏ
ｄｉｓｃ
ｏｍｐ
ａｒｅ
ｄｗｉ
ｔｈｍａ
ｎｙｔ
ｒａｄｉ
ｔｉ
ｏｎａ
ｌｍａ
ｃｈｉ
ｎｅｌ
ｅａｒ
ｎｉｎｇｍｅ
ｔｈｏ
ｄｓ，ａ
ｎｄｔ
ｈｅｒ
ｅｓｕｌ
ｔｓｓ
ｈｏｗｔ
ｈａｔｉ
ｔｃａ
ｎ
ｄｉ
ａｇｎｏ
ｓｅｂｅ
ａｒｉ
ｎｇｆ
ａｕｌ
ｔｍｏ
ｒｅｅ
ｆｆ
ｅｃｔ
ｉｖ
ｅｌｙａ
ｎｄｖ
ｅｒｉ
ｆｙｔ
ｈｅｒ
ａｔｉ
ｏｎａ
ｌｉ
ｔｙａ
ｎｄｓ
ｕｐｅ
ｒｉｏ
ｒｉｔ
ｙｏｆｔ
ｈｅｍｏ
ｄｅｌ
．

Ｋｅ
ｙｗｏｒ
ｄｓ Ｄｅ
ｅｐｆ
ｅｅｄｆ
ｏｒｗａ
ｒｄｎ
ｅｔｗｏ
ｒｋ Ｐａ
ｒａｍｅ
ｔｅｒｓ
ｅｌｅ
ｃｔｉ
ｏｎ Ｏｐｔ
ｉｍｉ
ｚａｔ
ｉｏ
ｎａｌ
ｇｏｒ
ｉｔ
ｈｍ Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ Ｂｅ
ａｒｉ
ｎｇｆ
ａｕｌ
ｔ
ｄｉ
ａｇｎｏ
ｓｉｓ

常运行极其重要，其中轴承作为其关键部件，一旦发生
０ 引 言 故障，将对公司生产效益和人身安全产生很大的影响，
所以滚动轴承的运维和故障诊断技术极为重要 ［１］。
在工业生产中，大型旋转机械设备安全可靠地正 深度学习是指一类机器学习技术，其深层体系结

收稿日期：
２０１
９－０
１－０
８。梁昱，硕士生，主研领域：电机故障诊断。李彬彬，讲师。陈志高，工程师。焦斌，教授。
 １７６ 计算机应用与软件 ２０１９年

构中的多层信息非线性处理机制被用于模式分类以及
其他学习任务 ［２］，它强调多层和非线性。实际上，深度 １ 深度前馈网络理论
学习起源于 Ａｒ
ｔｉ
ｆｉ
ｃｉ
ａｌＮｅ
ｕｒａ
ｌＮｅ
ｔｗｏ
ｒｋ的概念，所以深度
学习基本上就是指深层神经网络。 深度前馈网络应用在故障诊断方面，可以将其看
作是分类器，定义了一个映射集 ｙ＝ｆ
（ｘ，θ），输入 ｘ通
谷歌公司的深度学习框架 Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ是一个灵活
过相关参数 θ映射到一个输出类别 ｙ
。
便利、功能强大的机器学习库，许多深度学习算法封装
于其中，用户只要将 Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ导入到 Ｐｙ
ｔｈｏ
ｎ中调用
１．
１ 参数初始化
就可以搭 建 各 种 网 络 模 型，极 大 方 便 了 深 度 学 习 的 深度前馈网络模型中参数 θ的学习算法是迭代
的，所以初始值（即迭代起点）对于迭代过程是否达到
研究 ［３－４］。
局部最小、是否能够收敛到一个代价高或低的点以及
基于深度前馈网络，近年来，深度学习在机器学习
训练时间的大小关系密切，不合适的参数初始化方法
领域备受关注，在分类、预测、故障诊断等多领域取得
会降低梯度的学习优化效率和网络泛化能力 ［１２］。通
突破的成果。文献［５］中提出了 Ｃ
ＲＦ模型，把卷积神
常来说，需要初始化每个单元使其具有不同的初始参
经网络（ＣＮＮ）提取到的特征输入随机森林（ＲＦ）中进
数，防止学习算法以相同的方式更新某两个单元，因此
行分类，实验结果表明该模型的分类效果和泛化能力
促使了参数的随机初始化。
比单独使用 ＲＦ有了很大的提高。文献［６］中提出构 通常情况下，可以为每个神经元除权值以外的参
建多层感知器（ＭＬＰ）神经网络模型用于股票预测，并 数（如偏置值等）设置启发式挑选的常数，设置为 ０或
将 Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ与传统 ＢＰ神经网络进行性能对比，实验 ０附近小的常数。而所有的权值则初始化为小的随机
结果说明 Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ具有更好的预测准确度和更快的 数，可以在高斯分布中随机抽取。一般而言总是希望
收敛速度。文献［７－９］分别提出了基于短时傅里叶 神经元的输出值接近于零，尽可能保证参数 θ都能够
变换（Ｓ
ＴＦＴ）、ＣＮＮ、ＳＤＡＥ的电机故障诊断方法，并与 在其激活函数偏导数最大之处进行调整。因此在 Ｔｅ
ｎ
传统的故障诊断方法进行比较，实验结果表明，所提出 ｓ
ｏｒＦｌ
ｏｗ中权值初始化可以从截断正态分布中随机抽
方法能更好地实现感应电机故障诊断。文献［１０］提 取，生成的值 ｗ～Ｎ（μ，σ２），其中，μ＝０，σ２ ＝１，如果 ｗ
出了一种新的基于 Ｌｅ
Ｎｅｔ
５卷积网络的数据驱动故障 的取值在区间（μ－２σ，μ＋２σ）之外则重新进行选择。
诊断方法，
１Ｄ信号转换成 ２
Ｄ图像信号，提高了模型 由正态分布的“３σ”原则可知，区间（μ－２σ，μ＋２σ）内
的特征提取能力，并应用于电机轴承、水泵、液压泵的 的面积为 ９５．
４５％，这样保证权值 ｗ都在均值 ０附近。
故障诊断中，模型预测准确率都在 ９９％以上。 １．
２ 非线性激活函数
深度学习取得重大成果的原因一方面在于计算机 非激活函数通常用于隐含层，完成信号的前向传
运算能力的提高和大数据的支持，另一方面是网络本 播。传统 Ｓｉ
ｇｍｏ
ｉｄ和 Ｔａ
ｎｈ函数 ［１３］大部分定义域内都
身结构和参数的合理设置与选择。合适的训练优化算 饱和，仅接近 ０时它们才对输入强烈敏感，这种广泛饱
法、合理的参数设置和模型结构直接影响网络模型的 和性会造成梯度消失，并且不具有稀疏性。只有当合
泛化能力和准确性，有助于加快收敛速度防止过拟合。 适的代价函数来抵消饱和性时，它们作为输出单元可
因此，参数设置、优化算法和网络结构一直是深度学习 以与基于梯度的学习相兼容。
研究中的重点和难点 ［１
１］
。 神经学家发现生物神经元的激活方式具有单侧抑
本文基于现代深度前馈神经网络的基本理论，对 制、兴奋边界宽阔以及输出具有稀疏性的特性。Ｒｅ
ＬＵ

深层神经网络中的参数设置、优化算法、结构选择进行 函数 ｆ
（ｘ）＝ｍａ
ｘ（ｘ
，０），曲线如图 １所示。

深入研究，在 Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ中建立最优深度前馈神经网
络模型。本文提出直接将原始振动信号作为模型的输
入，无需进行复杂的信号处理和故障特征提取。最后
结合美国西储大学滚动轴承方面的实验数据，将优化
的模型在电机轴承故障诊断领域中进行了验证，完成
９种不同工况下轴承的故障诊断，并和其他常用的机
器学习算法比较。 图 １ Ｒｅ
ＬＵ激活函数曲线
第１０期 梁昱等：Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ中深度前馈网络优化研究及其轴承故障诊断应用 １７７

可以看出，Ｒｅ
ＬＵ函数几乎是线性的，这使得只要 一个概率分布，将输出结果变成概率分布常用的方法
是处于激活状态，其导数都能保持较大，小于 ０则没有 是用于 Ｍｕｌ
ｔｉ
ｎｏｕｌ
ｌｉ输出分布的 Ｓｏ
ｆｔ
ｍａｘ单元。假设原
输出，因此它保留了许多使得线性模型易于使用基于 始的神经网络输出为 ｙ
，那么经过 Ｓｏ
ｆｔ
ｍａｘ回归处理之
梯度的方法进行优化的属性，同时也符合生物神经元 后的输出为 ［１９］：
ｙｉ
单侧抑制和兴奋边界宽阔的特性，并且 Ｒｅ
ＬＵ函数还 ｅ
Ｓｏ
ｆｔｍａ
ｘ ）ｉ ＝
（ｙ ｎ （３）
具有稀疏表达能力。因此，目前深度前馈网络、ＣＮＮ、 ｙｉ
∑
ｊ
＝１
ｅ
ＲＮＮ、ＬＳ
ＴＭ等主流深度学习模型的激活函数大多采
ＬＵ函数 ［１４－１５］。文献［１
用 Ｒｅ ６］表明 Ｒｅ
ＬＵ函数在训 １．
５ 结构设计
练正确率和网络收敛速度上均优于其他激活函数。 深度前馈网络的整体结构主要包括网络的深度和

１．
３ 交叉熵损失函数 宽度。神经网络的万能近似定理表明 ［２０］，即使网络只
有一个隐含层，但只要节点数足够多（网络足够宽）也
深度前馈网络模型效果及优化的目标是通过损失
能够在训练集上近似任何函数，而更深的网络则意味
函数来定义的，损失函数是模型对数据拟合程度的反
着每一层会使用较少的节点数，但缺点是网络过于复
映，拟合得越好，则值越小。常用的损失函数为：均方
杂难以优化，大大增加了参数训练的时间，所以模型性
差损 失 函 数 和 交 叉 熵 损 失 函 数。均 方 差 损 失 函 数
（ＭＳＥ）直观意义是模型预测值和真值的欧氏距离，而 能提高优先考虑增加隐含层中的神经元数，其训练效

交叉熵损失函数（Ｃｒ
ｏｓｓｅ
ｎｔｒ
ｏｐｙ
）如下： 果会比增加层数更容易观察和调整。结构设计可采用
如下方法：先设较少的节点数，然后逐渐增加节点数，
Ｈ（ｐ
，ｑ） ＝－∑ ｐ
（ｘ）ｌ
ｏｇｑ
（ｘ） （１）
ｘ 每次对网络进行训练并记录在验证集上表现的误差，
给定两个概率分布 ｐ和 ｑ
，交叉熵刻画了两个概率 直到满足要求即可。因此最优的深度前馈网络结构必
分布之间的距离，值越小则说明两者越接近。在决策 须通过大量实验来找到。
分类问题中使用比较广泛 ［１７］。在故障诊断中概率分
布ｐ
ｉ是真正的标签，给定分布 ｑ
ｉ是预测值。 ２ 深度前馈网络优化设计
基于统计学理论，现代深度前馈网络大多数都使
用最大似然原理来优化学习，即损失函数就是负的对
２．
１ 梯度优化算法
数似然，它与交叉熵等价。损失函数表示为：
在参数的更新过程中，某些优化算法能根据模型
Ｌ（θ
）＝－Ｅｘ，ｙ～ｐ
＾ｄａ
ｔａ
ｌｏ
ｇｐｍｏ
ｄｅ（ｙ｜
ｌ ｘ） （２）
的参数和损失来优化模型。梯度下降法是最普遍的优
＾
式中：ｐ
ｄａａ为数据生成分布，
ｔ 在统计学理论中，可以把训
化算法，它会沿逆梯度方向让超参数不断更新，使总损
练集和测试集样本看成是相互独立的，二者数据集是
失不断下降。优化损失函数 Ｌ（θ
）过程可以抽象为寻
同分布 的；Ｅ是 期 望。损 失 函 数 的 具 体 形 式 取 决 于
找一个参数 θ
，使得 Ｌ（θ
）最小，通过迭代的方法来不断
ｌ
ｏｇｐ
ｍｏｄｅ
ｌ。
逼近最优解。一般来说，参数更新包含两种思路：更新
使用最大似然来导出损失函数的方法，一方面减
的方向和调整学习率。Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ中常用的优化方法
轻了每个模型设计损失函数的负担，这样不用预测 ｙ
有 ［２１－２４］：更新方向算法，包括梯度下降法（ＧＤ）和动量
的完整概率分布，而是仅仅预测在 ｘ条件下 ｙ的某种
法（Ｍｏ
ｍｅｎｔ
ｕｍ）；自适应学习率调整（Ａｄａ
ｐｔｉ
ｖｅｌ
ｅａｒ
ｎｉｎ
ｇ
统计量，例如参数的点估计、偏差、方差，对于刻画泛
ｒ
ａｔｅ
）算法，包括 Ａｄａ
Ｇｒａ
ｄ算法、ＲＭＳＰｒ
ｏｐ算法、Ａｄａ
ｍ算
化、过拟合等非常有帮助；另一方面负的对数似然在很
法。优化算法之间联系如图 ２所示。
多模型中避免了激活函数梯度饱和（梯度消失）的问
题，损失函数取对数后可以消除某些输出单元中的指
数效果。这也是交叉熵损失函数比均方差损失函数更
受欢迎的原因之一 ［１８］。
１．
４ 输出单元
神经网络的输出不一定是一个概率分布，但是在
电机故障诊断中可以把“一个样例属于某一个类别”
看成一个概率事件，那么训练数据的正确答案就符合 图 ２ Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ中各种优化算法关系图
 １７８ 计算机应用与软件 ２０１
９年

由图 ２可以看出，梯度下降对于神经网络而言，几 在机器学习中，过拟合现象被称为过度训练，本质是过
乎所有深度模型的迭代总是基于梯度来使得损失函数 于复杂的模型在学习中不知不觉中提取了一些残余变
下降，梯度下降可谓是训练的全部，最多也只是不断地 化（即随机干扰噪声），产生与特定数据集过于紧密或
研究出各式各样的梯度下降法的变体而已。 完全对应的分析，从而忽视了通用的趋势和整体的规
［２
５］
梯度下降法的缺点 ：不能保证被优化的函数达 律，无法拟合其他数据或可靠地预测未来的观测结果。
到全局最优解，容易陷入局部极小值；计算时间长、收 而正则化是降低泛化误差，减小过拟合的一个有效手
敛速度慢，学习率无法自适应调整，在海量数据下，要 段，包括 Ｌ１、Ｌ２正则化以及最常用的 Ｄｒ
ｏｐｏ
ｕｔ。
计算所有训练数据的损失函数是非常消耗时间的。而 Ｄｒ
ｏｐｏ
ｕｔ的优点是计算方便，训练过程中会产生 ｎ
［２
４］
Ａｄａ
ｍ 算法是利用梯度一阶矩估计和二阶矩估计动 个随机二进制数与某些神经元相乘，从而依概率去掉
态调整每个参数的学习率，算法描述如表 １所示。 对应层的某些神经元，使得每次迭代中训练的都是一
表 １ Ａｄａ
ｍ算法 个小的神经网络，如图 ３所示 ［２６］。

全局学习率 η，默认 ０． ００
１，初始参数
θ，用于数值稳定的小常数 δ ，矩估计
Ｒｅ
ｑｕｉ
ｒｅ 的指数衰减率 ρ １和 ρ
２，默认分别为
０．９和 ０．９
９９，初始化一阶和二阶变
量以及时间 ｓ＝Ｇ＝ｔ＝０

１ （ｉ
） （ｉ
）
ｍ θ∑
计算梯度 ｇ←  Ｌ（ｆ
（ｘ ；θ
），ｙ ）
ｉ
图 ３ Ｄｒ
ｏｐｏ
ｕｔ示意图
更新有偏一阶矩估计 ｓ
←ρ１ｓ＋（１－ρ
１）ｇ 文献［２
７］中显示，Ｄｒ
ｏｐｏ
ｕｔ比其他标准的计算开销

更新有偏二阶矩估计 Ｇ←ρ
２Ｇ＋（１－ρ
２）ｇ⊙ｇ 小的正则化方法（如 Ｌ１，Ｌ２正则化）更有效，经过交叉
验证，ｋ
ｅｅｐｐ
ｒｏｂ率等于 ０．５的时候效果最好，因为此
＾ ｓ
修正一阶估计偏差 ｓ
← ｔ 时 ｄｒ
ｏｐｏ
ｕｔ随机生成的网络结构最多。
１－ρ
１

Ｄｒ
ｏｐｏ
ｕｔ的另一个显著优点是降低了模型的计算
＾ Ｇ
修正二阶估计偏差 Ｇ← ｔ 复杂度，它一般不限制适用的模型或训练过程，基本在
１－ρ
２
所有使用分布式表示且用 ＳＧＤ法训练的模型上都表
Ｇ 现良好，包括 ＲＢＭ、ＣＮＮ、ＲＮＮ等网络模型。
计算参数更新 Δθ＝η
δ＋槡＾
Ｇ 另一方面 Ｄｒ
ｏｐｏ
ｕｔ减少了模型的有效容量，为了弥

应用更新 补这种影响，必须扩大模型规模，所以当只有极少的训
←θ－Δθ
θ
练样本时，Ｄｒ
ｏｐｏ
ｕｔ不会很有效。文献［２
７］中还提到在
可以看出，Ａｄａ
ｍ优化算法在于计算历史梯度衰减 少于 ５００
０的测试样本的 Ａｌ
ｔｅ
ｒｎａ
ｔｉ
ｖｅＳ
ｐｌｉ
ｃｉ
ｎｇＤａ
ｔａ上，
方式上，使用了类似动量的衰减方法，实质上就是带有 Ｂａ
ｙｅｓ神经网络比 Ｄｒ
ｏｐｏ
ｕｔ表现得更好。所以至少要
动量项的 ＲＭＳＰｒ
ｏｐ。Ａｄ
ａｍ将动量应用于缩放后的梯 在上万数据集上使用 Ｄｒ
ｏｐｏ
ｕｔ会比 Ｌ１和 Ｌ２的正则化
同时结合了 Ａｄ
度， ａＧｒ
ａｄ善于处理稀疏梯度和 ＲＭＳ
Ｐｒｏ
ｐ 方法更有效，最佳验证集的泛化误差会比较小。
善于处理非 平 稳 目 标 的 优 点，在 自 适 应 学 习 率 方 面
表现较好，适用于大多非凸优化，也适用于海量数据 ３ 实 验
和高维空间。因此 Ａｄａ
ｍ算法是应用最广泛的、效果
最好的算法，它 高 效、稳 定，适 用 于 绝 大 多 数 的 应 用 深度前馈网络是在 Ｐｙ
ｔｈｏ
ｎ３．
６开发环境 Ｓ
ｐｙｄｅ
ｒ中
场景。 通过编程并调用开源的 Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ库建立的。计算机
２．
２ 正则化 Ｉ
处理器：ｎｔ
ｅｌ（Ｒ）Ｃｏ
ｒｅ（ＴＭ）ｉ
５７
４００ＣＰＵ＠ ３．
００ＧＨｚ
，

深度学习中数学模型的设计要求不仅在训练集上 内存（ＲＡＭ）为 ８ＧＢ，操作系统 ６４位 Ｗｉ

ｎｄｏ
ｗｓ。

表现好，而且能在新输入上泛化良好，许多策略被显示 ３．
１ 实验数据及预处理
地设计来减少测试误差，这些策略被统称为正则化。 本实验所运用的数据来自美国 Ｃａ
ｓｅＷｅ
ｓｔｅ
ｒｎＲｅ
ｓｅｒ
ｖｅ
第１０期 梁昱等：Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ中深度前馈网络优化研究及其轴承故障诊断应用 １７９

大学正常和故障滚动承故障测试数据。使用电火花加 动点，因此网络的输入样本为 ４１２维的原始数据。为

工（ＥＤＭ）对电机轴承的滚球、内滚道和外滚道引入不 了获得足够的训练样本和测试样本，并保证不重复抽
同直径的点蚀故障。故障规格如表 ２所示。 样，采用连续抽样的截取方法来获取样本，并设定一定
表 ２ 轴承故障规格 的抽样步长。本实验设置抽样步长为 ４１２，标签 ０～９
故障位置 故障直径 ／
ｉｎｃ
ｈ 相关说明 分别代表正常信号和 ９种故障信号，从每种信号中随
０．
００７ 机抽样获得 ５０
００个样本，加上标签最终得到 ５
０００
０×
Ｂａ
ｌｌ ０．
０１４ （４１２＋１）的矩阵作为网络的输入，将 此 矩 阵 保 存 至

０．
０２１ ．ｃ
ｓｖ文件，以便于导入到深度前馈网络中进行故障诊

０．
００７ 断，在模型训练时再按 ７∶３比例随机分为 ３５０００个样
电机 转 速 １７
５０ｒ
／ｍｉ
ｎ，载
Ｉ
ｎｎｅ
ｒＲａ
ｃｅｗａ
ｙ ０．
０１４ 荷 ２ｈ
ｐ，采样率 １
２ｋＨｚ
，驱 本训练集和 １５０００个样本测试集。
动端轴承 型 号 ６
２０５
２ＲＳ ３．
２ 参数设置
０．
０２１
Ｊ
ＥＭ Ｓ
ＦＫ
０．
００７ 表 ３为在故障诊断中，深度前馈神经网络模型在
Ｏｕ
ｔｅｒＲａ
ｃｅｗａ
ｙ ０．
０１４ Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ中的关键参数设置。
０．
０２１ 表 ３ Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ中核心参数的设置

将 Ｎｏ
ｒｍａ
ｌ信号和表 ２中的 ９种振动故障信号导 功能 Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ程序

入 Ｐｙ
ｔｈｏ
ｎ中，得到 １０种对应的振动原始信号图如图 ４ 激活函数 ｔ
ｆ．ｎ
ｎ．ｒ
ｅｌｕ（ｔ
ｆ．ｍａ
ｔｍｕ
ｌ ，ｗ）＋ｂ）
（ｘ

所示。 权值初始化 ｔ
ｆ．Ｖａ
ｒｉａ
ｂｌｅ
（ｔｆ
．ｔｒ
ｕｎｃ
ａｔｅ
ｄ＿ｎ
ｏｒｍａ
ｌ（））

偏置值初始化 ｔ
ｆ．Ｖａ
ｒｉａ
ｂｌｅ
（ｔｆ
．ｚｅ
ｒｏｓ １）
（［］）＋０．

Ｄｒ
ｏｐｏ
ｕｔ ｔ
ｆ．ｎ
ｎ．ｄ
ｒｏｐ
ｏｕ（）
ｔ

输出层激活函数 ｔ
ｆ．ｎ
ｎ．ｓ
ｏｆｔ
ｍａ（）
ｘ

ｔ
ｆ．ｒｅｄ
ｕｃｅ＿ｍｅａｎ（ｔ
ｆ．ｎ
ｎ．ｓｏｆ
ｔｍａｘ＿ｃ
ｒｏｓ
ｓ＿ｅ
ｎｔｒ
ｏ
交叉熵损失函数
ｐ
ｙ ＿ｗｉ
ｔｈ＿ｌ
ｏｇｉ
ｔｓ
＿ｖ２（ｌａ
ｂｅｌ
ｓ，ｌｏｇ
ｉｔ
ｓ））

Ａｄ
ａｍ优化 ｔ
ｆ．ｔ
ｒａｉ
ｎ．Ａｄ
ａｍＯｐ
ｔｉｍｉ
ｚｅｒ
（）．ｍｉ
ｎｉｍｉ
ｚｅ（ｌ
ｏｓ）
ｓ

模型预测求准 ｔ
ｆ．ｒ
ｅｄｕｃ
ｅ＿ｍｅａｎ（ｔ
ｆ．ｃ
ａｓｔ
（ｔｆ
．ｅｑｕ
ａｌ（ｔ
ｆ．ａ
ｒｇｍａ
ｘ
确率 （），ｔ
ｆ．ａ
ｒｇｍａ
ｘ（）），ｔｆ
．ｆｌ
ｏａｔ
３２））

运行模型 ｔ
ｆ．Ｓ
ｅｓｓ
ｉｏｎ（）．ｒ
ｕｎ（ｆ
ｅｅｄ＿ｄ
ｉｃｔ＝｛ｘ
，ｙ｝）

３．
３ 结果分析
图 ５为不同网络结构在训练 １０００次后对诊断准
确率的影响，横轴表示学习参数的数量。

图４ １
０种不同工况下振动原始信号图
电机转速为 １７５０ｒ
／ｍｉ
ｎ，采样频率为 １
２ｋＨｚ
，则
一个周期一转采集到约 ４１２（６
０×１２００
０÷１７
５０）个振 图 ５ 网络结构对故障诊断准确率的影响
１８０ 计算机应用与软件 ２０１９年

从图 ５中可以看出，随着参数不断增加，准确率渐 学习曲线图，图 ９为测试集对应的混淆矩阵，表 ５为其

渐提高，当增加到 １００万以上时，由于模型复杂参数过 对应的故障诊断报告。
多出现过拟合现象，准确率有所下降，而四层和五层网
络的泛化能力较强，在 ３０～１
００万的参数区间内有较
高准确率。三层、四层、五层、六层网络结构准确率普
遍都在 ９８％以上，且四层、五层整体效果要优于三层、
六层，说明对应本实验轴承故障数据集，适当调整网络
的宽度或深度都可以达到较好的泛化能力。
进一步比较分析，表 ４为不同网络结构下的深度
前馈网络模型故障诊断评估表，选取四层和五层网络
为比较对象，选取 ３０～１００万的学习参数区间，测试集
样本数是 １５０００，训练次数为 １０
００次。评估指标中，
上升时间指准确率从 １０％上升到 ９
０％所需时间。
表 ４ 不同网络结构下的网络模型故障诊断评估

训练 上升 误诊
网络结构 参数数量 准确率
时长 时间 样本

４
１２－４０
０－
３
２８８
００ ０．
９８９３ １０
５８ｓ ７
４ｓ １
６０ 图 ６ Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ中 Ｄｅ
ｅｐｆ
ｅｅｄ
ｆｏｒ
ｗａｒ
ｄｎｅ
ｔｗｏ
ｒｋ的
４０
０－１０
故障诊断模型
４
１２－５０
０－
４
１００
００ ０．
９８９１ １２
０１ｓ ８
５ｓ １
６３
４０
０－１０

４
１２－６０
０－
５
５２２
００ ０．
９８９６ １４
９５ｓ ７
８ｓ １
５６
５０
０－１０

４
１２－７０
０－
７
１４４
００ ０．
９８８８ １７
８０ｓ １
０２ｓ １
６５
６０
０－１０

４
１２－８０
０－
９
３７１
００ ０．
９８９１ ２１
９２ｓ １
１３ｓ １
６３
７５
０－１０

４
１２－３
００－３
００－
３
０６６
００ ０．
９８９３ １０
５６ｓ ８
８ｓ １
５９
３０
０－１０

４
１２－４
００－４
００－
４
８８８
００ ０．
９８９２ １５
４０ｓ １
５５ｓ １
６０
４０
０－１０

４
１２－５
００－５
００－ 图 ７ 准确率和训练次数的关系曲线图
７
１１０
００ ０．
９８９０ １９
２４ｓ １
１８ｓ １
６４
５０
０－１０

从表 ４中可以看出，
所有网络准确率达到了 ９
８．９％
左右，结构为 ４１２－６００－５０
０－１０的四层网络模型效
果最优，准确率达到最高 ９
８．９
６％，误诊数也是 最 低
的，且优化速度较快，只用 ７
８ｓ模型诊断准确率就从
１０％上升到 ９０％。尽管其训练时间较长，但是训练网
络是线下进行，为了更好地诊断轴承故障，花时间训练
一个最优网络是值得的。
综上所述，选取 ４１２－６０
０－５０
０－１０四层网络结
构为最优的深度前馈网络模型，对应的详细模型如图
６所示，图 ７、图 ８为其诊断准确率、损失与训练次数的 图 ８ 损失和训练次数的关系曲线图
第１０期 梁昱等：Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ中深度前馈网络优化研究及其轴承故障诊断应用 １８１

为了和机器学习算法作比较，利用和 ３．１节同样
的５００００组数据作为输入数据，１５０００组为测试集。
不同方法的诊断结果如表 ６所示。
表 ６ 不同方法的诊断结果比较

识别 相关核心参数 训练分 测试分

误诊数 时间 ／
ｓ
模型 设置 ／
％ ／
％
普通
Ｋ＝２ ９
７．０
６ ８
８．７
１ １６
９４ １４
１６
ｋ
近邻
带权
Ｋ＝２，ｗｅ
ｉｇｈ
ｔ １
００ ９
１．２
６ １３
１１ １４
１７
ｋ
近邻
ｐｅｎａｌ
ｔｙ＝Ｌ２
逻辑回归 ４
５．２
６ ３
９．３
８ ９０
８４ ２
１
ｓ
ｏｌｖ
ｅｒ＝ ｌｂ
ｆｇｓ
ｃｒ
ｉｔ
ｅｒｉｏｎ＝ｅｎｔｒ
ｏｐｙ
图 ９ 混淆矩阵 ｓ
ｐｌｉｔ
ｔｅｒ＝ｂｅｓ
ｔ
决策树 ｍａｘ＿ｄｅｐｔ
ｈ＝５ ０ ９９．
８９ ５
３．８
６ ６
９２１ ７
８
表 ５ 故障诊断报告
ｍｉｎ＿ｉｍｐｕ
ｒｉｔ
ｙ
故障类别 Ｐｒ
ｅｃｉ
ｓｉ
ｏｎ Ｒｅ
ｃａｌ
ｌ Ｆ１
ｓｃｏ
ｒｅ Ｓ
ｕｐｐ
ｏｒｔ ＿ｄｅｃ
ｒｅａｓｅ＝１ｅ－６

Ｎｏ
ｒｍａ
ｌ １．
００ １．
００ １．
００ １４
９８ ｎ＿ｅ
ｓｔｉ
ｍａｔ
ｏｒｓ＝１００
随机森林 １
００ ９
３．２
１ １
０１８ １
０３
ｍａｘ＿ｆ
ｅａｔ
ｕｒｅｓ＝２
０
Ｂａ
ｌｌｆ
ａｕｌ
ｔ
００７ ０．
９９ １．
００ １．
００ １５
１９
支持 Ｃ＝１
９
９．５
２ ９
３．５
５ ９
６７ １５
４５
Ｂａ
ｌｌｆ
ａｕｌ
ｔ
０１４ １．
００ １．
００ １．
００ １５
０８ 向量机 γ ＝０．
１

Ｂａ
ｌｌｆ
ａｕｌ
ｔ
０２１ １．
００ １．
００ １．
００ １５
１２ 朴素
Ｇａ
ｕｓｓ
ｉａｎ
ＮＢ ６
１．９
６ ６
０．７
０ ５８
９４ ４．
３２
贝叶斯
Ｉ
ｎｎｅ
ｒｒａ
ｃｅ
００７ ０．
９２ １．
００ ０．
９６ １５
２１

Ｉ
ｎｎｅ
ｒｒａ
ｃｅ
０１４ １．
００ １．
００ １．
００ １４
６４ 由表 ６可得，逻辑回归和朴素贝叶斯方法效果较

Ｉ
ｎｎｅ
ｒｒａ
ｃｅ
０２１ １．
００ １．
００ １．
００ １５
１０ 差，说明模型无法很好地拟合训练集和预测测试集；决
策树模型虽然对样本拟合情况极佳，但是模型测试分
Ｏｕ
ｔｅｒｒ
ａｃｅ
００
７ １．
００ ０．
９０ ０．
９５ １４
８５
只有 ５３．
８６％，对新数据诊断误差很大，说明改模型容
Ｏｕ
ｔｅｒｒ
ａｃｅ
０１
４ １．
００ １．
００ １．
００ １４
５６
易造成过拟合；相比而言 ｋ
近邻、随机森林和支持向量
Ｏｕ
ｔｅｒｒ
ａｃｅ
０２
１ １．
００ １．
００ １．
００ １５
２７
机的训练集分数几乎达到 １００％，对训练样本的拟合
Ａｖ
ｇ／ｔ
ｏｔ
ａｌ ０．
９９ ０．
９９ ０．
９９ １
５００
０
情况较好，对测试样本的预测诊断率也在 ９０％以上，
从图 ７和图 ８中可以看出，对于轴承故障数据诊 训练速度也比较快，说明模型的准确性和泛化能力良
断准确率为 ９８．９６％，损失仅为 １．４
７２；从图 ９和表 ５ 好。但还是远低于本文实验的结果 ９８．９６％，可见机
中可以看 出 针 对 每 个 故 障 类 别 的 预 测 准 确 性，除 了 器学习和深度前馈网络相比，虽然训练速度上有优势，
Ｏｕｔ
ｅｒｒ
ａｃｅ
００７类故障诊断出现了 ０．１的误诊率，即 但是算法的鲁棒性模型诊断结果相对较差。经过大量
１４８５个样本中有大约 １５０个误诊成 Ｉ
ｎｎｅ
ｒｒａ
ｃｅ
００７故 数据测试经验发现，上述传统的机器学习算法一般在
障，其他情况基本诊断正确，而且，每种故障的查准率 数据集较小的情况下，往往分类效果比会比深度前馈
（Ｐｒ
ｅｃｉ
ｓｉ
ｏｎ）、召回率（Ｒｅ
ｃａｌ
ｌ）、Ｆ１分数（Ｆ１
ｓｃｏ
ｒｅ）平均 神经网络要好，在上万数据的情况下效果普遍低于深
值都为 ０．
９９，结果充分说明最优深度前馈网络模型能 度前馈网络。
够较好地实现轴承故障诊断。
３．
４ 与其他方法的比较分析 ４ 结 语
模式识别是轴承故障诊断中的重要一步，实质是
分类算法，传统常用于分类的机器学习算法有 ｋ
近邻 本文提出基于现代深度前馈神经网络的轴承故障
算法、支持向量机（ＳＶＭ）、逻辑回归算法（Ｌｏ
ｇｉｓ
ｔｉ
ｃＲｅ
 诊断模型，并通过梯度优化算法、正则化方式以及不同
ｇ
ｒｅｓ
ｓｉｏ
ｎ）、决策树（Ｄｅ
ｃｉｓ
ｉｏｎＴｒ
ｅｅ）、随机森林算法（Ｒａ
ｎ 网络结构的研究，旨在向最优模型的建立不断靠近。
ｄｏ
ｍＦｏ
ｒｅｓ
ｔ）、朴素贝叶斯（Ｎａ
ｉｖｅＢａ
ｙｅｒ
ｓ）等。 实验在 Ｐｙ
ｔｈｏ
ｎ语言开发环境中编写程序并调用开源
 １８２ 计算机应用与软件 ２０１９年

的 Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ库函数完成。利用深度前馈网络强大的 ｄ
ｅｅｐｆ
ｅｅｄ
ｆｏｒ
ｗａｒ
ｄｎｅ
ｕｒａ
ｌｎｅ
ｔｗｏ
ｒｋｓ［Ｊ
］．Ｊ
ｏｕｒ
ｎａｌｏ
ｆＭａ
ｃｈｉ
ｎｅ

非线性学习能力，无需人工处理数据提取复杂的特征 Ｌｅ
ａｒｎ
ｉｎｇＲｅ
ｓｅａ
ｒｃｈ，２
０１０，９：
２４９－２
５６．
［１４］ Ｊ
ａｒｒ
ｅｔｔＫ，Ｋａ
ｖｕｋ
ｃｕｏ
ｇｌｕＫ，Ｒａ
ｎｚａ
ｔｏＭ，ｅ
ｔａｌ
．Ｗｈ
ａｔｉ
ｓｔｈ
ｅ
即可实现高精度的滚动轴承故障诊断，实验结果最终
ｂ
ｅｓｔｍｕ
ｌｔｉ
ｓｔ
ａｇｅａ
ｒｃｈ
ｉｔｅ
ｃｔｕ
ｒｅｆ
ｏｒｏ
ｂｊｅ
ｃｔｒ
ｅｃｏ
ｇｎｉ
ｔｉ
ｏｎ？［Ｃ］／／
达到了 ９８．
９６％的诊断准确率。通过和传统机器学习
２
００９Ｉ
ＥＥＥ１
２ｔｈＩ
ｎｔｅ
ｒｎａ
ｔｉ
ｏｎａ
ｌＣｏ
ｎｆｅ
ｒｅｎ
ｃｅｏ
ｎＣｏ
ｍｐｕ
ｔｅｒＶｉ

方法比较说明该方法存在的优势，从而表明了深度前
ｓ
ｉｏｎ，２
００９：２
１４６－２
１５３．
馈神经网络模型有更强的分类决策能力。 ［１５］ Ｄａ
ｈｌＧＥ，Ｓ
ａｉｎ
ａｔｈＴＮ，Ｈｉ
ｎｔｏ
ｎＧＥ．Ｉ
ｍｐｒ
ｏｖｉ
ｎｇｄ
ｅｅｐｎ
ｅｕｒ
ａｌ
ｎ
ｅｔｗｏ
ｒｋｓｆ
ｏｒＬＶＣＳ
Ｒｕｓ
ｉｎｇｒ
ｅｃｔ
ｉｆ
ｉｅ
ｄｌｉ
ｎｅａ
ｒｕｎ
ｉｔｓａ
ｎｄｄ
ｒｏｐ
ｏｕｔ
参 考 文 献
［Ｃ］／／
２０１
３ＩＥＥＥ Ｉ
ｎｔｅ
ｒｎａ
ｔｉ
ｏｎａ
ｌＣｏ
ｎｆｅ
ｒｅｎ
ｃｅｏ
ｎＡｃ
ｏｕｓ
ｔｉ
ｃｓ，
［１］ 吕维宗，王海瑞，舒捷．量子粒子群算法优化相关向量机 Ｓ
ｐｅｅ
ｃｈａ
ｎｄＳ
ｉｇｎ
ａｌＰｒ
ｏｃｅ
ｓｓｉ
ｎｇ，２
０１３：８
６０９－８
６１３．
的轴承故障诊断［Ｊ
］．计算机应用与软件，
２０１
９，３
６（１）：
６ ［１６］ Ｇｌ
ｏｒｏ
ｔＸ，Ｂｏ
ｒｄｅ
ｓＡ，Ｂｅ
ｎｇｉ
ｏＹ．Ｄｅ
ｅｐｓ
ｐａｒ
ｓｅｒ
ｅｃｔ
ｉｆ
ｉｅ
ｒｎｅ
ｕｒａ
ｌ
－１
１，１
６． ｎ
ｅｔｗｏ
ｒｋｓ
［Ｃ］／／
Ｐｒｏ
ｃｅｅ
ｄｉｎ
ｇｓｏ
ｆｔｈ
ｅ１４ｔ
ｈＩｎ
ｔｅｒ
ｎａｔ
ｉｏ
ｎａｌＣｏ
ｎｆｅ
ｒ
［２］ Ｌｅ
ｉＹ．Ｉ
ｎｔｅ
ｌｌ
ｉｇ
ｅｎｔｆ
ａｕｌ
ｔｄｉ
ａｇｎ
ｏｓｉ
ｓａｎ
ｄｒｅ
ｍａｉ
ｎｉｎ
ｇｕｓ
ｅｆｕ
ｌｌｉ
ｆｅ ｅ
ｎｃｅｏ
ｎＡｒ
ｔｉ
ｆｉ
ｃｉ
ａｌＩ
ｎｔｅ
ｌｌ
ｉｇ
ｅｎｃ
ｅａｎ
ｄＳｔ
ａｔ
ｉｓ
ｔｉ
ｃｓ（ＡＩ
ＳＴＡＴＳ）．
ｐ
ｒｅｄ
ｉｃｔ
ｉｏ
ｎｏｆｒ
ｏｔａ
ｔｉ
ｎｇｍａ
ｃｈｉ
ｎｅｒ
ｙ［Ｍ］．Ｘｉ
’ａｎＪ
ｉａｏ
ｔｏｎ
ｇｕｎ
ｉｖｅ
ｒ ２
０１０．
ｓ
ｉｔ
ｙｐｒ
ｅｓｓ
，２０
１７：
１４６． ［１７］ 郑泽宇，梁博文，顾思宇．Ｔｅ
ｎｓｏ
ｒｆｌ
ｏｗ实战 ｇ
ｏｏｇ
ｌｅ深度学
［３］ Ｗｏ
ｎｇｓ
ｕｐｈ
ａｓａ
ｗａｔＫ，Ｓ
ｍｉｌ
ｋｏｖＤ，Ｗｅ
ｘｌｅ
ｒＪ，ｅ
ｔａｌ
．Ｖｉ
ｓｕａ
ｌｉ
 习框架［Ｍ］．电子工业出版社，２
０１８：７
５．
ｚ
ｉｎｇｄ
ａｔａ
ｆｌ
ｏｗｇ
ｒａｐ
ｈｓｏ
ｆｄｅ
ｅｐｌ
ｅａｒ
ｎｉｎ
ｇｍｏ
ｄｅｌ
ｓｉｎＴｅ
ｎｓｏ
ｒＦｌ
ｏｗ ［１８］ Ｉ
ａｎＧ，Ｙｏ
ｓｈｕ
ａＢ，Ａａ
ｒｏｎＣ．Ｄｅ
ｅｐｌ
ｅａｒ
ｎｉｎ
ｇ［Ｍ］．Ｐｏ
ｓｔｓ＆
［Ｊ］． Ｉ
ＥＥＥ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏ
ｎｓｏ
ｎ Ｖｉ
ｓｕａ
ｌｉ
ｚａｔ
ｉｏ
ｎａｎ
ｄ Ｃｏ
ｍｐｕ
ｔｅｒ Ｔｅ
ｌｅｃ
ｏｍＰｒ
ｅｓｓ
，２０
１７．
Ｇｒ
ａｐｈ
ｉｃｓ
，２０
１８，
２４（１）：
１－１
２． ［１９］何宇健．Ｐｙ
ｔｈｏ
ｎ与机器学习实战：决策树、集成学习、支持
［４］ 靳涛，张永爱．Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ平台下基于深度学习的数字识 向量机与神经网络算法详解及编程实现［Ｍ］．电子工业
别［Ｊ
］．信息技术与网络安全，２
０１８，３
７（４）：７
４－７
８． 出版社，
２０１
７：２
０３－２
０４．
［５］ 侯艳路，丁世飞，孙统风．混合深度学习模型 Ｃ
ＲＦ及其 ［２０］ Ｈｏ
ｒｎｉ
ｋＫ，Ｓ
ｔｉｎ
ｃｈｃ
ｏｍｂ
ｅＭ，Ｗｈ
ｉｔｅＨ．Ｍｕ
ｌｔｉ
ｌａ
ｙｅｒｆ
ｅｅｄ
ｆｏｒ
ｗａｒ
ｄ
在手写数字识别中的应用［Ｊ
］．数据采集与处理，２
０１８， ｎ
ｅｔｗｏ
ｒｋｓａ
ｒｅｕ
ｎｉｖ
ｅｒｓ
ａｌａ
ｐｐｒ
ｏｘｉ
ｍａｔ
ｏｒｓ
［Ｊ］．Ｎｅ
ｕｒａ
ｌＮｅ
ｔｗｏ
ｒｋｓ
，
３
３（２）：３
４３－３
５０． １
９８９，２（５）：
３５９－３
６６．
［６］ 韩山杰，谈世哲．基于 Ｔｅ
ｎｓｏ
ｒＦｌ
ｏｗ进行股票预测的深度 ［２１］ Ｓ
ｕｔｓ
ｋｅｖ
ｅｒＩ
，Ｍａ
ｒｔｅ
ｎｓＪ
，Ｄａ
ｈｌＧ，ｅ
ｔａｌ
．Ｏｎｔ
ｈｅｉ
ｍｐｏ
ｒｔａ
ｎｃｅｏ
ｆ
学习模型的设计与实现［Ｊ
］．计算机应用与软件，２
０１８， ｉ
ｎｉｔ
ｉａ
ｌｉ
ｚａｔ
ｉｏ
ｎａｎ
ｄｍｏ
ｍｅｎ
ｔｕｍｉ
ｎｄｅ
ｅｐｌ
ｅａｒ
ｎｉｎ
ｇ［Ｃ］／／
Ｐｒｏ
ｃｅｅ
ｄ
３
５（６）：２
６７－２
７１，
２９１． ｉ
ｎｇｓｏ
ｆｔｈ
ｅ３０ｔ
ｈＩｎ
ｔｅｒ
ｎａｔ
ｉｏ
ｎａｌＣｏ
ｎｆｅ
ｒｅｎ
ｃｅｏ
ｎＩｎ
ｔｅｒ
ｎａｔ
ｉｏ
ｎａｌ
［７］王丽华，谢阳阳，周子贤，等．基于卷积神经网络的异步 Ｃｏ
ｎｆｅ
ｒｅｎ
ｃｅｏ
ｎＭａ
ｃｈｉ
ｎｅＬｅ
ａｒｎ
ｉｎｇ
—Ｖｏ
ｌｕｍｅ２
８．２
０１３．
电机故 障 诊 断 ［Ｊ
］．振 动 测 试 与 诊 断，２
０１７，３
７（６）： ［２２］ Ｄｕ
ｃｈｉＪ
，Ｈａ
ｚａｎＥ，Ｓ
ｉｎｇ
ｅｒＹ．Ａｄ
ａｐｔ
ｉｖ
ｅｓｕ
ｂｇｒ
ａｄｉ
ｅｎｔｍｅ
ｔｈｏ
ｄｓ
１
２０８－１
２１５，
１２８
３． ｆ
ｏｒｏ
ｎｌｉ
ｎｅｌ
ｅａｒ
ｎｉｎ
ｇａｎ
ｄｓｔ
ｏｃｈ
ａｓｔ
ｉｃｏ
ｐｔｉ
ｍｉｚ
ａｔｉ
ｏｎ［Ｊ
］．Ｊ
ｏｕｒ
ｎａｌｏ
ｆ
［８］王丽华，谢阳阳，张永宏，等．采用深度学习的异步电机 Ｍａ
ｃｈｉ
ｎｅＬｅ
ａｒｎ
ｉｎｇＲｅ
ｓｅａ
ｒｃｈ，２
０１１，１
２（７）：
２５７－２
６９．
故障诊断方法［Ｊ
］．西安交通大学学报，２
０１７，５
１（１
０）： ［２３］ Ｔｉ
ｅｌ
ｅｍａ
ｎＴ，Ｈｉ
ｎｔｏ
ｎＧ．ＲＭＳ
Ｐｒｏ
ｐ：Ｄｉ
ｖｉ
ｄｅｔ
ｈｅｇ
ｒａｄ
ｉｅｎ
ｔｂｙａ
１
２８－１
３４． ｒ
ｕｎｎ
ｉｎｇａ
ｖｅｒ
ａｇｅｏ
ｆｉｔ
ｓｒｅ
ｃｅｎ
ｔｍａ
ｇｎｉ
ｔｕｄ
ｅ［Ｒ］．ＣＯＵＲＳ
ＥＲＡ：
［９］ 孙文臖，邵思羽，严如强．基于稀疏自动编码深度神经 Ｎｅ
ｕｒａ
ｌＮｅ
ｔｗｏ
ｒｋｓｆ
ｏｒＭａ
ｃｈｉ
ｎｅＬｅ
ａｒｎ
ｉｎｇ
．２０
１２．
网络的感应电动机故障诊断［Ｊ
］．机械工程学报，２
０１６， ［２４］ Ｋｉ
ｎｇｍａＤＰ，ＢａＪ
．Ａｄ
ａｍ：Ａｍｅ
ｔｈｏ
ｄｆｏ
ｒｓｔ
ｏｃｈ
ａｓｔ
ｉｃｏ
ｐｔｉ
ｍｉｚ
ａ
５
２（９）：６
５－７
１． ｔ
ｉｏ
ｎ［ＥＢ］．ａ
ｒＸｉ
ｖ：１
４１２．
６９８
０．２
０１４．
［１０］ Ｗｅ
ｎＬ，ＬｉＸ，Ｇａ
ｏＬ，ｅ
ｔａｌ
．Ａｎ
ｅｗｃ
ｏｎｖ
ｏｌｕ
ｔｉｏ
ｎａｌｎ
ｅｕｒ
ａｌｎ
ｅｔ ［２５］ ＬｅＱＶ，Ｎｇ
ｉａｍＪ
，Ｃｏ
ａｔｅ
ｓＡ，ｅ
ｔａｌ
．Ｏｎｏ
ｐｔｉ
ｍｉｚ
ａｔｉ
ｏｎｍｅ
ｔｈｏ
ｄｓ
ｗｏ
ｒｋｂ
ａｓｅ
ｄｄａ
ｔａ
ｄｒｉ
ｖｅｎｆ
ａｕｌ
ｔｄｉ
ａｇｎ
ｏｓｉ
ｓｍｅ
ｔｈｏ
ｄ［Ｊ］．Ｉ
ＥＥＥ ｆ
ｏｒｄ
ｅｅｐｌ
ｅａｒ
ｎｉｎ
ｇ［Ｃ］／／
Ｐｒｏ
ｃｅｅ
ｄｉｎ
ｇｓｏ
ｆｔｈ
ｅ２８ｔ
ｈＩｎ
ｔｅｒ
ｎａｔ
ｉｏ
ｎａｌ
Ｔｒ
ａｎｓ
ａｃｔ
ｉｏ
ｎｓｏ
ｎＩｎ
ｄｕｓ
ｔｒ
ｉａｌＥｌ
ｅｃｔ
ｒｏｎ
ｉｃｓ
，２０
１８，６
５（７）：５
９９０ Ｃｏ
ｎｆｅ
ｒｅｎ
ｃｅｏ
ｎＭａ
ｃｈｉ
ｎｅＬｅ
ａｒｎ
ｉｎｇ
，ＩＣＭＬ２
０１１，Ｂｅ
ｌｌ
ｅｖｕ
ｅ，
－５
９９８． Ｗａ
ｓｈｉ
ｎｇｔ
ｏｎ，ＵＳ
Ａ，Ｊ
ｕｎｅ２
８—Ｊ
ｕｌｙ２，２
０１１．ＤＢＬＰ，２
０１１．
［１１］ 仝卫国，李敏霞，张一可．深度学习优化算法研究［Ｊ
］． ［２６］周安众，罗可．一种卷积神经网络的稀疏性 Ｄｒ
ｏｐｏ
ｕｔ正则
计算机科学，２
０１８，４
５（Ｓ
２）：１
５５－１
５９． 化方法［Ｊ
］．小型微型计算机系统，２
０１８，３
９（８）：１
６７４
［１２］ Ｎａ
ｉｒＶ，Ｈｉ
ｎｔｏ
ｎＧＥ．Ｒｅ
ｃｔｉ
ｆｉ
ｅｄｌ
ｉｎｅ
ａｒｕ
ｎｉｔ
ｓｉｍｐ
ｒｏｖ
ｅｒｅ
ｓｔｒ
ｉｃｔ
 －１
６７９．
ｅ
ｄｂｏ
ｌｔ
ｚｍａ
ｎｎｍａ
ｃｈｉ
ｎｅｓ
［Ｃ］／／
Ｐｒｏ
ｃｅｅ
ｄｉｎ
ｇｓｏ
ｆｔｈ
ｅ２７ｔ
ｈＩｎ
ｔｅｒ
 ［２７］ Ｓ
ｒｉｖ
ａｓｔ
ａｖａＮ，Ｈｉ
ｎｔｏ
ｎＧ，Ｋｒ
ｉｚ
ｈｅｖ
ｓｋｙＡ，ｅ
ｔａｌ
．Ｄｒ
ｏｐｏ
ｕｔ：Ａ
ｎ
ａｔｉ
ｏｎａ
ｌＣｏ
ｎｆｅ
ｒｅｎ
ｃｅｏ
ｎＩｎ
ｔｅｒ
ｎａｔ
ｉｏ
ｎａｌＣｏ
ｎｆｅ
ｒｅｎ
ｃｅｏ
ｎＭａ
ｃｈｉ
ｎｅ ｓ
ｉｍｐ
ｌｅｗａ
ｙｔｏｐ
ｒｅｖ
ｅｎｔｎ
ｅｕｒ
ａｌｎ
ｅｔｗｏ
ｒｋｓｆ
ｒｏｍｏ
ｖｅｒ
ｆｉ
ｔｔ
ｉｎｇ［Ｊ
］．
Ｌｅ
ａｒｎ
ｉｎｇ
．Ｏｍｎ
ｉｐｒ
ｅｓｓ
，２０
１０：８
０７－８
１４． Ｊ
ｏｕｒ
ｎａｌｏ
ｆＭａ
ｃｈｉ
ｎｅＬｅ
ａｒｎ
ｉｎｇＲｅ
ｓｅａ
ｒｃｈ，２
０１４，１
５（１）：１
９２９
［１３］ Ｇｌ
ｏｒｏ
ｔＸ，Ｂｅ
ｎｇｉ
ｏＹ．Ｕｎ
ｄｅｒ
ｓｔ
ａｎｄ
ｉｎｇｔ
ｈｅｄ
ｉｆｆ
ｉｃ
ｕｌｔ
ｙｏｆｔ
ｒａｉ
ｎｉｎ
ｇ －１
９５８．