第 28 卷 第3 期 材 料 科 学 与 工 艺 Vol. 28 No.

3
2 0 2 0 年6 月 MATEＲIALS SCIENCE AND TECHNOLOGY Jun． 2020

DOI： 10． 11951 / j． issn． 1005 － 0299． 20200140

深度学习在材料显微图像分析中的应用与挑战
1，
2，3
班晓娟 ，宿彦京1，4 ，谢建新1，4
（ 1． 北京科技大学 北京材料基因工程高精尖创新中心，
北京 100083； 2． 材料领域知识工程北京市重点实验室（ 北京科技大学） ，
北京 100083； 3． 北京科技大学 计算机与通信工程学院，
北京 100083； 4． 北京科技大学 新材料技术研究院，
北京 100083）

摘 要： 材料的组织结构主要受成分和制备加工工艺的影响，是决定材料性能的关键因素，在材料研发的全周期内具有
重要作用。材料组织结构以非结构化图像数据的形式呈现，利用人工经验性的手段进行分析和信息抽取，遗漏了大量的
材料学信息和隐含知识。深度学习技术的发展和应用，为材料显微图像中信息的精准、快速、自动获取提供了重要的研
究手段。本文从图像处理、图像分析和图像理解 3 个方面概述了材料显微图像处理与信息挖掘的主要研究内容和关键
技术，详细介绍了深度学习在图像分析中的图像识别、图像分割和图像生成 3 个任务中的研究进展，讨论了深度学习在
材料显微图像分析和信息挖掘中的发展方向和挑战。
关键词： 材料显微图像分析； 机器学习； 深度学习； 计算机视觉； 图像处理
中图分类号： TPB391 文献标志码： A 文章编号： 1005 － 0299（ 2020） 03 － 0068 － 08

Applications and challenges of deep learning in material

microscopic image analysis
BAN Xiaojuan1，2，3 ，SU Yanjing1，4 ，XIE Jianxin1，4

（ 1． Beijing Advanced Innovation Center for Materials Genome Engineering，University of Science and Technology Beijing，
Beijing 100083，China； 2． Beijing Key Laboratory of Knowledge Engineering for Materials Science （ University of Science
and Technology Beijing） ，Beijing 100083，China； 3． School of Computer and Communication Engineering，University of
Science and Technology Beijing，Beijing 100083，China； 4． Institute for Advanced Materials and Technology，University
of Science and Technology Beijing，Beijing 100083，China）

Abstract： The structure of materials is mainly affected by the composition and processing technology，which is
the key factor to determine the performance of materials and plays an important role in the whole cycle of
material research and development． The material microstructure is presented in the form of unstructured image
data，which is usually analyzed and extracted by means of artificial experience，leaving out a lot of material
information and implicit knowledge． The development and application of deep learning technology provide an
important research means for the accurate， fast， and automatic acquisition of information in material
microscopic image． In this work，the main research contents and key technologies of material microscopic
image processing and information mining were summarized from three aspects of image processing，image
analysis，and image understanding． The research progress of deep learning in image recognition，image
segmentation，and image generation in image analysis was introduced in detail． The development directions
and challenges for the application of deep learning in material microscopic image analysis and information
mining were also discussed．
Keywords： material microscopic image analysis； machine learning； deep learning； computer vision；
image processing
收稿日期： 2020 － 05 － 05．网络出版日期： 2020 － 06 － 15．
基金项目： 国家重点研发计划项目（ 2016YFB0700500） ． 成分 － 工艺 － 组织结构 － 性能的构效关系是
作者简介： 班晓娟（ 1970—） ，女，教授； 材料性能提升、质量控制和新材料研发的基础。
谢建新（ 1958—） ，男，教授，中国工程院院士．
通信作者： 谢建新，E-mail： jxxie@ mater． ustb． edu． cn
近年来，机器学习在材料成分、工艺、性能等结构
［1 － 3］
期刊网址： http： / / hit． alljournals． cn / mst_cn / ch / index． aspx 化数据的分析和挖掘中取得了明显的进展 。
 第3 期 班晓娟，等： 深度学习在材料显微图像分析中的应用与挑战 · 69·

依赖于有效的特征提取能力，机器学习方法可挖 网络（ Ｒecurrent Neural Network，ＲNN） 和生成对

掘出材料数据的显著特征，准确构建成分与性能 抗网络（ Generative Adversarial Network，GAN） 在
［4］
间的相关关系，提升材料研发的效率 。 材料的 （ 人工） 神经网络中的重要作用［19］。美国 2021 财
组织结构通常以非结构化图像数据的形式展现 ， 政预算提案拟投入1 422 亿美元联邦资金用于人
例如，高分辨率透射电镜反映出材料的原子结构 工智能和量子计算，美国国防高级研究计划局拟
和分布，透射电镜和扫描电镜的形貌图像反映了 投入 4． 59 亿 美 元 用 于 人 工 智 能 研 发，分 别 比
材料位错、晶体、夹杂等缺陷和相结构特征等，金 2020 年提高 6% 和约 12% ［20 － 21］。 此外，在材料
［5 － 6］
相照片反映了材料晶粒和相分布的特征 。但 显微图像分析应用中，以 CNN 和 GAN 为代表的
［22 － 23］
是，由于图像分析技术手段的限制，多年来材料图 深度神经网络应用较为广泛 。
像数据在科学研究中的应用主要依赖于人工经验 LeCun 于 1989 年 提 出 卷 积 神 经 网 路［24］，通
性的分析和信息提取，遗漏了大量的材料学信息 过在网络中引入卷积层和池化层，进而通过局部
和隐含的知识，缺乏科学定量的描述，成为构建材 连接和权值共享的方式减少人工神经网络的参数
料本构关系的短板。 量，使之可以高效地学习到图像中区域和区域间
随着计算机运算能力的提高及人工智能理论 的相关关系，并成功应用到手写邮政编码的识别
［8］
和 技 术 的 发 展，以 深 度 学 习 （ Deep Learning， 任务中。Hinton 小组于 2012 年提出 AlexNet 在
DL） ［7］为代表的机器学习方法取得了许多重要突 超大型数据集 ImageNet 上将图像识别的 Top-5 错
破，在语音识别、自然语言处理、图像与视频分析、 误率降低至 16． 4% ，该成绩远远超过了传 统 方
多媒体等诸多领域的应用中取得了巨大成功 。尤 法。而 后，大 量 的 改 进 版 本 相 继 被 提 出，如
其在图像处理与分析领域，深度学习快速推动了 VGG［25］，GoogleNet［26］，ＲesNet［18］，DenseNet［27］，
［8］ ［9］ ［10］
图像识别 、目标检测 和图像分割 等图像信 截至 2017 年最后一届 ImageNet 图像识别竞赛，
［11］
息挖掘应用的发展，同时为光学字符识别 、人 SENet［28］ 将 图 像 识 别 的 Top-5 错 误 率 降 低 至
［12］ ［13］ ［14］
脸识别 、自动驾驶 、手 势 识 别 等 智 能 化 2. 991% ，已远低于人类水平 5． 1% 。 随后，各种
产业带来了新的解决方案。 改进版本依然不断迭代，模型的预测性能进一步
近年来，深度学习在材料显微图像分析中取 提高。2015 年，全卷积神经网络 （ Fully Convolu-
得了明显进展，为材料学的研究提供了新的手段 tional Network，FCN） ［29］ 将深度神经网络中的全
和技 术，有 效 地 弥 补 了 材 料 传 统 研 究 手 段 的 不 连接层改为全卷积层，首次将深度神经网络引入
［15］
足 。本文概述了材料图像处理与信息挖掘的 图像分割领域，并将原本输入和输出间的图像 －
主要研究内容和关键技术，综述了深度学习在材 标签映射模式转变为图像 － 图像映射模式，显著
料显微图像识别、分割和生成等图像分析任务中 扩大了卷积神经网络的应用范围 。后续科研工作
的应用，探讨了深度学习方法在材料显微图像领 者将 FCN 及其变体用于图像去噪、增强、融合和
域的挑战与对策。 修复等处理任务中，其性能均超过了传统的图像
处理方法。
1 深度学习发展与应用 Goodfellow 于 2014 年提出生成对抗网络［30］，
1973 年，
Ｒosenblatt 提出了感知机 （ Perceptron） 通过构建生成器和判别器进行相互博弈，即可在
的概 念，构 建 了 人 工 神 经 网 络 （ Artificial Neural 博弈过程中学习到数据的分布特征 。生成器能够
［16］
Network，ANN） 的理论原型 。Hinton 于 1986 年 捕捉到真实数据样本的分布，进而生成新的数据
提出梯度下降方法，使得网络模型在学习过程中 样本。判别器为一个二分类器，判别生成数据与
可根据目标函数优化模型中的各项参数，最终驱 真实数据的相似程度。 当前，生成对抗网络 GAN
［17］ ［31］
使输出结果逐渐接近于目标值 。由此，人工神 在图像和视觉领域发展较为广泛 ，通过 GAN
经网络初具雏形，随着网络层数的逐渐加深，以及 可以生成逼真的人物头像、街道场景、艺术绘画和
［32］
网络结构的不断优化，其特征表达能力逐步提高， 材料显微图像 。
人工神经网络逐渐发展成为学习能力显著提高的 2015 年，深度学习的 3 位顶尖学者 （ LeCun，
［18］
深度神经网络 。 欧盟拟计划在 2020 年 26 亿 Bengio 和 Hinton） 在 Nature 上联合撰文将深度学
欧元预算的基础上每年追加 10 亿欧元用于支持 习方法定义为： 把原始数据通过一些简单，但非线
人工智能“燃料 ”，并重点 强 调 了 卷 积 神 经 网 络 性的模型转变成为更高层次的，更加抽象表达的
［7］
（ Convolutional Neural Network，CNN） 、循环神 经 一种特征学习方法 。 并且，由于在深度学习上
· 70· 材 料 科 学 与 工 艺 第 28 卷

的卓越贡献，LeCun，Bengio 和 Hinton 3 位学者于 通常分为图像处理、图像分析和图像理解 3 个层

［34］
2018 年共同获得图灵奖。 次 ，主要研究内容和关键技术如图 1 所示。
由此可见，深度学习可包括任何以层级形式 材料显微图像处理。指对材料显微图像进行
衔接的特征提取模型，如深度森林和深度神经网 像素级的局部处理，如去噪、去模糊、增强、融合
络等。鉴于深度神经网络性能较优且应用最为广 （ 如采用多聚焦图像融合方法解决拍摄中材料表
［35］
泛，本文将深度学习特指深度神经网络 。 面高低不平造成模糊的问题 ） 、拼接 （ 提取图
［36］
像的高维特征，辅助大尺寸显微图像拼接 ） 、修
2 材料显微图像处理与信息挖掘的内涵 复、检索、三 维 层 磨 图 像 插 值 和 三 维 显 微 组 织
［33］
材料显微图像的计算机处理和信息挖掘 重构。

图1 材料显微图像处理与信息挖掘的主要研究内容和关键技术
Fig． 1 Main research contents and key technologies of material microscopic image processing and information mining

材料显微图像分析。指对材料显微图像整体
3 深度学习在材料显微图像分析中的应用
或局部的处理，可根据像素之间的相关关系分析
和提取组织图像中的材料学信息，包括材料显微 材料显微图像分析包括图像识别、分割和生
图像 识 别、材 料 显 微 图 像 分 割 和 材 料 显 微 图 像 成等任务。本章首先对图像识别、图像分割和图
生成。 像生成 3 个容易混淆的应用展开对比说明，
见图 2，
材料显微图像理解。指在材料显微图像处理 然后对上述 3 个应用展开详细叙述。
和分析基础上，
对显微图像中蕴含的材料学信息进
行分析和整合。如二维或三维组织结构表征、组织
演变规律发现、
成分 － 工艺 － 组织 － 性能关系的挖
掘，
最终依据获得的材料学规律辅助新材料设计。
近年来，由于深度学习在图像相关的各项任
务中均展现出超越传统算法的优越性，为材料显
微图像的自动化分析提供了新的解决方案 。材料
科研工作者开始尝试将深度学习应用到图 1 所
述的材料显微图像处理与信息挖掘的各项相关任
务中。 图2 图像识别、图像分割和图像生成任务示意
而在所有研究任务中，材料显微图像识别、图 Fig． 2 Schematic diagram of image recognition，image seg-

像分割和图像生成等 3 种材料显微图像分析任务 mentation，and image generation tasks

与材料学信息挖掘，以及材料显微图像理解具有 图像识别。该应用指向模型输入单张图像，
紧密 的 联 系，且 已 取 得 了 富 有 成 效 的 研 究 成 模型对图像整体分析后，输出单个评估结果。 该
果
［22］
。下文将针对材料显微图像分析任务中 3 结果若为离散值，则模型执行分类任务，如判断该
种应用进行详细介绍。 图像属于哪种合金组织。 若该结果为连续值，则
 第3 期 班晓娟，等： 深度学习在材料显微图像分析中的应用与挑战 · 71·

该模型执行回归任务，如预测该图像的宏观性能 学习的强有效特征提取能力，该方法已成功应用
或成分组成。 于多种材料识别任务中，并取得有成效的效果。
图像分割。该应用指向模型输入单张图像， 但由于深度学习的黑盒特性，科研人员尚不能通
模型对图像每个区域分析后，输出每个像素的分 过简单的数学公式表征深度学习所识别的特征 ，
类结果，该结果可进一步用于组织比例统计以及 对特征理解与优化提出了挑战。
形状尺寸表征。图像分割和图像识别模型均可得 3． 2 材料显微图像分割
到图像的相关信息，但图像分割得到的结果更为 随着深度学习在自然场景图像分割任务中取
直观，有利于定量地表征微观组织结构特征 。 得的突破，Ｒonneberger 于 2015 年提出了 U － Net
图像生成。该应用指向模型输入材料学信息 网络，并成功用于电子显微镜下生物细胞图像的
［41］
（ 参数、语义图、线段图等 ） ，模型生成与该材料学 分割，取得了当年 ISBI 细胞识别竞赛的冠军 。
信息相关的合成图像。生成的图像可以作为数据 经过在 不 同 数 据 集 上 的 重 复 性 实 验，Falk 等 于
增广策略扩充现有的材料显微图像数据，进而在 2019 年在 Nature 子刊发表文章，称 U － Net 被证
训练过程中提高深度学习算法的泛化能力 。 明在生物医学和材料科学领域的图像处理任务中
［42］
3． 1 材料显微图像识别 具有极强的鲁棒性 。
随着深度学习在自然场景图像识别任务中取得 在材料显微图像分析应用中，相对于图像识
了突破进展，
材料科研人员尝试将传统由人类专家 别任务，对材料显微组织进行像素级别的图像分
人工主观对图像识别的任务交给深度学习进行处 割，可定量地对图像中不同相的组成进行统计和
理，
旨在用深度学习自动提取图像中可用于显微组 分析，进而为宏微观内禀关系分析提供数据支撑 。
织识别的强有效特征，进而消除人工识别的不确定 因此，图像分割模型在材料显微图像分析中得到
性，
有效、快速且自动地对材料显微图像进行识别。 了较为广泛的应用。
Adachi 等首先将卷积神经网络引入钢的微 Azimi 等首先对 FCN 深入研究并结合材料组
观结构识别任务中，实验证明该方法具有极高的 织的特性，将 FCN 与最大表决法相结合，提出了
［37］
识别鲁 棒 性 。Yamamoto 提 出 一 种 神 经 网 络 一种 新 型 的 针 对 材 料 显 微 组 织 的 分 割 算 法
GCNN，可对每一种测试材料的形成能、单位晶胞 MVFCNN［15］，与当时最先进的材料显微组织分割
体积、带隙、总磁化率等特征进行预测，进而使用 技术相比，将精确度从 48． 89% 提高到 93． 94% ，
上述特征对金属 － 绝缘体和非磁性–磁性体进行 取得 了 显 著 的 进 步，其 示 意 图 如 图 3 所 示。
［38］
二元分类 。Ｒuelas 等使用人工神经网络识别 Decost等提出一种深度卷积神经网络，可以实现
高温条件下导体材料的不同物理状态 （ 如球化、 复杂微观结构的分割，能够从含有多种微观成分
脱碳还是石墨化 ） 。 实验表明，所提出的识别算 的复杂的微观图中获得水灰石粒度和变质区宽度
［43］
法与人类专家相比获得了 96． 83% 的准确率，且 的分布 。Li 等结合卷积神经网络和图像局部
［39］
效率更高 。Wang 等通过实验证明深度卷积神 分析方法开发了一套适用于不同对比度、亮度和
［44］
经网络对 X 射线散射图像进行分类的准确率超 磁化 的 组 织 图 像 中 缺 陷 的 自 动 检 测 工 具 。
［40］
过人工识别结果 。 Maksov 等提出了基于深度学习的动态 STEM 成
上述方法直接向深度学习模型输入图像，并 像分析模型，可在几秒内从原始的 STEM 数据中
［45］
训练深度学习模型输出图像识别结果 。由于深度 提取出数千个晶格缺陷 。

图3 MVFCN［15］ 图像分割模型示意图
Fig． 3 Schematic diagram of image segmentation model MVFCN［15］
 · 72·
在此基础上，部分科研工作者通过深入分析
材料显微图像数据的特殊性，对深度学习的各个
组件进行修正，并取得了富有成效的研究成果。
Boyuan 等采用一种基于对称重叠平铺策略的局
部处理方法，使深度学习方法在推理过程摈弃对
高显存机器的依赖，进而使得卷积神经网络能够
［22］
对大尺寸显微图像进行分析
纯铁多晶粒组织图像分割任务中的不平衡分割问
题，提出了一种基于自适应边缘加权的损失函数 ，
该损失函数提高了深度网络对于边界提取的准
［46］
确度 。
上述图像分割模型采用基于监督学习的深度
学习方法，在显微图像材料学信息提取任务中取
得了优异的性能。但由于监督学习方法需要大量
标注数据进行训练，阻碍了该方法的广泛应用。
3． 3 材料显微图像生成
由于实验数据采集时间长、难度大以及计算
精度低等问题，在材料科学研究中，尤其是新材料
研发中，仍然面临着缺乏高质量数据的困境。 在
实际应用中，也缺乏具有像素级别标注的大数据
集来训练图像分割等材料学信息提取任务 。
伴随着 GAN 的出现，图像生成模型在性能上
得到了质的飞越。 材料科研工作者开始尝试用
GAN 来缓解缺乏数据的困境。 材料显微图像生
成主要有两种应用。
1） 作为数据增广策略增加模型所需的训练
数据。针对图像分割任务所需训练数据不足的问
题，Boyuan 等提出一种基于风格迁移的数据增广
［47］
方法，技术路线如图 4（ a） 所示 ，将真实实验图
像（ 图 4（ b） ） 的风格迁移到蒙特卡洛模型生成的
图4 数据增广示意图
Fig． 4 The demonstration of data augmentation［47］： （ a） the
flow chart； （ b） real images produced by experiment；
（ c） simulated images generated by Monte Carlo model；
（ d） synthetic images generated by style transfer model
材 料 科 学 与 工 艺 第 28 卷
模拟图像 （ 图 4（ c） ） 中获得合成图像（ 图 4（ d） ） ，
该方法通过结合材料计算模型数据生成速度快的
特点，能在极短时间内生成大量合成图像 ，该合成
图像的晶粒尺寸分布与原图相同，表观纹理特征
与原图相似，可作为数据增广辅助图像分割任务 。
在仅有少量数据的前提下，在图像分割任务上，增
。Boyuan 等针对 广方式提高近 8% 的性能，解决了数据量不足的
问题。
2） 填补因实验复杂造成 的 数 据 缺 失。Luo
等提出了一种基于先验知识和注意力机制的生成
对抗性模型，以实现材料辐照图像的生成和相应
的工业性能预测模型的构建。 通过提出的模型，
研究人员可以跳过危险复杂的辐照实验，只需输
入一些实验参数即可直接获得辐照图像和工业性
［23］
能参数 。
4 深度学习在材料显微图像分析中的挑战
4． 1 面向材料显微图像识别的特征可解释性分析
当前，深度学习技术大多属于黑盒方法 ，该方
法采用非线性映射将数据映射到高维特征空间 ，
并在该空间内寻找问题对应的最优解 。虽然该方
法在与任务相关的性能上取得优异的效果 ，但这
样的黑盒方法难以被科研人员理解 。
具体地，传统数据挖掘模型可通过具有可解
释性的数学公式展现材料成分与相应特性间的关
系，而在图像分析任务中，传统图像处理算法也可
通过数学表征的方法解释算法执行原理 。虽然深
度学习方法在处理性能上优于传统图像处理方
法，但缺乏可解释性的黑盒模型，为模型优化和机
理解释带来了困难。尤其在材料显微图像识别任
务中，目前科研人员无法了解深度学习究竟提取
了怎样的结构特征，以对图像中的材料学信息进
行精准的识别。
因此，如何构建具有可解释性的材料图像特
征提取模型是当前的研究难点。
4． 2 面向材料显微图像分割的小样本数据高效
分析问题
在基于深度学习的人工智能领域中，数据的
数量和数据的质量决定着模型性能的上限 。相较
于自然图像数据，由于材料组织的不透明性造成
图像获取过程复杂繁琐，需经过抛光、侵蚀、研磨、
［47］
拍摄等工序的反复操作才可获得小批量数据 。并
且，当前多数深度学习算法属于有监督学习方法 ，
尤其针对图像分割任务，需耗费大量人工对图像
数据进行标注供模型进行训练，提高了算法应用
的数据成本。 因此，在大多数材料图像分析任务
 第3 期 班晓娟，等： 深度学习在材料显微图像分析中的应用与挑战
中仅能获得小样本数据，如何有效利用迁移学习、
半监督学习、自监督学习和无监督学习等手段 ，提
高模型在小样本数据情况下的特征提取能力是今
后研究的重点。
4． 3 面向材料显微图像分割的三维或四维精准
高效重构问题
在材料研究领域中，研究人员通常采用系列
截面法获得材料组织的多层截面，并从截面中构
建材料的三维结构。 当前，基于深度学习的图像
特征提取技术在二维图像数据分析中取得了初步
成果。但是，由于深度卷积网络模型常具有极高
的空间复杂度，在有限的硬件资源前提下难以直
接对大尺寸三维数据进行分析和处理，如何有效
利用材料截面的三维信息，对大尺寸三维材料显
微组织精准且高效的分析是研究难点。 同时，材
料显微组织在外力作用下会产生一定的蠕变 ，如
高温合金在不同压力和温度下将发生微观组织演
变，从而影响合金的使用寿命。因此，如何设计复
杂且有效的图像分析方法对四维组织图像数据进
行分析和建模是未来的研究挑战 。
4． 4 面向材料显微图像生成的材料学信息一致性约束
基于 GAN 的图像生成方法可生成与目标材
料显微图像表观相似的图像。但目前深度学习网
络模型无法对生成图像中蕴含的材料学信息进行
约束，如何引入这样的信息确保生成图像符合材
料基本特性，如尺寸分布和形状分布等是下一步
研究的重要方向。
5 总结与展望
基于深度学习的图像分析方法可通过深度网
络强有效的特征提取能力，提取图像中对于目标
任务的显著性特征，该方法在材料显微图像分析
的各个应用中取得了一定进展。本文将与材料显
微图像相关的研究任务分为图像处理、图像分析
和图像理解 3 个层次，并对图像分析中与材料学
信息提取密切相关的图像识别、图像分割和图像
生成等 3 个应用展开了详细介绍： 1） 材料显微图
像识别，如使用卷积神经网络对低碳钢的微观结
构的识别； 2） 材料显微图像分割，该应用可对材
料显微图像进行像素级别的分割，在此基础上可
进一步提取图像中物相组成，并对组织进行形状
尺寸表征； 3） 材料显微图像生成，由于材料显微
图像的采集和标注过程耗费大量人力和时间 ，使
用深度学习的生成模型，即可生成对应的材料显
微图像并作为数据增广策略辅助模型训练 ，给材
料科学的研究带来了新的思路。
· 73·
由于材料显微图像数据的复杂性，深度学习
在材料显微图像分析领域还存在众多挑战 。例如
特征可解释性分析问题、小样本数据高效分析问
题、大尺寸材料显微组织三维或四维精准高效重
构及全信息表征问题，以及材料显微图像生成中
材料学信息一致性约束问题等。这些问题已成为
材料科学下一步研究中的难点与热点 。
本文仅对深度学习在材料显微图像分析的应
用展开综述，而在图像处理和图像理解的任务中
深度学习也展示了相较于传统方法的优越性 ，在
未来的研究中，将会有更多的深度学习方法应用
于材料显微图像处理、分析和理解的相关任务中。
参考文献：
［1］ BUTLEＲ K T，DAVIES D W，CAＲTWＲIGHT H，et
al． Machine learning for molecular and materials
science［J］． Nature，2018，559（ 7715） ： 547 － 555．
DOI： 10． 1038 / s41586 － 018 － 0337 － 2
［2］ ＲAMPＲASAD Ｒ，BATＲA Ｒ， PILANIA G， et al．
Machine learning in materials informatics： Ｒecent
applications and prospects ［J］． NPJ Computational
Materials，2017，3： 54．
DOI： 10． 1038 / s41524 － 017 － 0056 － 5
［3］ LOOKMAN T，ALEXANDEＲ F，ＲAJAN K． Information
science for materials discovery and design ［M］．
Switzerland： Springer International Publishing，
2016．
［4］ WANG Changsheng，FU Huadong，JIANG Lei，et al．
A property-oriented design strategy for high
performance copper alloys via machine learning［J］．
NJP Computational Materials，2019，5（ 1） ： 1 － 8．
DOI： 10． 1038 / s41524 － 019 － 0227 － 7
［5］ HU J，SHI Y N， SAUVAGE X． Grain boundary
stability governs hardening and softening in extremely
fine nanograined metals ［J］． Science 2017，355：
1292 － 1296．
DOI： 10． 1126 / science． aal5166
［6］ ＲAJAN K． Materials informatics： The materials
“gene”and big data［J］． Annual Ｒeview of Materials
Ｒesearch，2015，45： 153 － 169．
DOI： 10． 1146 / annurev-matsci － 070214 － 021132
［7］ LECUN Y，BENGIO Y，HINTON G． Deep learning［J］．
Nature，2015，521（ 7553） ： 436 － 444．
DOI： 10． 1038 / nature14539
［8］ KＲIZHEVSKY A，SUTSKEVEＲ I， HINTON G E．
ImageNet classification with deep convolutional neural
networks［C］/ / Proceedings of Advances in Neural
Information Processing Systems． ［S． l． ］： Neural
Information Processing Systems Foundation， Inc．，
2012： 1097 － 1105．
［9］ HE K，GKIOXAＲI G， DOLLＲ P， et al． Mask
Ｒ-CNN［C］/ / Proceedings of 2017 IEEE International
 · 74· 材 料 科 学 与 工 艺 第 28 卷

Conference on Computer Vision． Piscataway， NJ： ［19］ European Union Aviation Safety Agency． EASA
IEEE，2017： 2980 － 2988． artificial intelligence roadmap———A human-centric
DOI： 10． 1109 / ICCV． 2017． 322 approach to AI in aviation［EB / OL］． （ 2020 － 07 －
［10］ CHEN L，PAPANDＲEOU G，KOKKINOS I，et al． 02） ． https： / / www． easa． europa． eu / document-library /
DeepLab： Semantic image segmentation with Deep general-publications/ easa-artificial-intelligence-roadmap －10．
Convolutional Nets， atrous convolution， and fully ［20］ The White House， National Quantum Coordination
connected CＲFs［J］． IEEE Transactions on Pattern Office． A strategic vision for American' s quantum
Analysis and Machine Intelligence，2018，40 （ 4 ） ： networks［EB / OL］． （ 2020 － 02 － 12 ） ． https： / /
834 － 848． quantumcomputingreport． com / white-house-national-
DOI： 10． 1109 / TPAMI． 2017． 2699184 quantum-coordination-office-releases-a-strategic-vision-
［11］ 冯 海． 基 于 深 度 学 习 的 中 文 OCＲ 算 法 与 系 统 实 for-americas-quantum-networks / ．
现［D］． 深圳： 中国科学院大学（ 中国科学院深圳先 ［21］ The White House． President Trump's FY 2021 budget
进技术研究院） ，2019． commits to double investments in key industries of the
FENG Hai． Chinese OCＲ algorithm and system future［EB / OL］． （ 2020 － 02 － 11 ） ． https： / / www．
implementation based on deep learning ［D ］． whitehouse． gov / briefings-statements / president-trumps-
Shenzhen： Institutes of Advanced Technology，Chinese fy-2021-budget-commits-double-investments-key-
Academy of Sciences，2019． industries-future / ．
DOI： 10． 27822 / d． cnki． gszxj． 2019． 000014 ［22］ MA Boyuan，BAN Xiaojuan，HUANG Haiyou，et al．
［12］ 刘小沣． 基于深度学习的人脸图像识别技术的研 Deep learning-based image segmentation for Al － La
究［D］． 长春： 中国科学院大学（ 中国科学院长春光 alloy microscopic images［J］． Symmetry，2018，10
学精密机械与物理研究所） ，2019． （ 4） ： 107 － 120．
LIU Xiaofeng． Ｒesearch on the technology of deep DOI： 10． 3390 / sym10040107
learning based face image recognition ［ D ］． ［23］ LUO M C， LIU L． Generative model for material
Changchun： Changchun Institute of Optics， Fine irradiation experiments based on prior knowledge and
Mechanics and Physics， Chinese Academy of attention mechanism ［ J ］． NIPS2018 MMLM
Sciences，2019． Workshop，2018．
［13］ 陈宇鹏． 基于深度学习的自动驾驶单目视觉目标识 ［24］ LECUN Y， BOSEＲ B， DENKEＲ J S， et al．
别技术研究［D］． 长春： 吉林大学，
2019． Backpropagation applied to handwritten zip code
CHEN Yupeng． Ｒesearch based on deep learning for recognition［J］． Neural Computation，1989，1 （ 4 ） ：
autonomous driving monocular vision object detection 541 － 551．
technology［D］． Changchun： Jilin University，2019． DOI： 10． 1162 / neco． 1989． 1． 4． 541
［14］ 王苏振． 基于深度学习的手势识别技术研究［D］． ［25］ SIMONYAN K，ZISSEＲMAN A． Very deep convolutional
杭州： 浙江大学，
2019． networks for large-scale image recognition［Ｒ］． arXiv：
WANG Suzhen． Ｒesearch on gesture recognition 1409． 1556，2014．
technology based on deep learning［D］． Hangzhou： ［26］ SZEGEDY C，LIU W，JIA Y，et al． Going deeper
Zhejiang University，2019． with convolutions ［C］/ / Proceedings of 2015 IEEE
［15］ AZIMI S M， BＲITZ D， ENGSTLEＲ M， et al． Conference on Computer Vision and Pattern
Advanced steel microstructural classification by deep Ｒecognition． Piscataway，NJ： IEEE，2015： 1 － 9．
learning methods ［J］． Scientific Ｒeports，2018，8 DOI： 10． 1109 / CVPＲ． 2015． 7298594
（ 1） ： 1 － 14． ［27］ HUANG G，LIU Z，VAN DEＲ MAATEN L，et al．
DOI： 10． 1038 / s41598 － 018 － 20037 － 5 Densely connected convolutional networks ［C ］/ /
［16］ ＲOSENBLATT F． The perceptron： A probabilistic Proceedings of 2017 IEEE Conference on Computer
model for information storage and organization in the Vision and Pattern Ｒecognition． Piscataway， NJ：
brain［J］． Psychological Ｒeview，1958，65（ 6） ： 386． IEEE，2017： 4700 － 4708．
DOI： 10． 1037 / h0042519 DOI： 10． 1109 / CVPＲ． 2017． 243
［17］ ＲUMELHAＲT D E，HINTON G E，WILLIAMS Ｒ J． ［28］ HU J， SHEN L， SUN G． Squeeze-and-excitation
Learning representations by back-propagating errors［J］． networks ［C ］/ / Proceedings of 2018 IEEE / CVF
Nature，1986，323（ 6088） ： 533 － 536． Conference on Computer Vision and Pattern
DOI： 10． 1038 /323533a0 Ｒecognition． Piscataway，NJ： IEEE，2018： 7132 － 7141．
［18］ HE K，ZHANG X，ＲEN S，et al． Deep residual DOI： 10． 1109 / CVPＲ． 2018． 00745
learning for image recognition ［C］/ / Proceedings of ［29］ SHELHAMEＲ E，LONG J，DAＲＲELL T，et al． Fully
2016 IEEE Conference on Computer Vision and Pattern convolutional networks for semantic segmentation［C］/ /
Ｒecognition． Piscataway，NJ： IEEE，2016： 770 － 778． Proceedings of IEEE Transactions on Pattern Analysis
DOI： 10． 1109 / CVPＲ． 2016． 90 and Machine Intelligence． Piscataway， NJ： IEEE，
 第3 期 班晓娟，等： 深度学习在材料显微图像分析中的应用与挑战 · 75·

2017，39（ 4） ： 640 － 651． DOI： 10． 2355 / tetsutohagane． TETSU － 2016 － 035
DOI： 10． 1109 / TPAMI． 2016． 2572683 ［38］ YAMAMOTO T． Crystal graph neural networks for
［30］ GOODFELLOW I，POUGET-ABADIE J，MIＲZA M， data mining in materials science ［Ｒ］． Yokohama，
et al． Generative adversarial nets［C］/ / Proceedings of Japan： ＲIMCS LLC，2019．
the 27th International Conference on Neural ［39］ ＲUELAS-SANTOYO E A， VZQUEZ-LPEZ J A，
Information Processing Systems． Montreal： ［s． n． ］， YAEZ-MENDIOLA J， et al． System for the
2014： 2672 － 2680． recognition of wear patterns on microstructures of
［31］ 王坤峰，苟超，段艳杰，等． 生成式对抗网络 GAN carbon steels using a multilayer perceptron ［J］．
的研究进 展 与 展 望 ［J］． 自 动 化 学 报，2017，43 Ingeniería e Investigación，2018，38（ 1） ： 113 － 120．
（ 3） ： 321 － 332． ［40］ WANG B，YAGEＲ K，YU D，et al． X-ray scattering
WANG Kunfeng，GOU Chao，DUAN Yanjie． et al． image classification using deep learning ［C ］/ /
Generative adversarial networks： The state of the art Proceedings of 2017 IEEE Winter Conference on
and beyond［J］． Acta Automatica Sinica，2017，43 Applications of Computer Vision （ WACV ） ．
（ 3） ： 321 － 332． Piscataway，NJ： IEEE，2017： 697 － 704．
DOI： 10． 16383 / j． aas． 2017． y000003 ［41］ ＲONNEBEＲGEＲ O，FISCHEＲ P，BＲOX T． U-net：
［32］ KAＲＲAS T， LAINE S， AILA T． A style-based Convolutional networks for biomedical image
generator architecture for generative adversarial segmentation ［ C ］/ / Proceedings of International
networks［C］/ / Proceedings of the IEEE Conference on Conference on Medical Image Computing and
Computer Vision and Pattern Ｒecognition． Piscataway， Computer-Assisted Intervention． Cham： Springer，
NJ： IEEE，2019： 4401 － 4410． 2015： 234 － 241．
DOI： 10． 1109 / CVPＲ． 2019． 00453 DOI： 10． 1007 /978 － 3 － 319 － 24574 － 4_28
［33］ 宋晓艳． 体视学，图像分析与计算材料学之间的关 ［42］ FALK T，MAI D，BENSCH Ｒ，et al． U-Net： deep
系及进展［J］． 中国体视学与图像分析，2008，13 learning for cell counting，detection，and morphometry［J］．
（ 4） ： 280 － 285． Nature Methods，2019，16（ 1） ： 67 － 70．
SONG Xiaoyan． Progress on the multi-disciplinary DOI： 10． 1038 / s41592 － 018 － 0261 － 2
relationship of stereology， image analysis and ［43］ DECOST B L，LEI B， FＲANCIS T， et al． High
computational materials science ［J］． Chinese Journal throughput quantitative metallography for complex
13（ 4） ： 280 －
of Stereology and Image Analysis，2008， microstructures using deep learning： A case study in
285． ultrahigh carbon steel ［ J ］． Microscopy and
DOI： 10． 13505 / j． 1007 － 1482． 2008． 04． 005 Microanalysis，2019，25（ 1） ： 21 － 29．
［34］ 章毓晋． 图像工程（ 第四版） ［M］． 北京： 清华大学 ［44］ LI W，FIELD K G，MOＲGAN D． Automated defect
出版社，2019． analysis in electron microscopic images ［J］． NPJ
ZHANG Yujin． Image engineering ［M］． 4th ed． Computational Materials，2018，4（ 1） ： 1 － 9．
Beijing： Tsinghua University Press，2019． DOI： 10． 1038 / s41524 － 018 － 0093 － 8
［35］ 北京科技大学． 一种基于视频清晰度融合的大尺寸 ［45］ MAKSOV A， DYCK O， WANG K， et al． Deep
显微图像生成方法： CN201810432523． 1［P］． 2018 － learning analysis of defect and phase evolution during
10 － 04． electron beam-induced transformations in WS2 ［J］．
University of Science ＆ Technology Beijing． A kind of NPJ Computational Materials，2019，5（ 1） ： 1 － 8．
large scale micro-image generation method based on ［46］ MA Boyuan，LIU Chuni，BAN Xiaojuan，et al． WPU-
video definition fusion： CN201810432523． 1 ［P］． Net： Boundary learning by using weighted propagation
2018 － 10 － 04． in convolution network ［ Ｒ ］． arXiv： 1905．
［36］ MA Boyuan，BAN Xiaojuan，HUANG Haiyou，et al． A 09226，2019．
fast algorithm for material image sequential stitching［J］． ［47］ MA Boyuan，WEI Xiaoyan，LIU Chuni，et al． Data
Computational Materials Science，2019，158： 1 － 13． augmentation in microscopic images for material data
DOI： 10． 1016 / j． commatsci． 2018． 10． 044 mining［Ｒ］． arXiv： 1905． 04711，2019．
［37］ YOSHITAKA A，MOTOKI T，SHOGO H． Microstructure （ 编辑 吕雪梅）
recognition by deep learning［J］． Tetsu-to-Hagane，
2016，102（ 12） ： 722 － 729．

本文引用格式：
班晓娟，宿彦京，谢建新． 深度学习在材料显微图像分析中的应用与挑战［J］． 材料科学与工艺，2020，28 （ 3） ： 68 － 75．
DOI： 10． 11951 / j． issn． 1005 － 0299． 20200140．
BAN Xiaojuan，SU Yanjing，XIE Jianxin． Applications and challenges of deep learning in material microscopic image analysis
［J］． Materials Science and Technology， 2020，28（ 3） ： 68 － 75． DOI： 10． 11951 / j． issn． 1005 － 0299． 20200140．