Machine Translated by Google

数字成像杂志(2019)  32:582–596  https://doi.org/
10.1007/s10278‑019‑00227‑x

医学图像分割的深度学习技术：
成就与挑战
Mohammad  Hesam  Hesamian1,2  ·文静佳1  ·向健和1  ·保罗肯尼迪3

在线发表： 2019  年  5  月  29  日  ©  
作者  2019

抽象的

基于深度学习的图像分割现在已成为图像分割的强大工具。
作为诊断和治疗管道的第一个和关键组成部分，
它已被广泛用于分离同质区域。
在本文中，
我们对采
用深度学习技术进行医学图像分割的流行方法进行了批判性评估。
此外，
我们总结了最常见的挑战并提出了可能的解决方案。

关键词深度学习  ·  医学图像分割  ·  CNN  ·  器官分割

介绍 图像分割的选项，
特别是医学图像分割。
尤其是在前几年，
基于深度学习技术
的图像分割受到了广泛的关注，
这凸显了对其进行全面审查的必要性。
据我们
医学图像分割，
从背景医学图像（如  CT  或  MRI  图像）
中识别器官或病变的 所知，
没有专门针对使用深度学习技术进行医学图像分割的全面审查。
最近
像素，
是医学图像分析中最具挑战性的任务之一，
即提供有关这些器官的形 有一些关于医学图像分割的调查文章，
例如[49]和[67]。
沉等人。
在[67]中回顾
状和体积的关键信息。
许多研究人员通过应用现有技术提出了各种自动分割 了各种医学图像分析，
但很少关注医学图像分割的技术方面。
在[49]  中，
还涵
系统。
早期的系统是建立在传统方法上的，
例如边缘检测过滤器和数学方法。 盖了医学图像分析的许多其他部分，
如分类、
检测和配准，
这使得医学图像分
然后，
提取手工特征的机器学习方法已经成为很长一段时间的主导技术。
设 析审查不是特定的医学图像分割调查。
由于本文涵盖的范围很广，
因此缺少网
计和提取这些特征一直是开发这样一个系统的主要关注点，
并且这些方法的 络、
功能和缺点的详细信息。
复杂性被认为是部署它们的一个重大限制。
在  2000  年代，
由于硬件的改进，
深度学习方法应运而生，
并开始展示其在图像处理任务中的可观能力。
深度
学习方法的潜力使它们成为主要的

这促使我们准备这篇文章以概述最先进的方法。
本次调查更多地关注最
近医学图像分割研究中应用的机器学习技术，
更深入地研究它们的结构和方
法，
并分析它们的优缺点。

穆罕默德·赫萨姆·赫萨米安
mh.hesamian@gmail.com 本文由三个主要部分组成，
方法（网络结构）、
训练技术和挑战。

1
悉尼科技大学电气与数据工程学院  (SEDE)，
2007  年，
澳大利亚悉尼 网络结构部分介绍了用于图像分割的主要、
流行的网络结构；
他们的优势；
和
缺点。
它旨在涵盖结构的新兴序列。
在这里，
我们试图解决与祖先相比具有重
2
CB11.09,  悉尼科技大学,  81  Broadway,  Ultimo  NSW  2007,  悉尼,  澳大 大优势的最重要的结构。
训练技巧部分探讨了
利亚
3
悉尼科技大学软件学院,  2007,
悉尼，
澳大利亚
Machine Translated by Google

J  数字成像  (2019)  32:582–596 583

用于训练深度神经网络工作模型的最先进技术。
挑战部分解决了与使用深度学 层将非线性应用于激活图。
根据设计，
下一层可以是池化层，
它有助于降低卷积
习技术进行医学图像分割相关的各种类型的挑战。
这些挑战主要与网络、
数据和 输出的维数。
为了执行池化，
有一些策略，
例如最大池化和平均池化。
最后，
由全连
训练的设计有关。
本节还根据文献提出可能的解决方案，
以应对与网络、
数据和 接层提取高级抽象。
培训设计相关的每一个挑战。

在训练阶段的反向传播过程中，
神经连接和内核的权重被不断优化[20]。

上述结构被称为传统的CNN。
方法/网络结构 在以下小节中，
我们将回顾这些结构在医学图像分割中的应用。

卷积神经网络  (CNN)
二维卷积神经网络

CNN  是神经网络的一个分支，
由一堆层组成，
每个层都执行特定的操作，
例如卷
积、
池化、
损失计算等。
每个中间层接收前一层的输出作为其输入（见图1 ）。
起 由于  CNN  在执行图像分类和模式识别方面的巨大潜力，
许多研究人员已经探
始层是输入层，
它直接连接到输入图像，
神经元数量等于输入图像中的像素数。 索将  CNN  应用于医学图像分割。
下一组层是卷积层，
它呈现一定数量的过滤器与输入数据的卷积结果，
并作为特
征提取器执行。
总体思路是通过使用  2D  输入图像并在其上应用  2D  过滤器来执行分割。
在张等人的研究中。  [89]，
以  2D  图像形式的多个信息源（T1、
T2  和  FA）
在各
种图像通道（例如  R、
G、B）
中传递到  CNN  的输入层，
以研究是否使用多模态图
像作为输入改善了分割结果。
他们的结果证明了比使用单一模态输入的结果更
好的性能。
在  Bar  等人[4]  进行的另一项实验中，
考虑了迁移学习方法，
并从  
过滤器，
通常称为内核，
具有任意大小，
由设计人员定义，
并取决于内核大小。
每 Imagenet  上的预训练模型中借用了低级特征。
高级特征取自  PiCoDes  [6]，
然
个神经元只响应前一层的特定区域，
称为感受野。
每个卷积层的输出被认为是一 后将所有这些特征融合在一起。
个激活图，
它突出了在输入上应用特定过滤器的效果。

卷积层之后通常是激活

2.5D  CNN

2.5D  方法[54,  60,  65]的灵感来自这样一个事实，
即  2.5D  具有比  3D  更少的计
算成本的相邻像素更丰富的空间信息。
通常，
它们涉及在  XY  YZ  和  XZ  平面中分
别提取三个正交的  2D  补丁，
如图2  所示，
内核仍处于  2D  状态。
,

[60]中的作者将这一想法应用于膝关节软骨分割。
在这种方法中，
定义了三
个独立的  CNN，
每个  CNN  都被输入一组从每个正交平面中提取的补丁。
相对
较少的训练体素数量（120,000）
和令人满意的  0.8249  Dice  系数证明了三平
面  CNN  可以在性能和计算成本之间取得平衡。
在[65]中，
三个正交视图被组合
起来，
并被视为输入图像的三个通道。

莫斯科普斯等人。  [54]使用  2.5D  架构进行多任务分割来评估单个网络
图  1  CNN  [20]的结构 设计是否
Machine Translated by Google

584 J  数字成像  (2019)  32:582–596

网络的结构通常类似于  2D  CNN， 不同之处在于在每个必要部分应
用  3D  模块，
例如，
在  3D  卷积层和  3D  子采样层中。

3D医学影像的可用性以及计算机硬件的巨大改进带来了使用3D
信息进行分割的想法，以充分利用空间信息的优势。 体积图像可以提
供任何方向的综合信息，而不仅仅是  2D  方法中的一个视图和  2.5D  
方法中的三个正交视图。

引入了第一个纯  3D  模型来分割任意大小的脑肿瘤[76]。  
Kamnitsas  [41]遵循他们的想法，他开发了一个多尺度、 双路径  3D  
CNN， 其中有两个具有相同大小的感受野的平行路径， 第二个路径接
收来自子采样表示的补丁图片。 这允许处理体素周围更大的区域， 这
有利于具有多尺度上下文的整个系统。 这种修改以及使用较小的  3  
图  2  3D  体积的正交表示[92]
×  3  内核大小产生了更好的准确度（平均  Dice  系数为  0.66）。
最
重要的是， 与原始设计相比， 已经实现了更短的处理时间（具有四种
能够进行多器官分割。 他们甚至通过为每个分割任务应用不同的模 模式的  3D  扫描需要  3  分钟）。
式（即脑  MRI、
乳房  MRI  和心脏  CTA）
进一步扩展了这一想法。 选择  
3×3  体素的小内核大小使他们能够更深入地了解结构并设计  25  
层深度网络。 这种设计可以被认为是一个非常深的结构， 首先由[69]
提出。 最终结果似乎与之前的研究一致， 这表明可以训练单个  CNN  
来可视化具有不同模式的不同解剖结构。
为了解决维度问题并减少处理时间， Dou  等人。
在[23]中提出利用
一组在空间上共享权重的  3D  内核，
这有助于减少参数的数量。

2.5D  方法受益于使用  2D  标记数据训练系统， 与  3D  数据相比更 为了从复杂的体积图像中分割器官， 通常我们需要一个深度模型

易于访问， 并且与当前硬件有更好的匹配。 此外， 将体积图像分解为一 来提取信息量很大的特征。 但是训练这样的深度网络被认为是  3D  
组随机  2D  图像有助于缓解维数问题[24]。 尽管该方法似乎是具有可 模型的一项重大挑战。 在“挑战和最先进的解决方案” 中， 我们将详
接受的性能（略好于  2D  方法） 的最佳想法，但有些人（例如，  [42]） 细解决这个问题并总结一些可用的有效解决方案。
认为仅使用  3D  图像的许多可能视图中的三个正交视图并不是体积
医学数据的最佳使用。 此外， 在各向异性  3D  图像上使用各向同性内
核执行  2D  卷积可能会出现问题， 尤其是对于深度分辨率（Z  轴） 显 对于子采样层， 引入了  3D  最大池化， 它过滤小立方邻域中的最大
着较低的图像[12]。 响应， 以稳定学习到的特征对  3D  空间中的局部平移。 与纯  3D  CNN  
相比， 这有助于实现更快的收敛速度， 这要归功于输入体积相同大小
的卷积掩码的应用。 在[44]  中，  Kleesiek  等人。 使用  3D  CNN  执行
了具有挑战性的脑边界检测任务。 他们使用截止阈值函数应用二进
制分割， 并将输出映射到所需的标签， 与其他传统方法相比， 取得了
近  6%  的改进。
与  2D  和  2.5  相比，
Kleesiek  模型的  3D  感受野能够
提取更多的辨别信息， 因为内核已经学习了更精确和更有组织的定向
模式作为一个体积。 这对于分割比存在于图像的极少数切片中的小
3D  卷积神经网络
器官具有更多体积信息的大器官很有用。

2.5D结构的应用是对更丰富的空间信息的尝试。 然而，2.5D  方法仍然
仅限于  2D  内核，
因此它们无法应用  3D  过滤器。
使用  3D  CNN  是为
了在所有三个轴（X、 Y  和  Z）
上提取更强大的体积表示。 训练  3D  网
络以根据周围  3D  补丁的内容预测中心体素的标签。
,
Machine Translated by Google

J  数字成像  (2019)  32:582–596 585

图3  FCN的结构[50]

全卷积网络  (FCN) （Dice  值为  0.937），
但在处理较小的器官（例如胰腺）
时精度较低
（Dice  值为  0.553）。  FCN  也被用于  3D  图像的多器官分割[37]。  
在  Long  等人开发的全卷积网络  (FCN)  中。  [50]，
最后一个全连接层被 [66]中的作者应用了一种分层的从粗到细的策略， 显着改善了小器官的分
一个全卷积层代替（见图3）。
这一重大改进允许网络具有密集的像素级 割结果。
预测。
为了获得更好的定位性能，
高分辨率激活图与上采样输出相结合，
并
传递给卷积层以组装更准确的输出。

级联  FCN  (CFCN)

基督等人。  [15]认为，
通过级联FCN，
可以提高肝病灶分割的准确性。
这种改进使  FCN  能够从全尺寸图像进行逐像素预测，
而不是逐块预
测，
并且还能够在一次前向传递中对整个图像执行预测。 级联  FCN  的核心思想是将一系列  FCN  堆叠起来，
每个模型利用前一个
模型的预测图提取的上下文特征。

Nie  等人已经完成了与[89]中相同的实验。
但随着  FCN  [57]  的应用。 为此，
一种解决方案是应用并行  FCN  [42,  88] ，
这可能会增加模型复杂性
由于在两个实验中都使用了相同的模态和相同的数据集，
结果清楚地表明 和计算成本。
提出的更简单的设计是以级联方式组合  FCN，
其中第一个  
了  FCN  优于  CNN  的平均  Dice  系数为  0.885  与  0.864  相比。 FCN  将图像分割为第二个  FCN  的  ROI，
其中完成病变分割。
使用这种设
计的优点是可以为每个阶段应用单独的过滤器集，
因此可以显着提高分
割质量。
同样，
在[78]  中，  Wu  等人。
研究了级联  FCN  以增加  FCN  在超
声图像中胎儿边界检测中的潜力。
与其他用于超声胎儿分割的边界细化技
用于多器官分割的  FCN 术相比，
结果显示出更好的性能。

多器官分割旨在同时分割多个器官，
广泛用于腹部器官分割[27]。
周等
人。  [92]在  2.5D  方法中使用  FCN  分割  3D  CT  图像中的  19  个器官。

在这项研究中，
采用了使用  3D  体积[91]的  2D  切片的像素到标签训练方
法。
为每个  2D  截面图设计了一个单独的  FCN（总共三个  FCN）。
最终， 在[16]  中，  Christ  等人。
通过级联两个  FCN  进行肝脏分割，
其中第
将每个像素的分割结果与其他  FCN  的结果融合，
生成最终的分割输出。 一个  FCN  执行肝脏分割作为第二个  FCN  的  ROI，
该  FCN  专注于分割肝
该技术对肝脏等大器官产生了更高的准确性 脏病变。
该系统在  CT  图像中的病灶分割中取得了  0.823  的  Dice  分数，
在  MRI  图像中取得了  0.85  的  Dice  分数。
Machine Translated by Google

586 J  数字成像  (2019)  32:582–596

焦点FCN 通过更多地关注边界区域[66]。
在一些模型中，
多流技术用于多器官检测（表
1）。
周等人。  [93]提出在  FCN  上应用焦点损失来减少由于医学图像中背景和前景
像素的比例不平衡而导致的误报数量。
在这种结构中，
FCN  用于产生中间分割结
果，
然后使用焦点  FCN  去除误报。 网络

2D  U‑Net

医学图像分割最著名的结构之一是  U‑Net，
最初由  Ronneberger  等人提出。  
多流FCN [62]使用[85]  引入的反卷积概念。
该模型建立在  FCN  的优雅架构之上。
除了将网
络深度增加到  19  层之外，
U‑Net  还受益于网络不同阶段之间跳跃连接的卓越设
输入图像通常在模态（多模态技术）
和分辨率（多尺度技术）
方面有所不同。
多 计[15]。
它采用了一些修改来克服之间的权衡
流设计可以允许系统从来自同一器官的多种形式的图像中受益。

在[87]  中，
将多流技术应用于  3D  FCN，
以最大限度地利用来自各种图像分辨率
的上下文信息， 同时应用多模态技术， 提高系统对各种器官形状的鲁棒性和结构 本地化和上下文的使用。
由于大尺寸的补丁需要更多的池化层，
因此这种权衡会
体。 增加，
因此会降低定位精度。

另一方面，
小尺寸的补丁只能观察输入的小上下文。
所提出的结构由分析和综合
与容纳多个源的[89]在编码器路径的末端融合每种模态的输出不同，
在[87]  中， 两条路径组成。
分析路径遵循CNN的结构（见图4）。
合成路径，
通常称为扩展阶
将两个下采样分类器注入网络以在多个输出层使用上下文信息和分段。 段，
由上采样层和反卷积层组成。

FCN  的问题在于接受大小是固定的， 因此如果对象大小发生变 U‑Net  最重要的特性是分析路径到扩展路径中等分辨率层之间的快捷连接。

这
化，则  FCN  难以检测到所有对象。
一种解决方案是多尺度网络[ 42、 些连接为反卷积层提供了必要的高分辨率特征。
77、
83 ]，其中输入图像被调整大小并馈送到网络。

多尺度技术可以克服  FCN  中固定接受大小的问题。
然而，
在调整大小的图像上
共享同一网络的参数并不是一种非常有效的方式，
因为不同尺度的对象需要不同 这种新颖的结构引起了人们的广泛关注
的参数来处理。
作为固定大小感受野的另一种解决方案，
对于尺寸大于视场的图 医学图像分割，
并在此基础上开发了许多变体[ 17,31,86 ]。
例如，
Gordienko  等
像，
FCN  可以以滑动窗口的方式应用于整个图像[32]。 人。  [31]使用基于  U‑Net  结构的网络探索了  X  射线扫描中的肺分割。
获得的

结果表明，
U‑Net  能够快速准确地进行图像分割。
在同一项研究中，
所提出的模
型在单个  CPU  上进行了测试，
并与多个  CPU  和  GPU  进行了比较，
以评估硬件
在整个  3D  图像上训练的  FCN  在前景和背景之间存在高度的不平衡，
导致 对模型性能的影响。
演示的结果分别显示了  3  倍和  9.5  倍的加速。
对小器官的分割不准确[64,  94]。
缓解此问题的一种可能解决方案是以分层方式
应用两步分割，
其中第二阶段使用第一阶段的输出

DCAN  [11]是另一个应用多级上下文信息并受益于辅助的模型

表  1多器官分割方法比较
方法 输入维度 战略 肝 胰腺

‑ 0.96 0.66
吉布森等人。  [27]二维
周等人。  [91] 2.5D 立体图像的正交视图 0.937 0.553
胡等人。  [37] 3D 全3D 0.96  ‑

罗斯等人。  [66] 3D 分层两阶段FCN 0.954 0.822

Machine Translated by Google

J  数字成像  (2019)  32:582–596 587

图  4  U‑Net  的结构[62]

U‑Net  上的分类器。
他们的设计显示腺体分割的分割精度为  0.8001，
比原始  U‑ Zeng  等人探索了多层次深度监督在  3D  U  Net‑like  结构上的应用。
在[86]
Net  [62]在每张测试图像  1.5  秒的更短时间内高出近  2%。
提高的准确性是由于   中。
他们将网络的扩展部分分为低、
中、上三个层次。
在低层和中层，
添加反卷积块
DCAN  结构能够对抗触摸对象分割的错误。 以将图像放大到与输入相同的分辨率。
因此，
除了上层（最后一层）
的分割输出外，
网络还有两个相同分辨率的分割输出，
以增强最终的分割结果。

3D  网络

为了使  U‑Net  结构具有更丰富的空间信息，
Cicek  等人。
开发了一个  3D  U‑Net  模 作为  3D  U‑Net  [17]的缺点之一，
输入图像的大小设置为  248  ×  244  ×  64，
型[17]。
建议的模型能够从一些  2D  注释切片生成密集的体积分割。
该网络能够执 由于内存限制无法扩展。
因此，
ROI  大小的输入没有足够的分辨率来表示整个图像
行来自稀疏样本的新样本的注释和稀疏注释样本的致密化。
网络的整个操作被重 中的解剖结构。
这个问题可以通过将输入量分成多个批次并将它们用于训练和测
新设计为能够执行3D操作。 试来解决[92]。

0.863  的平均  IoU（即  Intersection  over  Union）
表明网络能够找到整个 网络

通过使用加权的  softmax  损失函数成功地从少数注释切片中获得  3D  体积。 U‑Net  最著名的推导之一可能是  Milletari  等人提出的  V‑Net。  [53]。
他们在网
络的收缩路径中应用卷积，
通过选择适当的内核大小和步幅（内核大小为  2  ×  2  
在[44]  中，  3D  U‑Net  用于血管边界检测。 ×  2，
步幅为  2）
来提取特征和降低分辨率。
卷积用作池化，
具有内存占用更小的优
这项研究的原始模型被命名为  HED（Holistic  Edge  Detection  [79]） ，
它是一 点，
因为与池化层不同，
将池化层的输出映射回输入的开关不需要存储用于反向传
个  2D  CNN。
由于  HED  对小血管物体的定位能力较差，
作者通过在其结构中添加 播。
这类似于应用程序反卷积而不是上池[85]。
扩展阶段将提取特征并扩展连接的
扩展路径来修改网络，
并成功克服了这一缺点。
在扩展阶段的每个阶段，
都使用了
一个混合层和两个卷积层。
混合层的结构类似于  GooLeNet  [73]中的归约层，
但
使用和初始化不同。
Machine Translated by Google

588 J  数字成像  (2019)  32:582–596

低分辨率特征图， 并最终在最后一个卷积层产生两个通道的体积分 于等人。 进一步扩展了  CRN  的基本思想，并将其修改为完全卷积

割。 然后， 输出变为概率分割图并传递给体素方式的  softmax  进行背 残差网络（FCRN）， 用于黑色素瘤识别和分割的准确任务[83]。 提出
景和前景分割。  V‑Net  已在[26]中使用， 具有更大的感受野（覆盖   的  FCRN  相对于原始  CRN  的优势在于它能够进行逐像素预测， 这对
50‑100%  的输入图像） 和多尺度（四种不同的分辨率）， 与原始  V‑ 于许多分割任务具有重要意义。 为了获得比其他基于  CNN  的系统更
Net  相比，Dice  系数提高了  12% . 多的好处， 作者完美地决定充分利用局部和全局上下文特征[43]， 它们
分别来自更深和更高的网络层。 它是通过将模型增强到导致构建的多
尺度上下文来解决的

卷积残差网络  (CRN)

理论上，
已经证明更深的网络具有更高的学习能力， 但更深的网络不
仅存在梯度消失问题， 而且还面临更紧迫的退化问题[33]。 这意味着 由  50  层组成的非常深的  FCRN  分割皮肤病变，
其  Dice  系数为  
随着深度的增加， 精度会饱和， 然后迅速下降。 为了利用更深层次的网 0.897， 而  VGG‑16  为  0.794。
络结构，
He  等人。  [33]介绍了最初为  2D  图像上的自然图像分割而
开发的残差网络。 在这个模型中， 不是连续向堆叠层提供特征图， 而是 尽管  2D  深度残差网络已在许多医学图像分割任务[28]以及一般
每隔几层提供一个残差图。 换句话说，残差图是跳过连接， 允许网络通 图像处理主题[34,  84]  中展示了它们的能力， 但在体积数据上应用残
过跳过一些层来重定向导数。 差学习的研究还不够。 其中， Chen  等人提出的  VoxResNet。  [8]是
一个  3D  深度残差网络， 它借鉴了  2D  版本的精神。 他们通过设计一
个应用于大脑  3D  MRI  图像的  25  层模型，
充分受益于残差网络的主
要优点。 该结构由  VoxRes  模块组成， 其中输入特征通过跳过连接添
加到转换后的特征。 应用小卷积核是因为它们在计算效率和表示能力
方面的潜力已经被证明[69]。 为了获得更大的接收区域并因此获得更
多的上下文信息， 他们采用了三个卷积层， 步长为  2，最终将输入的分
这种设计帮助网络享受从更深层次的设计中获得的准确性（图5）。 辨率降低了八倍。

此外， 他们将  VoxResNet  扩展到自动上下文  VoxResNet， 它能够处

理多模态图像以提供更稳健的分割。  Voxresnet  的  T1、 T1‑IR  和  
T2  的  Dice  系数分别为  0.8696、
0.8061  和  0.8113，
自动上下文版本
的  Dice  系数分别为  0.885。 结果表明， 增加深度不仅可以提高性能，
还可以为退化问题提供实用的解决方案。

递归神经网络  (RNN)

RNN  具有循环连接的能力， 这使网络能够记住最后输入的模式。 医学
图像中的  ROI  通常分布在多个相邻切片（例如，在  CT  或  MRI  中）的
事实导致在连续切片中具有相关性。

因此，
RNN  能够从输入切片中提取切片间上下文作为顺序数据的一
图  5  CRN  的残差块。
残差块内部可能有不同的层数和组合，
具体取决于网络设计
种形式。  RNN结构由intra‑slice的两个主要部分组成
Machine Translated by Google

J  数字成像  (2019)  32:582–596 589

任何类型的  CNN  模型都可以完成信息提取，
而  RNN  负责片间信息提取。 CW‑RNN  和  U‑Net  的平均准确率提高了  5%。
应该注意的是，
在  GPU  上并
行化  RNN  是一项具有挑战性的任务，
尤其是在体积数据的情况下[72]。
此
外，
对  RNN  的各个模块进行解耦训练使训练过程更加复杂和耗时。
显然，
RNN  方法在处理具有更多切片间信息的较大器官时具有更好的性能，
而不
长短期记忆体
是整个  ROI  可能在一个切片中捕获的小病变分割。

LSTM  [35]被认为是最著名的  RNN  类型。
在标准的  LSTM  网络中，
输入应
该是向量化的输入，
这对于医学图像分割来说是一个缺点，
因为空间信息会
丢失。
因此，
一个很好的建议可能是应用卷积  LSTM  (CLSTM)  [71,  81] ，
其
中向量乘法已被卷积运算取代。

网络训练技术
上下文  LSTM  (CLSTM) 深度监管

在[7]  中，
CLSTM  应用于深度  CNN  的输出层，
通过捕获相邻切片的上下文 深度监督的核心思想是提供对隐藏层的直接监督并将其传播到较低层，
而
信息来实现更清晰的分割。
与著名的  U‑Net  结构[62]的  0.7976  相比，
他们 不仅仅是在输出层进行。
通过将伴随目标函数添加到隐藏层，
该想法已在
的方法在  0.8247  的  DSC  上取得了显着改善。 [47]中用于非医疗目的。

陈等人。
在[12]中，
在改进的  U‑Net  结构  CNN  中添加了双向  CLSTM 同样在  GoogLeNet  中，
监督是针对  22  层网络的两个隐藏层进行的[73]。
（BDC  LSTM）。  BDC‑LSTM  能够在z+和z−两个方向而不是单个方向
上捕获顺序数据。
结果优于金字塔  LSTM  [72] ，
其中在六个方向（x+、   窦等人。
在[22]中应用深度监督方法来分割  3D  肝脏  CT  体积。
这是通过
x‑、  y+、  y‑、  z+和z‑）
上捕获信息几乎  1%。
尽管金字塔  LSTM  在六个方 使用反卷积层和应用  softmax  层对分类输出进行上采样来实现的。
他们提
向上移动，
但从每个方向生成的六个输出的总和会导致空间信息丢失。
因此， 出的结果不仅显示出更好的收敛性，
而且还显示出更低的训练和验证错误。
仅在  z  方向上移动的  BDC‑LSTM性能稍好一些。

在类似的方法[10]中，
注入了三个分类器来对来自类  U‑Net  结构的收缩
部分的中级输出特征进行分类。
分类输出在训练阶段用作调节器。
网络中的
多层次上下文信息有助于提高定位和辨别能力。
此外，
辅助分类器在训练阶
门控循环单元  (GRU) 段增强了梯度的反向传播流。

GRU  是  LSTM  的一种变体，
其中移除了存储单元并且结构变得更简单而不
会降低性能[13]。  Poudel  等人。  [59]将  GRU  应用于  FCN  系统并构建了
循环  FCN  (RFCN)。

他们的模型在左心室  (LV)  分割方面进行了端到端训练。  RFCN  具有在单 弱监督
一结构中执行检测和分割以及对  FCN  和  GRU  都进行一次通过训练的优
点。 用于自动医学图像分割的现有监督方法需要像素级（在  3D  情况下为体素
级）
注释，
这在各种情况下并不总是可用。
同样做这样的注释将非常乏味和昂
贵[39]。
在一般的图像处理中，
这个问题通过使用像  Amazon  MTurk  这样
发条RNN（CW‑RNN） 的外包标签服务得到缓解，
这显然不能应用于医学图像。
或者，
使用图像标记
数据，
例如带有显示模式存在或不存在的二进制标签，
是解决此问题的一种
[45]中提出的  CW‑RNN展示了用比纯  RNN  更少的参数对长期依赖进行建 新方法。
模的潜力。
这种结构已应用于肌肉肌束膜分割[80]。
由于一次只有一部分  
CW‑RNN  处于活动状态，
因此与其他方法相比它更有效（运行时间比修改
后的  CNN  [18]  少  100  倍），
并且还比较了

这个想法在[2]中通过使用本质上是单个像素位置的“点标签”
来实现
Machine Translated by Google

590 J  数字成像  (2019)  32:582–596

表明存在结节以减少对完全注释图像的系统依赖性。
他们利用结节的统计信 与微调预训练网络相比，
从头开始也提供了更好的结果[75]。
息，
获取该像素的位置并提取周围的体积，
并将其作为训练的正样本。
例如，
通
常结节将呈现在  3‑7  个连续切片中，
宽度从  3  到  28  个像素不等。
该方法对弱 迁移学习可以在三个主要层次上完成：
（1）
全网络自适应，
即通过预训练的
标记样品达到了  80%  的合理灵敏度。 网络（而不是随机初始化）
来初始化权重，
但在训练期间更新它们[9,  77]。  (2)

部分网络自适应，
即从预训练的网络初始化网络参数，
但冻结前几层的权重并
在训练期间更新最后一层[ 11,29,86 ]。  (3)  零适应，
即从一个预训练模型初
始化整个网络的权重，
并且完全不改变任何。
通常，
由于器官（目标）
外观的巨
冯等人。  [25]使用  CNN  对弱标记数据中的肺结节进行全自动分割。
他们 大变化，
不推荐来自另一个医疗网络的零适应方法。
如果来源已经接受过一般
的方法基于[90]的发现，
该发现证明了  CNN  在识别判别区域方面的能力。 图像的训练，
则尤其不建议这样做。
此外，
生物医学图像中的对象可能具有非常
不同的外观和大小，
因此从具有巨大器官外观变化的模型中迁移学习可能不会
降低分割结果。
因此，
他们使用分类  CNN  来检测包含结节的切片，
同时使用判别区域特征从切
片中提取判别区域，
称为结节激活图  (NAM)。
此外，
引入了多  GAP  CNN，
以利用
具有更高空间分辨率的较浅层的  NAM，
这与[50]  的想法相同。
与完全监督的方
法相比，
0.55  Dice  分数的呈现结果接近但不太准确。
深度监督方法的优越性
是可以预期的，
因为它们使用像素级注释，
这为处理各种强度模式提供了关键
信息，
尤其是在边缘。
然而，
与[2]相比，
所提出的方法有助于更自动地提取包含
结节的区域，
该方法更多地建立在从关于结节大小和形状的统计信息中得出的
硬假设之上。 网络结构

然而，
方法的选择也取决于网络结构。
对于较浅的网络，
完全自适应会产生更好
的性能，
但在较深的结构中，
部分自适应方法将减少收敛时间和计算负载[74]。

器官和形态

迁移学习的另一个关键要素是目标器官及其成像方式。
例如，
在[87]  中，
他们对  
迁移学习 T1  MRI  应用全权重转移，
对  T2  模态应用部分转移。  [61]中的结果表明，
与超
声肾脏分割中的零适应和部分适应相比，
完全适应方法具有更好的平均  Dice  
迁移学习被定义为系统识别并将在先前源域中学习的知识应用于新任务的能 分数（ADS）  [38] ，
因为该模态具有大量噪声并且器官具有巨大的外观变化。
力[68]。

迁移学习可以通过两种方法完成，
即微调在一般图像上预训练的网络[36]
和微调在医学图像上预训练的网络以用于不同的目标器官或任务。
当源网络和
目标网络的任务更相似时，
迁移学习已被证明具有更好的性能，
但即使是迁移
远距离任务的权重也已被证明优于随机初始化[82]。
在[78]中，
权重取自通用网 数据集大小
络（VGG16），
然后在超声中对产前图像分割进行微调。
类似地，
在[74]  中，
原
始权重取自遥远的应用程序并应用于息肉检测。
因此，
作者必须对整个层进行 目标数据集的大小也是决定迁移学习水平的角色扮演参数。
如果目标数据集较
微调。
与仅最后一层相比，
通过微调所有层，
他们观察到灵敏度提高了  25%。 小且参数数量较大（较深的网络），
则完全适应可能会导致过拟合。

因此，
部分适应是更好的选择。
另一方面，
如果目标数据集的大小相对较
大，
则不会出现过拟合的问题，
完全适应可以正常工作。  Tajbakhsh  等
人。
在[74]中评估了数据集大小对完全适应方法的影响。
结果显示，
通过将
数据集从训练数据集的四分之一增加到完整大小，
灵敏度提高了  10%
（从  62%  到  72%）。

然而，
有一些实验是从
Machine Translated by Google

J  数字成像  (2019)  32:582–596 591

挑战和最先进的解决方案 结果表明，
传统的增强技术
能够将性能提高  7%  [58]。
有限的注释数据
迁移学习
深度学习技术由于能够处理复杂的
从已实施的成功模型中迁移学习
条件。
为了获得这种能力，
网络通常 在同一区域（甚至其他区域）
是另一种解决方案
需要大量带注释的样本来执行 来解决这个问题。
与数据增强相比，
训练任务。
收集如此庞大的注释数据集 迁移学习是一种更具体的解决方案，
取决于
医学图像处理中的案例往往是一项非常艰巨的任务 在“迁移学习”
中解释的许多参数。
并且对新图像进行注释也将非常
乏味且昂贵。
几种方法已被广泛使用 补丁训练
用于解决这个问题。
表2总结了一些
广泛使用的数据集的各种器官分割。 在这个策略中，
图像被分解成多个
可以是重叠或随机的补丁。
数据增强 随机补丁可能会导致更高的方差
补丁和更好的收敛， 尤其是在  3D  情况下
最常用的增加尺寸的方法 感兴趣体积  (VOI)  的N个随机视图被视为
训练数据集的数据增强是 训练样本[65]  （如果N  =  3，
则为  2.5D  方法）  [2]。
一组仿射变换的应用，
例如翻转， 然而，
随机补丁存在类别不平衡问题，并且
旋转、
镜像到样本[52]以及增强 与重叠补丁相比，
准确性较低。
因此，它
颜色（灰色）
值[30]。
在非医学实验中， 不建议用于小器官分割。
重叠
评估数据增强的有效性，
并 补丁显示出更高的准确性，
但在计算上

表  2广泛用于各种器官分割的数据集汇总

器官 数据集名称 数据集大小 方面 模态 用于

腹部 美国国立卫生研究院‑CT‑82
82  个样品  79   3D 电脑断层扫描
[ 7、
63、
64 ]
‑ ‑
UFL‑MRI‑79 个样品 [64]
脑核磁共振  C34 ‑ ‑ 核磁共振 [54]
脑 大脑先生 ‑ ‑ 核磁共振 [8]
从  Zhang  中找到数据集 核磁共振 [57,  89]
阿德尼 339  个样本 3D 宠物 [12]
胸部 乳房核磁共振  ‑34 ‑ ‑ T1‑MRI [54]
乳房 116  个样品  158   二维 乳房  X  光检查 [21,  55]
DDSM‑BCRP ‑ ‑
个样品 [21]
‑ ‑
心脏 心脏  CTA 电脑断层扫描
[54]
心 疾病预防控制中心
150  名患者 二维 核磁共振 [5]
左心室  PRETERM  数据集 234例 二维 核磁共振 [48,  59]
肝 银07 30  个样本  20   3D 电脑断层扫描
[23,  37]
3DICADb 个样本  880  位 3D 电脑断层扫描
[16]
肺 2016  年肺结节分析  (LUNA16) 患者  1397  位患 二维 电脑断层扫描
[1]
Kaggles  数据科学碗  (DSB) 者  2D  247  幅图像  1024  位患 电脑断层扫描
[1]
日本放射线学会  (JSRT) 者  2D 二维 电脑断层扫描
[31]
肺图像数据库联盟  (LIDC) 电脑断层扫描
[3,  14]
前列腺 ‑ ‑
承诺  2012 二维 [53]
皮肤 ISBI  2016 ‑
1250  图像 二维 [19,  83]

多器官 计算解剖学 640  个样本 3D 电脑断层扫描

[92]
Machine Translated by Google

592 J  数字成像  (2019)  32:582–596

密集的[23]。
性能相对取决于补丁的重叠和小补丁的大小[52]。 从背景和前景中获得平衡数量的补丁[52]。

处理这个问题的另一种方法是采样损失，
其中不会为整个图像计算
弱监督学习 损失，
而只会选择一些随机像素（区域）
进行损失计算[56]。
损失评估候
选者选择的随机性是该方法的主要缺点，
如“弱监督”
中所示，
弱监督学习方法（例如[ 2,25,39 ]）
可用于解决标记
数据不足或嘈杂的问题。
无监督学习方法也被用于从弱标记数据中提取
更可靠的数据，
然后使用提取的注释数据来训练网络，
这被认为是解决 可能会影响损失计算的准确性。
这个问题的混合方法[2]。
训练深度模型的挑战

过拟合

稀疏注释 与未处理的问题实例相比，
当模型能够以相当高的准确度捕获训练集中
的模式和规律时，
就会发生过度拟合[30]。
一般来说，
过拟合的主要原因
由于完全注释数据并不总是可能的，尤其是在  3D  情况下，
我们 是训练数据集的规模小。
因此，
任何可以增加数据大小（“有限注释数
经常不得不使用稀疏注释的数据。 据”）
的解决方案也可能有助于解决过度拟合问题[67]。
将未标记数据的权重设置为零的加权损失函数的应用是仅从稀疏注释
卷中的标记像素中学习的关键[17]。

有效负集 例如，
创建一个补丁的多个视图（增强）
而不是一个单一的视图被证
明对过度拟合有积极的影响[25]。
另一种处理过拟合的技术是在训练过
另一个需要克服的挑战是收集一组合适的负样本。
为了增强网络对假阳 程中应用“dropout”，
以丢弃来自全连接层的每次迭代中随机神经元
性案例的辨别能力，
负集必须包含结节状但不是正例的案例。
例如，  [2] 集的输出[70]。
中的作者从肺区域内随机抽取样本，
Hounsfield  量表在  400  到  500  之
间。
这个  HU  范围包含结节样样本，
这些样本是阴性的。
用这种方法收集
的样本中有  40%  用作正样本，
其余的用作负集。 类似地，
drop  connect  的新修改已被证明有助于解决过拟合问题[65]。

训练时间

减少训练时间和加快收敛速度是许多研究的核心课题。
这个问题的早期
解决方案之一是应用可以降低参数维数的池化层[23]。
最近基于池的解
阶级失衡 决方案使用具有相同效果的卷积[69] ，
但减轻了网络。
批量归一化是指
通过平均图像减去像素值将像素值集中在  0  附近[40]， 也被称为更快收
在医学图像处理中，
感兴趣的解剖结构只占据图像的很小一部分是很常 敛的有效关键  [ 5,17,43 ]。
批量归一化是改善网络收敛性的更优选方法，
见的。
因此，
大部分提取的斑块属于背景区域，
而这些小器官（异常）
更为 因为据报道不会对性能产生任何负面影响，
而池化和下采样技术导致丢
重要。
使用此类数据训练网络通常会导致训练后的网络偏向于背景并陷 失了有益信息。
入局部最小值[51,  53]。

这个问题的一个流行的解决方案是样本重新加权，
在训练期间将更
高的权重应用于前景补丁[16]。
通过使用  Dice  损失层和  Dice  系数[44,  
62,  95]开发了样本重新加权的自动修改。
然而，
在处理极端类别不平衡
方面的有效性是有限的[93]。  Patch‑wise  训练与补丁选择相结合可以
帮助解决类别不平衡的问题[18]。 从根本上说， 在创建训练集的过程中， 渐变消失
可以设置控制机制
更深的网络被证明具有更好的性能，
但它们正在努力解决传播信号（梯
度）
爆炸或完全消失的问题[42]，
换句话说，
Machine Translated by Google

J  数字成像  (2019)  32:582–596 593

最终的损失不能有效地反向传播到浅层。 这个问题在  3D  模型中更为 突出了他们相对于祖先的优势。然后，我们概述了医学图像分割的主

严重。 要训练技术及其优缺点。最后，我们专注于与基于深度学习的医学图
梯度消失的一般解决方案是采用深度监督的方法， 其中中间隐藏 像分割解决方案相关的主要挑战。 我们已经解决了应对各种挑战的
层的输出将使用反卷积放大并传递给  softmax  以从中获得预测。辅 有效解决方案。我们相信这篇文章可以帮助研究人员为他们的问题选
助损失与隐藏层的原始损失相结合以加强梯度[ 23,86,87 ]。 择合适的网络结构，并了解可能的挑战和解决方案。种种迹象表明，深
度学习方法将在医学图像分割中发挥重要作用。

在从头开始训练的方法中， 仔细的权重初始化也可以改善梯度消
失的效果，
如[42]  中所示，
其中内核的权重是通过从正态分布中采样
来初始化的。

开放获取本文根据知识共享署名  4.0  国际许可(http://creativecommons.org/
licenses/by/4.0/ )  的条款分发，
允许在任何媒体中不受限制地使用、 分发和复制， 前
器官外观 提是您对原始作者和来源给予适当的信任， 提供知识共享许可的链接， 并说明是否进
行了更改。
目标器官的异质外观是医学图像分割的一大挑战。 靶器官或病变的大
小、形状和位置可能因患者而异[42]。
据报道，
增加网络的深度是一种
有效的解决方案[83]。

参考
目标器官和邻近组织之间对比度有限的模糊边界是已知的固有成
像挑战。 这通常是由  CT  中的衰减系数和  MRI  中的弛豫时间引起的
1.  Alakwaa  W、
Nassef  M、
Badr  A：
使用  3D  卷积神经网络  (3D‑CNN)  进行肺癌检
[23,  46]。
基于多模态的方法可以解决这个问题[57,  76,  87,  89]。
此 测和分类。
外， 已知超像素的信息有助于分割边界处的重叠或器官[2]。 应用具有 Lung  Cancer  8(8):409,  2017  2.  
较大权重的加权损失函数分配给触摸器官之间的分离背景标签是触 Anirudh  R、
Thiagarajan  JJ、 Bremer  T、Kim  H：
使用在弱标记数据上训练的  3D  卷
摸同一类对象的另一种成功方法[12,  62]。 积神经网络进行肺结节检测。 在： 2016  年医学影像：计算机辅助诊断，第  9785  卷，
2016  年，第  978532  页。 国际光学与光子学会

3.  Armato  SG  I、
McLennan  G、Bidaut  L、McNitt‑Gray  MF、
Meyer  CR、
Reeves  
AP、
Zhao  B、 Aberle  DR、
Henschke  CI、Hoffman  EA  等：
肺图像数据库联盟  
(LIDC)  和图像数据库资源倡议  (IDRI)：
一个完整的  CT  扫描肺结节参考数据库。
医学物理学  38(2):915–931,

2011
3D  挑战 4.  Bar  Y、
Diamant  I、
Wolf  L、
Greenspan  H：用于胸部病理识别的非医学训练深度学
习。 在： 医学影像  2015： 计算机辅助诊断， 第  9414  卷，
2015  年， 第  94140v  页。
国
际光学与光子学会  5.  Baumgartner  CF、 Koch  LM、Pollefeys  M、Konukoglu  
由于目标和相邻体素之间的低语音差异、 较大的参数量以及有限的体 E：
探索用于心脏  mr  图像分割的  2D  和  3D  深度学习技术。 在： 心脏统计图谱和计
积训练数据， 上述所有训练中的挑战在处理体积数据时可能会更加 算模型国际研讨会。 施普林格， 2017  年，
第  111‑119  页
严峻。具有计算成本高的推理被称为不鼓励使用  3D  方法的问题。
应
用密集推理证明可以将单次脑部扫描的推理时间显着减少到大约一
分钟[76]。
执行排除策略以消除不太可能包含目标器官的区域可以有
效地减少搜索空间并导致更快的推理[2]。 6.  Bergamo  A、 Torresani  L、 Fitzgibbon  AW： Picodes： 学习用于新类别识别的紧凑
代码。  In:  Advances  in  Neural  Information  Processing  Systems,  2011,  
pp  2088–2096  7.  Cai  J,  Lu  L,  Xie  Y,  Xing  F,  Yang  L  (2017)  通过循环神经上
下文学习和直接改进  CT  和  MRI  图像中的胰腺深部分割损失函数，  
arXiv:1707.04912  8.  Chen  H、 Dou  Q、 Yu  L、Qin  J、Heng  PA： Voxresnet：
用于
从  3D  MR  图像进行大脑分割的深度体素残差网络。

NeuroImage  170:446–455,  2017  9.  
Chen  H,  Ni  D,  Qin  J,  Li  S,  Yang  X,  Wang  T,  Heng  PA：
通过域转移深度神经网络
进行胎儿超声标准平面定位。  IEEE  J  Biomed  Health  Inform  19(5):1627–
结论 1636,  2015

10.  Chen  H、Qi  X、Cheng  JZ、
Heng  PA  等人：
用于神经元结构分割的深度上下文网
在本文中，
我们首先总结了应用于医学图像分割的最流行的网络结构 络。在： AAAI， 2016，第  1167‑1173  页
和
Machine Translated by Google

594 J  数字成像  (2019)  32:582–596

11.  Chen  H、Qi  X、
Yu  L、
Heng  PA：
DCAN：
用于准确腺体分割的深度轮廓感知网络。 在： 肺结节。 在：医学图像计算和计算机辅助干预国际会议。  Springer,  2017,  pp  
IEEE  计算机视觉和模式识别会议论文集， 2016  年，
第  2487‑2496  页 568–576  26.  Gibson  E,  Giganti  F,  Hu  Y,  Bonmati  E,  Bandula  S,  Gurusamy  
K,  Davidson  B,  Pereira  SP,  Clarkson  MJ,  Barratt  DC： 腹部  CT  的自动多器
官分割与密集v  网络。  IEEE  Trans  Med  Imaging  37(8):1822–1834,  2018.  https://
12.  Chen  J、
Yang  L、
Zhang  Y、
Alber  M、
Chen  DZ：
结合全卷积和递归神经网络进行   doi.org/10.1109/TMI.2018.2806309  27.  Gibson  E、 Giganti  F、Hu  Y、
3D  生物医学图像分割。 在： 神经信息处理系统的进展， 2016  年，
第  3036–3044  页 Bonmati  E、Bandula  S、
Gurusamy  K、
Davidson  BR、
Pereira  SP、
Clarkson  
MJ、Barratt  DC：
迈向图像引导胰腺和胆道内窥镜检查： 腹部  CT  自动多器官分割
扩张的网络。
13.  Cheng  D,  Liu  M：
结合卷积和循环神经网络使用宠物图像诊断阿尔茨海默病。 在：
2017  年  IEEE  国际成像系统和技术会议  (IST)。  IEEE，
2017，
第  1‑5  页

14.  Cheng  JZ， Ni  D， Chou  YH， Qin  J，Tiu  CM，

Chang  YC， Huang  CS， Shen  D，Chen   在： 医学图像计算和计算机辅助干预国际会议。  Springer,  2017,  pp  728–736  
CM： 具有深度学习架构的计算机辅助诊断： 在美国图像中的乳腺病变和CT中的肺 28.  Gibson  E,  Robu  MR,  Thompson  S,  Edwards  PE,  Schneider  C,  
结节中的应用扫描。  Sci  Rep  6:24454,  2016  15.  Christ  PF,  Elshaer  MEA,   Gurusamy  K,  Davidson  B,  Hawkes  DJ,  Barratt  DC,  Clarkson  MJ：
用于腹腔镜视
Ettlinger  F,  Tatavarty  S,  Bickel  M,  Bilic  P,  Rempfler  M,  Armbruster  M,   频自动分割的深度残差网络肝脏。 在： 2017  年医学成像： 图像引导程序、 机器人干
Hofmann  F,  D Anastasi  M,  et  al:  Automaticliver  and  lesion  segmentation   预和建模， 第  10135  卷， 2017  年，第  101351m  页。 国际光学与光子学学会
in  CT  使用级联全卷积神经网络和  3D  条件随机场。 在： 医学图像计算和计算机辅
助干预国际会议。  Springer,  2016,  pp  415–423  16.  Christ  PF,  Ettlinger  F,  
Gr¨un  F,  Elshaera  MEA,  Lipkova  J,  Schlecht  S,  Ahmaddy  F,  Tatavarty  S,  
Bickel  M,  Bilic  P,  et  al  (2017)  Automaticliver  and使用级联全卷积神经网络
对  CT  和  MRI  体积进行肿瘤分割。  arXiv:1702.05970  17.  C¸  ic¸ek  O、 29.  Girshick  R、
Donahue  J、 Darrell  T、Malik  J：用于精确对象检测和分割的基于区
Abdulkadir  A、 Lienkamp  SS、 Brox  T、Ronneberger  O： 3F  U‑Net： 从稀疏注释中学 域的卷积网络。
习密集体积分割。 在： 医学图像计算和计算机辅助干预国际会议。  Springer,   IEEE  Trans  Pattern  Anal  Mach  Intell  38(1):142–158,  2016  30.  
2016,  pp  424–432  18.  Ciresan  D,  Giusti  A,  Gambardella  LM,  Schmidhuber   Golan  R,  Jacob  C,  Denzinger  J：
使用深度卷积神经网络在  CT  图像中检测肺结节。
J：深度神经网络在电子显微镜图像中分割神经元膜。 在：神经信息处理系统的进 在： 2016  年国际神经网络联合会议  (IJCNN)。
展， 2012  ¨
年， 第  2843‑2851  页
IEEE,  2016,  pp  243–250  31.  
Gordienko  Y,  Gang  P,  Hui  J,  Zeng  W,  Kochura  Y,  Alienin  O,  Rokovyi  O,  
Stirenko  S： 用于胸部  X  射线分析的肺分割和骨影排除技术的深度学习肺癌。 在：
模糊系统和软计算的理论和应用国际会议。 施普林格， 2018  年， 第  638‑647  页

32.  Hamidian  S,  Sahiner  B,  Petrick  N,  Pezeshk  A：
用于自动检测胸部  CT  肺结节
的  3D  卷积神经网络。 在：
2017  年医学成像：
计算机辅助诊断，
第  10134  卷，
2017  
19.  Codella  NC、
Gutman  D、
Celebi  ME、
Helba  B、
Marchetti  MA、
Dusza  SW、 年， 第  1013409  页。
国际光学与光子学会
Kalloo  A、
Liopyris  K、
Mishra  N、Kittler  H  等：
针对黑色素瘤检测的皮肤病变分
析： 2017  年国际研讨会上的挑战生物医学成像（ISBI）， 由国际皮肤成像合作组
织（ISIC） 主办。 在： 2018  年  IEEE  第  15  届生物医学成像国际研讨会（ISBI   33.  He  K,  Zhang  X,  Ren  S,  Sun  J：
用于图像识别的深度残差学习。 在：IEEE  计算机视
2018）。  IEEE， 2018， 第  168‑172  页 觉和模式识别会议论文集， 2016  年，
第  770‑778  页  34。
He  K、
Zhang  X、
Ren  S、
Sun  J： 深度残差网络中的身份映射。 在： 欧洲计算机视觉会议。

20.  Commandeur  F、
Goeller  M、
Betancur  J、
Cadet  S、
Doris  M、
Chen  X、
Berman  
DS、
Slomka  PJ、
Tamarappoo  BK、
Dey  D：
通过非对比  CT  量化心外膜和胸部 Springer,  2016,  pp  630–645  
脂肪组织的深度学习。  IEEE  Trans  Med  成像  37(8):1835–1846,  2018 35.  Hochreiter  S,  Schmidhuber  J： 长短期记忆。  Neural  Comput  9(8):1735–
1780,  1997  36.  Hoo‑Chang  S,  Roth  HR,  Gao  M,  Lu  L,  Xu  Z,  Nogues  I,  Yao  
J,  Mollura  D,  Summers  RM： 用于计算机的深度卷积神经网络‑辅助检测： CNN  架构、
21.  Dhungel  N、 Carneiro  G、 Bradley  AP： 用于乳房  X  线照片中质量分割的深度学习 数据集特征和迁移学习。  IEEE  Trans  Med  Imaging  35(5):1285,  2016  37.  
和结构化预测。 在： 医学图像计算和计算机辅助干预国际会议。  Springer,  2015,   Hu  P,  Wu  F,  Peng  J,  Bao  Y,  Chen  F,  Kong  D：
使用深度卷积神经网络和时间隐
pp  605–612  22.  Dou  Q,  Chen  H,  Jin  Y,  Yu  L,  Qin  J,  Heng  PA：
3D  深度监督网 式水平集的自动腹部多器官分割。  Int  J  Comput  Assist  Radiol  Surg  
络， 用于从  CT  卷自动分割肝脏。 在： 医学图像计算和计算机辅助干预国际会议。   12(3):399–411,  2017
Springer,  2016,  pp  149–157  23.  Dou  Q,  Yu  L,  Chen  H,  Jin  Y,  Yang  X,  Qin  J,  
Heng  PA：用于体积医学图像自动分割的  3D  深度监督网络。  Med  Image  Anal  
41:40–54,  2017  24.  Fakoor  R、 Ladhak  F、 Nazi  A、 Huber  M： 使用深度学习增强
癌症诊断和分类。 在： 机器学习国际会议论文集， 第  28  卷， 2013  年  25.  Feng  X，
Yang  J，
Laine  AF， Angelini  ED： CNNS  中用于弱监督分割的判别定位 38.  Huyskens  DP、
Maingon  P、Vanuytsel  L、Remouchamps  V、
Roques  T、
Dubray  
B、
Haas  B、Kunz  P、
Coradi  T、
Bühlman  R  等：自动分割模块的定性和定量分析
前列腺癌。  Acta  Radiol  Oncol  90(3):337–345,  2009

39.  Hwang  S,  Kim  HE：
弱监督病变定位的自迁移学习。 在：医学图像计算和计算机辅
助干预国际会议。 施普林格，2016  年，
第  239‑246  页
Machine Translated by Google
Machine Translated by Google

596 J  数字成像  (2019)  32:582–596

计算机视觉和模式识别研讨会会议， 2016  年， 第  17‑24  页  76.  Urban  G、 3D  MR  图像中的股骨近端。

在：医学成像机器学习国际研讨会。
施普林格，
2017  
Bendszus  M、
Hamprecht  F、
Kleesiek  J  (2014) 年，第  274‑282  页

使用深度卷积神经网络的多模态脑肿瘤分割。  MICCAI  braTS（脑肿瘤分割） 87.  Zeng  G， Zheng  G： 具有多尺度深度监督的多流  3D  FCN  用于多模态等强度婴儿

大脑  MR  图像分割。 在： 2018  年  IEEE  第  15  届生物医学成像国际研讨会（ISBI  
挑战。 论文集， 获奖贡献  77.  Wang  J， MacKenzie  JD， 2018）。  IEEE,  2018,  pp  136–140  88.  Zhang  H,  Kyaw  Z,  Yu  J,  Chang  SF  
Ramachandran  R， Chen  DZ： 组织学组织图像语义分割的深度学习方法。 在： 医学图 (2017)  PPR‑FCN： 通过并行成对  R‑FCN  进行弱监督视觉关系检测。  
像计算和计算机辅助干预国际会议。  Springer,  2016,  pp  176–184  78.  Wu  L,   arXiv:1708.01956  89.  Zhang  W， Li  R，
Deng  H， Wang  L，
Lin  W，Ji  S，
Shen  D： 用于多
Xin  Y,  Li  S,  Wang  T,  Heng  PA,  Ni  D：用于产前超声图像自动分割的级联全卷积 模态等强度婴儿大脑图像分割的深度卷积神经网络。  NeuroImage  108:214–
网络。 在： 2017  年  IEEE  第  14  届生物医学成像国际研讨会（ISBI  2017）。   224,  2015  90.  Zhou  B、Khosla  A、 Lapedriza  A、
Oliva  A、Torralba  A： 学习用于
IEEE,  2017,  pp  663–666  79.  Xie  S,  Tu  Z:  Holistically‑nested  edge   判别定位的深度特征。 在：
IEEE  计算机视觉和模式识别会议论文集，
2016  年，
第  
detection。 在： IEEE  计算机视觉国际会议论文集， 2015  年， 第  1395–1403  80  页。
谢   2921‑2929  页
Y、张  Z、 Sapkota  M、 Yang  L： 用于肌肉肌束膜分割的空间发条循环神经网络。

91.  Zhou  X， Ito  T，
Takayama  R， Wang  S， Hara  T，
Fujita  H：
结合  2D  全卷积网络和  
3D  多数投票的三维  ct  图像分割。 在： 医学应用的深度学习和数据标记。  
Springer,  2016,  pp  111–120  92.  Zhou  X、Takayama  R、Wang  S、 Hara  T、
在： 医学图像计算和计算机辅助干预国际会议。  Springer,  2016,  pp  185–193   Fujita  H：基于  FCN  投票法的解剖结构分割的  3D  CT  图像截面外观的深度学
81.  Xingjian  S,  Chen  Z,  Wang  H,  Yeung  DY,  Wong  WK,  Woo  WC：卷积   习。  Med  Phys  44(10):5221–5233,  2017  93.  Zhou  XY,  Shen  M,  Riga  C,  
LSTM  网络： 一种用于降水临近预报的机器学习方法。  In:  Advances  in  Neural   Yang  GZ,  Lee  SL  (2017)  Focal  FCN：
使用有限的训练数据进行小对象分割。  
Information  Processing  Systems,  2015,  pp  802–810  82.  Yosinski  J、 Clune   arXiv:1711.01506
J、Bengio  Y、 Lipson  H： 深度神经网络中特征的可迁移性如何？ 在： 神经信息处理
系统的进展， 2014  年， 第  3320–3328  页  83.  Yu  L、 Chen  H、Dou  Q、Qin  J、
Heng  
PA：通过非常深的残差网络在皮肤镜图像中自动识别黑色素瘤。  IEEE  Trans  Med  
Imaging  36(4):994–1004,  2017  84.  Zagoruyko  S,  Komodakis  N  (2016)  宽
残差网络。  arXiv:1605.07146  85.  Zeiler  MD， Fergus  R：
可视化和理解卷积网
络。在： 欧洲计算机视觉会议。 94.  Zhou  Y,  Xie  L,  Shen  W,  Fishman  E,  Yuille  A  (2016)  腹部  CT  扫描中的胰腺分
割：
从粗到细的方法。
CoRR  arXiv:1612.08230
95.  Zhou  Y，
Xie  L，
Shen  W，
Wang  Y，
Fishman  EK，
Yuille  AL：
腹部  CT  扫描胰腺分割
的定点模型。 在：医学图像计算和计算机辅助干预国际会议。 施普林格， 2017  年，
第  693‑701  页

Springer,  2014,  pp  818–833  
86.  Zeng  G,  Yang  X,  Li  J,  Yu  L,  Heng  PA,  Zheng  G：
具有多级深度监督的  3D  U‑ 出版商说明Springer  Nature  对已出版地图和机构附属机构的管辖权主张保持中立。
net：全自动分割