本文是一篇计算机论文，本文以 MICCAI 协会发布的 BraTS2018 数据集为研究对象，利用脑 MR 图像本身特性，基于 3D U-Net 及注意力机制等算法对脑肿瘤各病变区域的分割进行了较为深入的研究，通过对肿瘤整体、肿瘤核心以及增强型肿瘤病变区域的准确分割为临床医生提供了脑肿瘤疾病诊断的重要参考。
第一章 绪论
1.1 研究背景及意义
由于缺乏合适的诊断以及有效的治疗，脑癌成为了致死率最高的恶性疾病之一。根据全球癌症观察站的数据，2018 年全球共有 296851 人被诊断出患有脑或中枢神经系统肿瘤（以下简称“脑肿瘤”）[1]。脑肿瘤是一种不正常的细胞团，其中起源于大脑的为原发性脑肿瘤，而起源于身体的其他部位并转移到大脑的为转移性脑肿瘤[2]。胶质瘤是最常见的脑肿瘤类型，由肿瘤核心、水肿、增强肿瘤及坏死部分组成。在非胶质瘤的肿瘤切割手术中，通常的做法是通过对肿瘤区域进行广泛切除来控制疾病。然而，胶质瘤会入侵周围具有重要神经功能的大脑组织，所以广泛切除通常不可行[3]。统计数据显示，高级别胶质瘤患者的预期生存时间少于 24 个月，而所患肿瘤恶性程度较高的话预期生存时间将少于 5 个月，因此早期诊断胶质瘤是非常重要的[4]。
在神经肿瘤学中，脑肿瘤可以利用多种成像方式来评估，从而进行鉴别诊断。磁共振成像是最常用的一种医学成像方式，因为它作为一种典型的非侵入性成像技术，生成的标准脑部磁共振成像序列可以包含较多的模态，如 T1 加权模态图像突出健康组织，T2 加权模态图像突出脑脊液，T1 模态图像突出肿瘤，FLAIR模态图像抑制脑脊液突出水肿等等[5]。医生可以通过分辨这些模态信息反映的不同特点识别出脑病变区域及正常脑组织区域，更好地确定出下一步的诊疗方案。
脑肿瘤 MR 图像分割过去的传统做法是专家根据自己的知识和经验对影像数据进行手动标注，但是 MR 影像数据包含了庞杂的切片，并且肿瘤的轮廓和空间位置都具有很强的不规则性，人工阅片将耗费大量的时间和精力；另外由于分割标准不一，加之专家经验有一定的主观性，甚至会出现由不同专家给出的分割结果大相径庭的现象[6]。故从 MR 图像中自动化提取脑肿瘤区域成为医学图像处理的重要研究方向之一。
1.2 国内外研究现状
Krizhevsky 等人[12]在 2012 年的 Image net 图像分类竞赛中通过所提出的AlexNet 结构以大幅领先第二名的成绩夺得第一名，使得计算机视觉领域的研究者们将目光重新投向了图像识别领域中 1998 年 Lecun 等人[13]所提出的卷积神经网络模型。至此世界范围内开始掀起一波深度学习的浪潮，而作为深度学习基石之一的卷积神经网络，也得到了蓬勃的发展，使用卷积神经网络来对脑肿瘤图像进行分割的研究也越来越多。本小节将从 2D、3D 以及全卷积神经网络等方面来对应用于脑肿瘤病灶分割的卷积神经网络算法的研究现状进行介绍，还对脑肿瘤分割现存的挑战进行总结。
1.2.1 脑肿瘤图像分割研究现状
脑肿瘤图像自动分割这个研究课题主要可以归纳为下述四个阶段：
（1）基于 2D CNN 的分割
2D CNN 网络是最早应用于脑肿瘤分割的卷积神经网络模型，其中最经典的2D CNN 当属 Havaei 等人[14]提出的使用双路径并行通路作为核心框架的 2D CNN 模型，该模型使用级联结构，将上一阶段所属的级联网络的输出，与下一级联网络的输入相融合并提供给下一级联网络。这种级联结构能够令网络在处理数据时同时拥有局部信息和全局信息作为参考，从而有较强的鲁棒性，得到了较好的分割效果。但是此模型仅适用于单个二维层面，没有考虑到更高维度数据之间的关联性导致网络分割性能受到限制。Zikic 等人[15]同样也在早期开展了 2D CNN 进行脑肿瘤分割的研究，Zikic 提出了一种特殊的二维浅层卷积神经网络，此网络不但可以指定输入数据的大小，还能够融合脑肿瘤 MR 图像的四种模态（FLAIR、T1c、T1 和 T2）作为网络的输入，并且都采用了 ReL u 函数进行激，在脑肿瘤病变区域的分割任务中同样取得了不错的分割效果。Lyksborg 等人[16]也提出了集成二维卷积网络对脑肿瘤 MR 图像体积分割的方法，不同于 Havaei等人只是用单个二维卷积神经网络进行训练，而是集成了多个二维卷积神经网络来进行训练分割，实践证明分割精度比单个二维卷积神经网络更高。Sérgio Pereira 等人[17]也使用 2D CNN 作为网络架构，应用于二维图像块上，并使用了3 × 3的小内核来避免过拟合，并且通过使用小内核，也使得模型的体系结构能往更深的层次发展。虽然在对于脑肿瘤病变区域的分割任务上经典的 2D CNN 已取得了一定的成就，但是由于原始脑肿瘤 MR 图像的大小以及研究者关注的信息存在着差异，2D 在一定程度上制约了卷积神经网络对脑肿瘤图片的分割，越来越多的研究者将注意力放置于提高卷积神经网络的数据处理维度到 3D 上。
第二章 医学图像处理与神经网络
2.1 卷积神经网络及其基本组成
近年来，基于深度学习的算法开始被广泛地应用于图像分割领域中，效果卓著。Kohonen 等人[38] 借鉴了生物神经系统对外界刺激的响应原理，在 1988 年首次对神经网络作了如下定义：通过自适应性单元在并行互联时对输入数据进行计算并得出结果。McC ulloch 等人[39]通过数学抽象语言对生物学神经系统模型进行了建模，提出了一直以来被广泛借鉴的“M-P 神经元模型”。在这之后，Rosenblatt等人[40]在在该模型的基础上进一步提出了“感知机”这一概念。在感知机系统中，神经元所接收的信息来自于其他神经元，通过给其他神经元传递过来的信息分配权重，神经元就能整合之前收到的所有信息并利用之前设定好的激活函数进行激活。M-P 模型结构作为非线性元件的特点是多输入和单输出，再加上后来所提出的“感知机”和“多层感知机”，为以后神经网络的提出奠定了基础。
Wiesel 等人[41]在进一步研究生物神经系统后，发现在猫的视觉皮层中，信息是被通过层级方式所处理的，各个层级依次提取信息，逐步地将浅层特征抽象成高级特征。Lecun 等人[13]在先前的这些理论基础上提出了卷积神经网络这一概念，紧接着就提出了在手写字符识别任务上表现优异的 LeNet[42]。该模型包含了多个卷积层，并且卷积层之间使用反向传播算法[43]来整合并计算梯度信息，使得模型能够学习输入图像的抽象特征。后来，卷积神经网络在 ImageNet 挑战赛中表现卓越，并涌现了大量优秀的卷积神经网络模型，例如：VGG[30]，GoogleNetV1-V4[44-47]、ResN et[48]、Xception[49]等等，极大拓展了卷积神经网络在图像领域的应用范围，使得卷积神经网络成为计算机视觉领域的重要研究方向。
CNN 结构主要的组成部件有卷积层、池化层以及全连接层。全连接层可以对所有特征进行融合并且作降维处理，是网络输出前的最后一个环节。但是全连接层也存在着参数量过大，计算复杂的问题，故 Jonathan 等人[11]提出 FCN 来在输入层处将原始的全连接替换为反卷积层，令输出图像的尺寸于输入图像的尺寸一致，从而实现端到端像素级别的识别。另外 FCN 还使用了跨层连接融合不同深度的网络层输出的特征图，从而加强了模型捕捉图像局部信息的能力。
2.2 端到端的全卷积分割网络
如前文所述，直接使用 CNN 进行图像分割将会出现计算冗余，精度与泛化能力受限的问题。为了在提高精度的同时还能减少冗余的计算，FCN 提出了与CNN 分割方法大相径庭的一种思路：使用反卷积层对 CNN 的全连接层进行替换，然后对图像进行编码从而提取出特征，再通过反卷积操作对最后一次正卷积操作所生成的特征图进行上采样操作，将特征图的尺寸恢复到原输入图像的大小，输入图像和输出图像的每个像素点一一形成了对应关系，从而实现了像素级别的分类。具体的流程如图 2.7 所示。
另外，为了进一步解决不断地下采样造成的局部信息丢失的问题，在 FCN中使用跨层连接，通过上采样不断扩大高级特征，并与之前保留的低级特征相融合，从而让模型能够同时兼顾图像低级细节信息与高级语义信息进行学习。Long等人[11]率先对该改进方向进行了研究，随后又出现了其他的改进结构。目前，基于该结构衍生出的应用于医学图像分割任务的 CNN 模型主要有 2D U-Net 和 V-Net 等。
第三章 基于 HMS-3D U-Net 的脑肿瘤 MR 图像分割 .......................... 17
3.1 面向脑肿瘤的 HMS-3D U-Net 模型 ..................................... 17
3.1.1 传统深监督学习的分析 ................................... 17
3.1.2 改进的 HMS-3D U-Net 模型 ....................... 19
第四章 基于 KMA 与 FRB 的脑肿瘤 MR 图像分割 ................................ 29
4.1 算法概述 ..................... 29
4.2 基于 KMA 的改进分割算法 ................................. 30
第五章 结论与展望 ................................ 47
5.1 工作总结 .................................... 47
5.2 课题展望 ....................................... 48
第四章 基于 KMA 与 FRB 的脑肿瘤 MR 图像分割
4.1 算法概述
人类视觉系统的特性在于不会直接处理看见的整个场景，而是聚焦于重点突出的部分，并将该目标区域提取出来，生成相关的视觉捕获结构。在深度学习领域中，由于传统卷积神经网络最大感受野的大小受限，无法获取长距离的依赖关系，于是引入了注意力机制(Attention Mechanism)，其实质上是让模型能够区分无关信息和重点信息，从而克服脑肿瘤 MR 图像中肿瘤病变区域所占面积较小的问题。
首先，本章算法在引入了注意力机制的基础上对其进行了改进，提出了 KMA机制，通过创新性地引入 k-means 聚类算法优化传统注意力机制，从计算点与点之间的相关度转变成点与基之间的相关度，克服了传统注意力机制以自身为基，从而导致时间复杂度过高的问题。
然后，为了能够降低模型的运算要求，还提出了 FRB-KMAUN 脑肿瘤 MR图像自动分割模型。受到 FRB 算法的启发，以 KMA-3D U-Net 为骨架，整个网络结构按照之前提出的 residual block 分成了多个 FRB segment。对于每个 segment而言，除了少部分必须存储在内存中的变量之外，其他中间结果都将被删除；在反向计算中，首先重新计算一遍前向算子，以获得中间结果，再运行反向算子。经过实验证明，基于 FRB 的轻量级模型和未经改变的模型相比，在增加了少许计算量的情况下，运行参数量减少 37%，分割效果依然良好。
第五章 结论与展望
5.1 工作总结
论文的主要研究内容总结如下：
（1）为提升模型的泛化能力，通过对 3D U-Net 的改进，建立了多路解码器分支来获取肿瘤浅层特征并借鉴了 HM 学习策略，使用 KL 散度损失促进解码器分支之间的知识交流，从而正则化编码器的训练过程。同时针对脑肿瘤 MR 图像中存在的正负样本极不均衡的现象，提出了将 Dice Loss 与 Focal Loss 有机结合的方式，迫使各解码器分支关注极难样本的分割，从而提升了模型的分割精度。
（2）为了进一步提高算法的分割精度，提出了改进的注意力机制 KMA 来对模型进行强化。KMA 一方面能够如同传统注意力机制一样能够跨过局限的感知域来监督模型关注重点分割的区域，另一方面还借鉴了 k-means 聚类的思想，将计算对象从多点与多点优化为多点与多类，大大降低了时间复杂度。通过生成的 attention map 来监督模型的分割，从而提升了精度。
（3）为了优化模型训练时产生的参数数量，提出了基于图深度学习的分割算法 FRB 优化的 KMA 3D-U-Net。该分割算法将网络模型进行了分而治之，将模型划分成了多个 FRB-segment，每个 segment 仅留下了少量变量来缓存前向传播信息，在后向传播时，借助该缓存信息和一定的重计算来降低模型运行时大量产生的中间运行结果所占用的空间，实验结果证明该模型在精度和轻量级两个方面达到了良好的平衡。
参考文献（略）