本文是一篇计算机论文，本文从上述难点问题出发，对基于多级特征监督融合的RGB-D图像显著性检测算法进行了研究，提出了两种深度学习网络模型。
第1章 绪论
1.1课题提出的背景和意义
近年网络业务快速发展，大信息时代已经来临，智能手机等电子设备开始获得应用，各种不同形式的数据爆炸性增加，涉及文本、声音、图形以及影像数据等。其中，图片数据以其直观的表达方式作为数据媒介被越来越多的人认识到，但是对于大量的图片数据仅仅通过人工手段加以处理是费时费力的，难以获得有效的数据结果，所以怎样让计算机有效地模仿人们的感知方式在大量图片数据中去除多余的数据，更好较快的获得更有意义的数据越来越被当下图像处理等领域所重视。
人们在研究中发现，人在观察图像时会利用视觉系统快速识别出图像中相对周围背景而言最突出的物体，只关注自己感兴趣的地方，过滤掉对自己无吸引力的区域，这种能力有效提高了人们获取重要信息的效率。将此道理同样可以应用在计算机视觉任务中，对图像的不同区域给予不同的关注度，这样能够高效对图像进行处理，快速筛选有用信息，提高效率。显著性目标检测技术通过模拟人们的视觉系统，来获得当前环境中最吸引人的重要区域，近年来，不少学者已经从计算机视觉方面对显著性目标检测技术进行研究，此方法用在语义分割[1]，图像分类[2]，图像压缩[3]和图像分割[4]等领域。而除了在计算机视觉方面，显著性目标检测技术还可以广泛地应用于其他场景，例如在汽车制造业方面，对零件的检验依靠人工方式会出现检测不仔细导致错误的零件出厂的现象，合理利用显著性检测技术就可以避免此类现象出现；在医学领域，利用显著性检测技术对医学影像做预处理，对病变地方进行识别……可见，显著性目标检测技术利用其可以检测高级有价值的语义信息而被广泛应用。
1.2国内外研究现状
近年来人们对计算机视觉领域越来越关注，图像处理技术也在不断发展，从场景中识别出突出物体的显著性检测技术得到国内外人员的深入研究，并提出了许多性能良好的显著性检测模型，该项技术可以对相关计算机视觉任务进行预处理，并且不仅可以应用在计算机视觉领域，还可以用于医学图像的识别，工业领域中零件的缺损检测等。显著性检测方法从作用方向的角度可以分为两类，第一类数据驱动型，其不受任务的限制，利用数据的驱动，自下而上对场景中最吸引的物体做一个快速响应；另一种是自顶向下的任务驱动型方式，顾名思义，要接受特定任务的限制，带着任务去识别目标区域。本文基于数据驱动型方法进行显著性检测研究。随着深度图像的出现，面向图像进行研究的显著性检测模型逐渐分为两类，一类是将RGB图像作为输入的模型，一类是将RGB-D图像作为输入的图像，RGB-D图像包含RGB图像和深度图像，RGB图像提供颜色线索，深度图像提供空间信息，迄今为止，两种研究方向均提出了很多优秀的显著性检测模型。接下来，本章将简要介绍面向这两种图像的显著性目标检测技术的研究现状。
早期传统的RGB图像显著性检测方法以手工设计特征为主，使用低级的显著性线索（比如颜色线索、纹理线索等）进行对比计算阐述出场景中的显著性，从而检测出目标区域。最早Itti 等人[5]基于中心-周围对比度方法建立了IT显著性检测模型，通过结合颜色、强度等多个特征来捕捉中心位置与周围场景像素的不同，用这些特征表示图像的内部属性，实现了进行区域局部对比的效果，该模型的建立为后续显著性检测奠定基础，具有开创性意义。Quan等人[6]提出一种局部空间一致性约束，利用局部对比差异保证与相邻局部图像有相似特征的显著性区域有一致的相似度，从而使检测结果图效果更佳。Bruce等人[7]也提出了一种基于局部对比度的显著性检测方法，通过稀疏表示局部图像来寻找显著性区域并进行识别。
随着大数据时代的到来，身边充斥着大量数据，传统检测方法效率低的问题开始显现，利用卷积神经网络（Convolutional Neural Networks，CNN）进行RGB图像显著性检测性能优越，吸引了许多人对其进行研究与探索。CNN进行显著性检测，速度快，效率高，很大程度上提升了显著性检测的性能，克服了传统算法的缺点，基于CNN的RGB图像显著性检测模型被不断提出，逐渐成为主流方法。其研究方向主要为：进行多尺度特征逐级融合，利用空间注意力机制、通道注意力机制或两者结合对特征[15]提出进行改进，对目标物体的边缘信息以侧输出的方式进行监督[16]。
第2章 相关理论及基本概念
2.1RGB图像与RGB-D图像
RGB图像的每一个色素都是由红、绿、蓝三种不同的基础颜色合成的，RGB图像又被叫做真彩图像，R、G、B分别表示红、绿、蓝三种颜色，是RGB图像的分量，取在0到255之间的数值为它们赋值，通过对这三种基色通道的变化及互相之间的叠加可以合成自然界中人类能够感知的任意颜色。该图像作为图片格式存储大小会被设置为二十四位，一般将八位无符号的整型作为其数据类型。本文实验中使用的数据以RGB图像为基础，原始的RGB图像和其对应的R、G、B三个通道图如图2-1所示。
RGB-D图像是一组图像，包含RGB图像和其对应的深度（Depth）图像，深度图像的每一个像素值都代表了物体和深度传感器之间实际的空间物理距离。深度图像与RGB图像两者成对出现，它们的像素点是单对单的映射关系。随着深度传感器的发展，深度图像吸引许多人的目光，被用在各种领域当中，包括图像处理领域，工业领域也有它的身影。RGB图像和深度图像所包含的信息类型不同，前者重点关注纹理、颜色等信息，后者则倾向于形状、几何空间等信息，二者共同作用能够弥补对方的缺陷。
2.2RGB-D图像显著性检测算法
无论是早期传统的检测算法还是当前较为流行的依据深度学习理论开展RGB-D图像显著性检测工作的算法，其进行检测工作的流程是相同的。如图2-3所示，展示了通用的RGB-D图像显著性检测算法的流程，从图2-3中可以看出RGB图像和深度图像经历了特征提取和特征融合两个阶段后输出了显著性结果图。结合本文所研究的内容，本节从特征提取和特征融合两方面对文章涉及的相关技术进行简要介绍，并阐述本文所使用的多级特征监督融合的概念与意义。
期传统的RGB-D图像显著性检测算法侧重于通过手工方式提取特征，基于对比度的方法是使用较为广泛的方法，使用低级的显著性线索进行对比计算阐述出场景中的显著性。近年来，深度学习被广泛应用在RGB-D图像显著性检测技术中，其可以自动提取图像的多级特征，拥有提取丰富的语义特征的能力，大多数图像任务也倾向于使用基于深度学习设计的网络作为主干网络提取特征。目前，该技术已较为成熟，经常出现在人们视野中的特征提取网络有Vggnet16、Googlenet、Resnet50等，其中Resnet50网络常被应用在显著性检测任务中，本文以Resnet50为基础，构造了两个深度学习模型，Resnet50在其中发挥特征提取作用。因此，本节针对Resnet50网络进行简单介绍。
第三章 分支主干监督网络下的RGB-D图像显著性检测............................... 18
3.1 模型框架 .............................. 18
3.2 深度改进模块 ................................. 19
3.3 特征分组监督融合模块 ....................... 21
第四章 基于隔级监督优化策略的RGB-D图像显著性检测............................... 32
4.1 隔级监督优化策略 ...................................... 32
4.2 整体网络结构 ................................... 33
结论.......................45
第四章 基于隔级监督优化策略的RGB-D图像显著性检测
4.1 隔级监督优化策略
在对RGB-D图像进行显著性检测时，高层特征具有判别能力，能够定位目标物体的位置，而低层特征掌握更多的细节信息，如物体的边缘信息等，有效地将高层和低层特征相结合才能获得更佳的检测结果。从这一角度出发，本文基于多级特征监督融合的方式，采用了隔级监督优化策略（Staged Supervise Upgrade Strategy，SSUS）设计网络使高层与低层特征充分结合得出最优检测图。
隔级监督优化策略的核心思想是利用高层特征指导优化低其两层的特征融合，以灵活地连接高层与低层特征。这个策略首先将第三、四和五层作为监督层，经特征融合生成相应的监督显著图，然后用第五层监督显著图指导第三层特征融合，第四层监督显著图指导第二层特征融合，第三层监督显著图指导第一层特征融合。每组经过指导融合得到可预测的侧输出图，所有侧输出将基于其特性的优劣被赋予不同的权重，最后将侧输出进行一个最优结合得到最终结果图。为使该策略检测效果更优，在每次特征融合的过程中都加入了相应该层的深度信息贡献图进行监督融合，该贡献图由深度信息贡献度计算子网得到，以此充分利用深度信息，实现多级特征监督融合，使结果最优化；检测中所用的特征都是经过侧边改良模块改良后的特征，在进行特征融合前就对特征进行了提纯，有效避免噪声特征的干扰。
隔级监督优化策略解决了拥有丰富的高级语义的高层特征与携带大量几何细节的低层特征不能兼得的问题，高层指导低层融合也有效消除了低层噪声多的问题，不同级特征监督融合使结果达到最佳，并且与以往方法对待每层结果都采用相同方法处理不同，本文方法对于不同层级融合结果给予不同的关注度，采取差异性结合输出最优预测图。
结论
显著性目标检测任务是计算机视觉任务的一种，主要通过模仿人类的视觉系统获得快速找到图像中最吸引人的显著性物体的能力。面向RGB-D图像的显著性检测模型近年来被不断提出，但该技术仍存在不足，如何有效挖掘深度特征并加以利用，如何使特征实现充分融合依然是当前技术面临的难题。本文从上述难点问题出发，对基于多级特征监督融合的RGB-D图像显著性检测算法进行了研究，提出了两种深度学习网络模型，具体研究内容和创新如下：
（1）提出了一种基于多级特征监督融合的多分支主干监督网络，主要解决RGB-D图像显著性检测技术存在的无法有效挖掘利用深度特征，特征之间不能充分融合的问题。首先，该网络使用卷积神经网络的经典模型Resnet50网络作为特征提取网络获取图像特征；其次，利用注意力机制设计了深度改进模块提升特征的表征能力，解决深度特征无法有效利用的问题；然后，设计了特征分组监督融合模块，两种特征融合生成的混合特征自上而下两两分组通过该模块进行充分融合，融合结果监督下组特征融合，利用高层特征具有优化低层细节特征的特点，层层优化，实现特征的充分融合，以最后一组显著图作为结果图输出。最后在通用的数据集上进行了实验并与其他模型进行对比，实验结果表明，该网络检测性能优越，具有一定的竞争力。
（2）提出了一种基于隔级监督优化策略的RGB-D图像显著性检测网络，以多级特征监督融合的方式为基础，从新的视角解决关于深度特征利用和特征融合的问题。首先，该网络采用Resnet50网络提取各层特征；其次设计了侧边改良模块过滤质量不佳的特征，同时，设计了深度信息贡献度计算子网解决深度特征有效利用的问题，子网通过两种图像生成的显著图与RGB图像和全黑图生成的显著图作差的方式得到深度贡献图用其参与监督每次的特征融合；然后基于隔级监督优化策略的思想实现特征的充分融合，将第五、四、三层作为监督层，其生成的显著图分别指导第三、二、一层特征融合，并对每组结果图依据优劣给予不同权值，经计算输出最终预测图。最后通过充分的性能分析实验和对比实验从定量和定性的角度，证明了该模型的优越性和合理性。
参考文献（略）