本文是一篇计算机论文，本论文研究展望主要从两个方面进行：首先，对于论文的前两个方案，网络的输入的对于结果有着一定的影响。因此，对于前两个网络的输入，可以从相位掩模的样式、计算鬼成像的重建过程、增加相应的滤波来进行改进。从而达到更加理想的结果。对于最后一个方法，其主要的问题在于，利用 convGRU 网络模拟关联计算过程，在本论文中 convGRU 神经元的个数是固定的，从而固定了计算鬼成像的采样次数，在实际应用中起到了一定的限制。
1 绪论
1.1 选题背景和意义
在生产生活中眼睛是人类获取信息的重要感官，而图像则是在该过程中承载信息最有效的媒介之一。目前，利用阵列式感光元件的成像方案存在着某些弊病，其在遥感、医学等领域内应用受到了极大限制。例如，在雾霾天气条件下受气溶胶颗粒，散射效应影响导致输出图像灰度差异范围降低、成像距离缩短；在遥感领域，对大气层内目标进行探测过程中，由于大气中存在着广泛的颗粒对光造成了一定的损耗，降低了成像效果。计算鬼成像基于关联成像的方法，扩大了可成像波段范围，有效的改善了传统光学成像弊端，其在恶劣环境或传统光学无法成像的领域进行成像成为了可能。近年来，计算鬼成像在海洋湍流[1-5]、量子雷达[6,7]、微观世界[8,9]等方面的成功应用，彰显出它在军事、医学、显微、超分辨等领域都有着巨大的发展前景。
鬼成像不同于传统光学成像，它是根据两个光臂高阶关联所进行的关联成像。通过研究人员的不懈努力，他们发现可以用计算机计算来模拟参考臂，计算鬼成像随之孕育而生。计算鬼成像技术虽然已经运用到了现实生活中，但它在成像效果和成像速度方面的不足还是限制了它进一步发展。成像效果被很多客观因素所限制，例如相位掩模的规格、明暗等，再例如光的传递过程与外界因素的干扰等[10]。但其中首要的影响因素则在于相位掩模的样式、重建算法和采样率。由于计算鬼成像测量数据包含大量稀疏矩阵，故压缩感知[11,12]被作为一种鬼成像重建方法和计算鬼成像相结合，它的提出大大改善了计算鬼成像的成像效果，但其对于低采样率下的计算鬼成像重建，并不能得到很好的效果。采样率的高低，直接影响到了计算鬼成像的成像速度和效果，如何在低采样率下得到更好的重建图像已然成为了学术界研究的一个重心。
1.2 国内外技术现状
由于传统光学存在着一些问题，而恰好鬼成像技术可以解决这些问题，近年来鬼成像技术被人们越来越重视。鬼成像技术是根据两条光臂的光强的涨落进行的关联成像，两条光臂分别是一条包含待测目标物体与无法测得空间信息的桶探测器的光路，即物臂；另一条光臂是相位掩模经过自由传播被具有空间信息的阵列式感光元件测得，即参考臂。任意一条单独的光臂都不足以成像，只有两条光臂进行相互关联的时候才能成像。鬼成像技术的首次实现是在二十世纪九十年代，Shih 小组以纠缠双光子作为光源完成了实验[20]。二十一世纪初期，Sergienko 等指出鬼成像的第一要素是量子纠缠[21]，随后 Boyd 小组对是否需要纠缠双光子作为光源提出了质疑，他们通过经典光源实现了鬼成像[22]。Shapiro 等在 2008年提出了可以利用计算机的仿真计算来替代参考臂进行成像的技术，开启了计算机和电子领域在鬼成像研究的热潮[23]。2018 年，刘江涛小组和张雷洪小组分别发表了在多媒体教室中实现热光鬼成像[24]和在课堂上实现基于激光投影仪和哈达玛矩阵的关联成像研究[25]，他们提供了一种更简便的实现计算鬼成像的思路，只需要运用投影仪而不需要空间光调制解调器就可以实现计算鬼成像过程。对于如何改进计算鬼成像的重建效果，研究员们从各个方面都进行了尝试，并取得了有效的成果。首先，计算鬼成像一般都是二阶关联，2007 年，匡乐满团队首次提出了三阶关联成像[26]；2010 年，Chen 等第一次在实验上验证了[27]随着关联阶数的增加，鬼成像重建效果越好。同样，研究员们在相位掩模的样式上也花费了很大的时间来进行研究。研究表明相位掩模的性质也会对重建质量产生一定的影响。2013 年，刘雪峰团队证明了随机相位掩模的平均强度和强度波动的方差会对成像结果产生一定的影响[28]，光场平均强度越小，强度波动的方差越大，得到的重建图像效果越好；此外，因为哈达玛矩阵具有良好的性质，越来越多的人将随机相位掩模用随机哈达玛矩阵来替换[29]从而达到在减少采样次数的同时确保重建效果；2019 年，Zhao 等根据扩频通信系统中的金矩阵[30]，提出了运用金矩阵作为相位掩模来进行计算鬼成像的重建；2019年，蔡宏吉团队研究了相位掩模中的散斑颗粒对重建效果的影响[31]，实验表明同样尺寸的相位掩模，散斑颗粒的尺寸越大，恢复结果的可辨度越高，而随着尺寸缩小，空间信息的可辨识度降低，但物体的分辨率会增加。随着研究的深入，研究人员发现，鬼成像技术中采集了大量稀疏的数据，2009 年，Katz 团队首次提出将压缩感知技术与计算鬼成像技术相结合[32]，他们将采样和压缩同时进行来加快成像速度，压缩感知的提出大大改善了鬼成像的成像效果；
2 计算鬼成像的原理与实现
2.1 计算鬼成像过程与原理
计算鬼成像(Computational Ghost Imaging)，该理论在 2008 年首次提出[23]，并于一年以后 Silberberg[32]等人在实验中得以验证。与传统鬼成像方法相比，计算鬼成像将原本通过 CCD 相机获得的参考臂信息，利用算法通过计算机直接获取，因此又叫做单臂鬼成像。本章主要介绍微分计算鬼成像的主要过程如下：首先用一束激光照射到空间光调制解调器(SLM)上，在 SLM 中既可以通过随机相位掩模来调制激光的相关信息，又可以根据得到的调制光场通过菲涅尔-惠更斯函数来计算出投射到物体上的光场信息，从而替代参考臂得到的信息；SLM 中的激光经过一个分光镜分成两束光，并通过同等的距离分别被两个桶探测器在经过一个透镜聚焦后测得总光强，其中包含物臂上的总光强记为𝑆，对应参考臂的总光强记为𝑅；通过多次运用不同相位掩模得到的测量结果与其对应的相位掩模所进行的根据公式 2-4 进行关联运算最终得到的结果，即所求物体的图像信息。
2.2 Hadamard 矩阵
利用 Hadamard 矩阵生成的投影图案替换随机投影图案，在计算鬼成像中的效果得到了多方面的认证[50]。因为图像不能为负数，这里将随机 Hadamard 矩阵中的−1替换成0，由此生成基于 Hadamard 矩阵的投影图案。将随机投影图案替换成基于随机 Hadamard 矩阵的投影图案，主要有以下三个方面的好处：首先，Hadamard 矩阵是正交归一矩阵，它有着较好的性质。传统随机投影图案，例如，高斯随机分布矩阵所构成的投影图案，尽管它可以获得重建结果但因为它并非是正交的，无法保证相位掩模之间的不相关性，仅能通过增加采样率来解决这个问题。因此和一般随机投影图案相比根据随机 Hadamard 矩阵生成的投影图案可以保证在相同采样次数下的计算鬼成像重建效果更好，尤其是在低采样率下。其次，在 Hadamard 矩阵中，任何的高阶矩阵都是由其低阶矩阵生成的。因此，对于截取其中部分矩阵块生成对应的投影图案提供了可能。第三，通过将 Hadamard 矩阵投影图案变更为 0-1 分布使它进行了二值化处理，1 和 0 的像素对半，保证了理想情况下不同相位掩模最后的光强在同一数量级，降低了探测器的动态范围的要求，提高了测量的准确性；因为该特性使得 Hadamard 投影图案更符合 DMD 设备的要求。这里的随机 Hadamard矩阵，是基于原有的 Hadamard 矩阵按照行序列打乱选取需要的行向量个数，再将选取好的矩阵按照列序列打乱选取需要的列向量的个数。
3 基于 Dense Net 多尺度融合计算鬼成像的重建过程 ......................... 13
3.1 算法原理 ............................................. 13
3.1.1 全连接层 ............................................. 13
3.1.2 卷积层 ................................... 14
4 基于 CGAN 的计算鬼成像重建过程 ......................................... 25
4.1 正则化机制 ....................................... 25
4.1.1 Batch Normalization ...................................... 25
4.1.2 Instance Normalization ................................... 26
5 基于 convGRU-U-Net 的计算鬼成像重建过程 .................................. 37
5.1 算法原理 .......................................... 37
5.1.1 convGRU 网络 .............................................. 37
5.2 实验过程 ........................................... 37
5 基于 convGRU-U-Net 的计算鬼成像重建过程
5.1 算法原理
5.1.1 convGRU 网络
RNN (Recurrent Neural Network)网络又称循环神经网络，其原理是将之前得到的结果作为当前网络的输入，这样每次网络的输出是基于前面所有输入，并且输入的顺序也对网络起到了一定的影响。GRU 网络[62]是一种具有长短时记忆的 RNN 网络，相比于一般的RNN 网络，它运用更稀疏的参数得到更加优良的结果，并且有效地改善了梯度消失和梯度爆炸的问题。convGRU 网络[63]是在 GRU 网络的基础上将原有的全连接层替换成了卷积层，这样极大减少原来全连接层所带来的大量的参数，并且相比于将图片二维信息转换为一维数组的全连接层，卷积层的添加将原本被忽略的图像像素之间的空间关系加入到现有网路中。
6 总结与展望
6.1 工作总结
本论文的首要研究工作分为以下几点：（1）绪论部分对基于计算鬼成像的深度神经网络方法研究选题的背景意义做出了详细的介绍；并分别介绍了当前鬼成像、深度学习以及基于深度学习的计算鬼成像的国内外研究现状。（2）介绍了关于计算鬼成像的恢复过程，以及利用投影仪在真实环境中的实验过程。提出了利用对比仿真实验与真实实验结果的Pearson 系数，来确保仿真结果与真实实验在同一分布。（3）本文通过不同的深度神经网络方法对计算鬼成像进行恢复，包括以下几种方案：
一、基于 Dense Net 多尺度融合的计算鬼成像的重建方法。该实验的网络构架基于DenseNet-BC 网络、像素级空间注意力和恢复网络三部分搭建。DenseNet-BC 网络开拓式的思维，相比于 ResNet 将输出进行传递，其通过特征层进行深层和浅层网络的之间的传递，增加了特征之间的复用率使其的使用更加的高效；像素级空间注意力机制将 DenseNet-BC 网络在不同尺度下提炼的特征，按照像素级融合，使得提炼的信息更加的丰富准确；恢复网络则是在上述结果的基础上，通过提炼的特征对目标物体进行恢复。本章节提出的方法，从特征层出发进行特征传递，提炼不同尺度下的特征，根据得到的特征进行目标物体重建。该章对比了传统方法（传统计算鬼成像算法）、压缩感知（TVAL3 算法）和基于Dense Net 的多尺度融合的计算鬼成像的重建方法在多种采样率下的仿真以及真实结果对比，本章所提出的方法在低采样率下有着较大的优势。
二、基于 CGAN 的计算鬼成像的重建方法。该网络根据博弈论的原理进行搭建。该方法由生成器和辨别器共建。其中，生成器由改进的 U-Net 网络组成；辨别器则是由全卷积网络构成。CGAN 网络训练过程的第一步为，训练辨别器学习生成物体的整体的分布，从而识别当前输入是否属于改该分布；第二步，将生成器的输出结果输入到辨别器中，根据辨别器结果调整生成器的参数，使得生成结果符合辨别器所识别的分布；最终，重复上述两个步骤，博弈过程达到平衡。本章节，结合 WGAN-GP,提高了网络的收敛速度，运用多种机制，和上一个方法相比，该方法不是单纯的对像素的对比。该网络恢复出来的结果更加逼近整体数据集的分布，恢复结果的视觉识别效果更出色。
参考文献（略）