本文是一篇计算机论文,本文基于深度学习理论,对遥感图像变化检测方法进行研究,针对两种语义分割网络做出改进并将其应用于解决遥感图像变化检测问题中。
第一章 绪论
1.1 研究背景及意义
苏联第一颗人造地球卫星的顺利升空,标志着航天遥感技术登入了历史舞台。20世纪 70 年代,美国先后发射了一系列进行周期性对地观测的遥感卫星,促进了遥感应用的发展。此后,由于航天科学技术、电子计算机技术等领域的飞速发展,IKONOS等高分辨率卫星相继发射成功,突破了遥感数据采集的瓶颈[1]。遥感图像的空间分辨率、时间分辨率、光谱分辨率等得到了巨大提升[2],高分辨率图像的获取变得相对容易起来。遥感技术自此开始了高速、全方位的发展,形成了全天候立体对地观测网,遥感技术在各领域的应用中已逐步由定性分析迈入了定量分析研究的新时期[3]。丰富的高质量遥感数据一方面为遥感理论的研究和运用提供了重要的数据基础,另一方面还为人类探索地球、保护自然提供了更加快捷的路径。同时,来源多样化的遥感图像数据也在资源监测、军事安全、城镇建设等领域得到了广泛应用[4,5]。由于数据的积累和应用的需求不断提高,人们需要从遥感图像中收集到更加有效的信息,因此促使图像分割、目标识别、地物分类和变化检测等[6]遥感数据处理技术持续发展,也使得遥感技术的应用形式变得日趋多元化。
为了满足人们的生产生活需要,大量的土地资源被开采利用,导致山地、建筑物和植被等地物目标都在不断地发生变化。因此,为了能够合理的整合土地资源,分析变化原因,实现一种快速高效地检测地物变化的技术意义重大。遥感图像变化检测[7],是指通过运用某种技术对同一地区不同时间拍摄的两幅遥感图像进行对比分析,从中获取该区域地物变化规律的过程。其检测结果可为国土资源管理、灾害监测、城市规划和农林业监测等提供依据[8]。此外,由于城镇化进程加速,若要有效增强国家对城市土地利用状况的监督,就必须即时掌握城镇建筑的变动状况。因此,根据遥感图像对建筑物进行变化检测的研究意义十分重大。
1.2 国内外研究现状
自 20 世纪 70 年代初至今,得益于国内外学者在遥感图像变化检测方向的深入研究,变化检测的性能不断提升,取得了众多突破性成果。学者们先后提出了一系列变化检测方法,并根据不同阶段的研究侧重对已有的变化检测方法作出了总结,概括为以下几类:
(1)基于代数的方法。代数法原理是将不同时相的遥感图像采用适当的代数运算方法,获得基于像素的差异图,再利用聚类、阈值分割等算法生成变化结果图[13]。常见的代数方法有差值法、比值法、变化向量分析法(Change Vector Analysis,CVA)[6,14]以及主成分分析法(Principal Components Analysis,PCA)[15,16]等。钟家强[17]等提出将灰度差分和纹理差分结合,实现基于差分图像融合的遥感图像变化检测,并采用循环自适应参数估计方法进行分类。刘陆洋[18]等通过对比数和均值比得到两个差异图,并将其融合,利用模糊 C 均值算法聚类得到变化图,降低了散斑噪声对变化检测影响。为防止阈值法过分地依靠经验选择[19]。Melgani [20]等人将使用不同阈值的算法进行融合,为无监督变化检测阈值的确定提出新的方法,有效地提高了模型的鲁棒性。王立民[21]使用双阈值指数信息熵自动获取最佳阈值进行遥感影像分割,自动地生成变化图,有效缩小了阈值确定范围,并对虚警现象有一定的抑制作用[21]。尽管代数法算法原理较为简单,且使用起来也相对简单,但由于代数法一般只采用了单个或少数几个波段的像元光谱值加以运算,而并未考察像元间的空间关联,也就未能利用图像间的时间联系,因此对于改变较不显著的地区(即该区域虽然发生了地物变化,但是光谱像元值未发生较大的变化)识别效率也较差。
(2)基于特征的方法。与代数法不一样,基于特征的方式选择了多种图像特征,进行特征变换以及特性融合之后,根据新的特征空间数据信息再做出变化检测,这样能有效降低图像中噪声对变化信息的干扰,以便更好地识别变化。汪闽[22]等人通过计算结构相似性将纹理、梯度等特征进行融合,基于检测窗口内的统计特征进行变化检测,有效提高图像灰度差异不敏感度,同时降低了对预处理过程的精度要求[22]。马红[23]等人提出的将多种特性自动适应组合的方式,可以更好地调整多个特性的权值,使纹理和光谱两种组合特征能够被充分利用,降低了对专家经验的依赖度。Celik[24]等提出了基于对象的变异向量分析法,该方法综合利用对象的各种特征参与分析,一定程度上提高了变化的检测精度。Cui[25]等提出利用小波变换生成多尺度特征的遥感图像变化检测算法,并且验证了小波纹理特征比空间纹理特征效果更佳,但没有考虑子带间的依赖性[25]。刘波[26]等人提供了一种基于图像空间关系特征度量的变化检测算法,空间关系的加入更好地提升了变化检测准确度。
第二章 相关技术
2.1 遥感图像变化检测
经过数十年的研究,遥感图像变化检测取得阶段性的发展,大量的变化检测算法被提出。虽然每个阶段方法的侧重点不同,但均认为变化检测的共性之一就是要判断地物如何产生了变化,并且确定发生变化的范围。快速、精确地识别变化区域,监测和分析地物空间变化规律已成为遥感技术变化检测的重要发展目标与未来价值。变化检测任务是一个递进的过程,基本任务是确定是否发生变化,在此基础上预测发生变化的类型,进一步预测变化的过程和规律[43]。目前的变化检测算法还停留在基本任务阶段,检测的结果只包含是否变化的信息,而且针对的是双时相遥感图像进行变化检测,即利用两幅不同时相的图像获得变化图。若仅针对某种地物进行变化检测,则只需标定变化像素和未变化像素,变化检测结果输出为二值图。若要针对多地物变化检测,则需要利用不同的像素标出变化,变化检测结果输出为多值图,变化图中不同的像素代表不同的地物变化。
2.1.1 变化检测一般流程
变化检测是一个系统的流程,首先需要获取到同一地区不同时间的一系列图像,然后经过预处理、变化检测、差异图输出、精度评价等操作,具体流程如图 2.1 所示。
2.2 深度学习
近年来深度学习发展十分迅速,大大推动了人工智能的很多子领域的发展和应用。本质上,深度学习是机器学习的一个分支,通过使用多个层逐步从原始输入中提取更高级别的特征来解决问题。目前,深度学习理论主要以神经网络模型为基础,为了更好地理解掌握这些概念,本节重点阐述了深度学习和神经网络模型的基本理论和相关联系。
2.2.1 深度学习介绍
深度学习始于神经网络,是人工智能领域备受关注的研究热点。传统的机器学习需要设定性能度量准则,依据这些准则来获得相关特征,而深度学习只需要将需要学习的内容(数据集)输入到预测模型中,构建模拟大脑结构模型自动完成学习,实现对输入数据的信息提取,不需要人为干预。在这个过程中最为关键的就是网络模型的构建以及参数优化算法的选择。
机器学习方法重点包括三部分:模型、损失函数、优化算法,深度学习是特殊机器学习,因此也包括这三部分。深度学习的模型分为概率图模型和神经网络模型。早期深度学习以概率图模型为主要的模型结构,以图结构来表示多元随机变量之间的关系,例如深度信念网络[44]。目前,深度学习以神经网络模型为主流模型,通过构建特定拓扑结构连接的节点,来模拟生物学神经网络的模型。例如卷积神经网络、循环神经网络等。
第三章 基于 AS-UNet 网络的遥感图像变化检测..................................... 23
3.1 UNet 网络...................................23
3.2 AS-UNet 模型......................................24
第四章 基于 SF-ResNet 网络的遥感图像变化检测....................................39
4.1 SF-ResNet 模型...................................39
4.1.1 网络主干............................................... 40
4.1.2 特征融合................................. 42
第五章 总结与展望.................. 49
5.1 总结................................ 49
5.2 展望........................... 49
第四章 基于 SF-ResNet 网络的遥感图像变化检测
4.1 SF-ResNet 模型
从遥感图像的结合方式来看,基于深度学习的变化检测方法可以分为三类,第一类是早期融合方法:将两个时相的图像通道合并为一个图像,输入到网络中进行特征提取;第二类是孪生网络:将两时相的图像输入到两个不参数共享的网络中。第三类是参数共享孪生网络:是将两个时相的图像输入分别输入参数共享的网络中进行特征提取,再对输出的特征图进行联合。基于第一类方法的变化检测在两时相图像进行通道合并时可能存在一定的信息损失,第二类方法中由于分别用两个网络训练数据,不利于两个时相图像间的信息交流。第三类方法既能够减少通道融合时的信息损失,同时相较于上述提到的前两类方法,参数共享的孪生网络极大地减少了参数量。因此,本章采用参数共享的孪生网络提取图像特征。
孪生网络变化遥感图像变化进行变化检测时,在分别提取两个时相图像的特征之后,通常利用度量模块,通过训练模型不断减小两个特征图之间的像素点欧式距离,最后通过阈值分割的方式提取变化图。但这种方法阈值确定困难且模型的普适性差,自动化程度低。现有的语义分割网络在处理图像上具有良好的性能,且大多是端对端模型,编码器提取特征之后,直接进行上采样得到结果,减少人工干预,模型自动化程度较高。基于上述分析,本章将孪生网络与语义分割网络相结合来完成变化检测。另外,由于大多数语义分割模型的主干网络部分均采用 ResNet 网络模型,残差结构在图像处理上表现出显著的性能。因此,本文对 ResNet 网络模型做出改进,提出一种新的孪生网络变化检测模型—SF-ResNet,模型仍然采用编码解码结构,模型结构分为三部分:(1) 网络主干(编码器):参数共享的孪生网络,提取双时相遥感图像的特征,并将结果逐像素作差去绝对值,获得差异特征图;(2) 特征融合,利用特征金字塔网络[58(]FPN,Feature Parymid Network)思想,建立多层次特征图之间的联系,获得更好的特征表示。(3) 解码器,将 FPN 网络结果融合上采样,得到变化图。SF-ResNet 模型结构如图 4.1 所示。
第五章 总结与展望
5.1 总结
本文基于深度学习理论,对遥感图像变化检测方法进行研究,针对两种语义分割网络做出改进并将其应用于解决遥感图像变化检测问题中。主要完成了以下工作:
(1)本文针对 UNet 网络进行遥感图像变化检测存在的问题,设计一种新的网络模型—AS-UNet。一方面,将 UNet 模型在特征提取部分的编码块替换成 SuffleNetV2模块,避免了网络退化、降低了内存读取的消耗,同时也减少了由于池化造成的信息丢失,不仅提高了检测精度,而且加快了网络模型的训练;另一方面,在 UNet 模型编码器和解码器连接通路中,引入 CBAMs 模块,提取到更具有区分意义的特征,提升了模型对伪变化的识别能力,提高了检测精度。同时,在 UNet 中引入多尺度模型,以多个比例捕捉图像的上下文信息,增强了模型鲁棒性。AS-UNet 模型能够比较准确地检测出遥感图像建筑物的变化部分,与其他语义分割模型相比,在性能上有较大的提升。
(2)本文提出并实现了一种基于 ResNet 语义分割网络的孪生网络模型—SF-ResNet,并将其应用于遥感图像变化检测中。一方面,该网络模型将语义分割模型特征提取部分,替换为参数共享的两个网络,用于分别提取特征,从而充分利用了两个时相的特征信息;另一方面,将各阶段生成的特征图进行特征空间金字塔操作,使得生成的新特征图兼具深层、浅层特征,有效提高了模型对小目标的进行变化检测准确率。通过与其他孪生网络模型对比,验证了 SF-ResNet 模型的性能,同时设置了泛化性测验实验,在其他数据集上测试该模型性能,取得了不错的效果。
参考文献(略)