本文是一篇计算机论文,本文提出的基于自我注意力机制模块和梯度层模块的全卷积神经网络,和基于区域生长与梯度阈值分割的裂缝边缘提取算法具有较好的表现,但仍有很多方面可以进一步研究和改善。
第一章 绪论
1.1 研究背景与意义
近年来,随着我国不断增强的综合国力与经济快速发展的需要,给人们提供便捷出行、物流派送服务的交通基础设施大量兴建,与之相关的公路、机场大量增加助力国家交通产业的进一步发展。据《2020年交通运输行业发展统计公报》统计,截至2020年底,全国公路总里程519.81万公里,比上年末增加18.56万公里,其中,公路养护里程514.40万公里,占公路总里程99.0%[1]。
公路自建成通车后,长年累月遭受车辆行驶过程中车胎带来的磨损冲击和大自然极端恶劣天气的侵蚀,及受到修建初期遗留的结构缺陷等影响,需要交通养护部门定期检查路面的磨损和损伤程度。同时,部分老旧公路建设标准与当前不断增加的公路运力要求的负载不匹配,进一步恶化了公路的路面损伤程度。因此,定期对公路保护、维护,以及对破旧公路修复,不仅可延长公路的使用寿命,而且也减少了修路费用和交通事故的发生。
公路表面的混凝土裂缝是路面最为常见的损伤类型,也是公路退化最早期的标志,受到雨季天气的影响,渗入裂缝的雨水会进一步损害公路的内部结构,诱发更加严重的并发症[2]。传统的公路养护主要依靠工作人员定期对公路进行检查,对道路的坑洞、裂缝进行记录,再组织工作人员进行修补工作。随着公路里程的不断增加,依赖于人工检测的方式不仅耗费大量的时间成本和人力成本,而且检测人员需要仔细甄别许多过细的裂缝导致检测效率较低,检测的效果严重依赖于工作人员的工作状态和专业素养。因此,引入自动化技术的混凝土路面健康监控系统是公路养护发展的大势所趋。
1.2 国内外研究现状及分析
随着数字图像算法的不断推陈出新,得益于计算机的运算能力、并行处理能力的飞跃提升,越来越多的科研人员投身于图像语义分割的相关研究中。本文根据算法的结构将裂缝检测技术分为传统检测算法和深度学习算法,下文将分别介绍传统机器视觉算法和基于卷积神经网络的语义分割算法的研究现状。
1.2.1 基于机器视觉算法的裂缝检测技术
由于拍摄环境和拍摄方法的不同,相机所采集到的混凝土路面裂缝图像具有不同的纹理和亮度特征,因此基于机器视觉的裂缝分割算法的首要步骤是对图像进行预处理,减少图像本身的噪声干扰。通常可使用各类滤波器减少或消除图像噪声的干扰,王楹等[9]提出一种不同于传统形态学滤波算法的多角度、多结构的形态学滤波器,比单一结构的形态学滤波器更能滤除裂缝图像中的噪声信息。彭博等[10]根据裂缝图像中裂缝周遭像素具有连续性特点,而孤立噪声则是散点或形状较小、像素连通性较差的不规则形体的特点,提出了基于像素和裂缝子块两个层级间连通性差异的滤波算法。徐爱华等[11]利用小波变换和空域滤波滤除图像中的干扰和噪声。根据裂缝图像普遍具备的椒盐噪声和高斯噪声。宋兰平等[12]针对高密度椒盐噪声提出一种以中值滤波器为基础的中值反差滤波器,再利用连通域标记的方法弱化背景的噪点信息,从而完成图像的预处理。张振海等[13]提出利用快速中值滤波器和自适应均值滤波器去除图像中的噪声成分,增强图像的清晰度。
第二章 理论基础
2.1 深度学习技术相关理论
2.1.1 深度学习
深度学习是机器学习的一个分支。机器学习通过特定的任务和评价指标,在执行任务中不断提高经验,修正预测结果;与此类似,深度学习通过构建类似人脑结构和功能的人工神经网络,以大量的实验数据用有监督、半监督或无监督的方式对网络进行训练,使网络能不断优化参数以满足目标问题的最优解。得益于并行架构高性能GPU和大数据技术的发展,深度学习比起传统的人工神经网络具有更深的网络层次,也拥有更丰富的数据集可用于网络训练,借助计算机大规模数据的运算能力和尽可能多的训练数据,不断逼近目标问题的最优解。深度学习不仅学习能力强、覆盖适应范围广,且由于依赖数据驱动,其在图像识别、自然语言处理等方面的上限还可不断通过新增数据和调参来进行突破。目前深度学习的典型算法主要包括卷积神经网络(CNN)、循环神经网络(RNN)、生成对抗网络(GAN)和深度强化学习(RL)。其中,自2012年Alex Krizhevsky凭借CNN夺得该年ImageNet大赛,以AlexNet架构为基础的CNN成为公认的图像识别的首选方法,被大量用于图像的物体定位、识别、目标分割和关键点检测。
2.1.2 卷积神经网络
CNN与其他神经网络类似,主要由输入层、隐藏层和输出层组成。对于某一类目标的分类问题,通常由相同维度的彩色RGB图片组成的数据集作为输入层,由卷积层(Convolutional layer)、批量归一化层(Batch Normalization)、池化层(Pooling layer)等组成隐藏层对输入图像进行处理,最后输出图像的分类结果。
2.2 基于数字图像处理的分割算法
2.2.1 图像预处理
对于数字图像处理的分割算法,输入图像的质量往往影响着算法的实际分割效果和精度,因此在对图像的特征进行提取、分割或识别之前,需要对图像预处理,消除图像中无关信息,增强前景色的特征信息。常见的预处理算法包括对图像的灰度化、图像增强等。灰度化可通过取彩色图像三通道的平均值、最大值或加权平均值的方式将彩色图像转为单通道的灰度图,从而减少后续算法的数据处理量。根据图像处理所变换区域的不同,可分为空间域增强和频率域增强。空间域上的处理指的是灰度化后的图片直接进行均值滤波或中值滤波等平滑处理,频率域则通过傅里叶变换将图像变换到频域,再通过低通滤波器或高通滤波器滤除噪声,从而达到增强图像的效果。
2.2.2 传统图像分割算法
传统的图像分割算法是根据图像的色彩、灰度、空间位置、纹理等信息将图像分为几个不同的区域。其中,根据图像的不同特征,可分为基于边界的分割算法和基于区域的分割算法。基于边界的分割算法利用了不同区域边缘像素灰度值具有突变的特点,通过傅里叶变换将图像从空间域转换到频域,再通过高通滤波器保留灰度值变化剧烈的高频部分。常见的边缘检测算子包括Canny、Sobel、Roberts、Prewitt等,可根据图像中的噪声特点选择合适的检测算子,具有快速、准确的特点,但由于其检测的是边缘点,因而不能保证分割区域的连续性和封闭性,会存在大量的碎边缘。基于区域的分割算法可根据图像的灰度纹理信息按区域划分。比如大津法(OTSU),通过计算前景色与背景色的最大类间方差将裂缝与背景分割开来,但此方法只适用于灰度直方图具有双峰特征的图像。当目标与背景色差异过大时,即灰度直方图存在多峰时,其分割效果便变得不尽如人意;又比如区域生长算法,根据一定条件下选择图像的部分像素点作为初始种子,再根据设定的判断准则判定周围的像素是否属于同一区域。但该方法需要选取合适的初始种子点和合理的判断准则,才能生成连续且完整的区域,否则,不仅会使算法效率降低,还会生成许多不属于裂缝的错误边缘信息。
第三章 基于自我注意力机制的全卷积神经网络裂缝分割模型 ............................ 15
3.1 引言 ................................ 15
3.2 全卷积神经网络模型 ............................................. 15
第四章 基于区域生长和梯度阈值分割的路面裂缝提取算法 ............................... 30
4.1 引言 .................................... 30
4.2 基于梯度特征的区域生长算法 .................... 30
第五章 结论及展望 ................................. 38
第四章 基于区域生长和梯度阈值分割的路面裂缝提取算法
4.1 引言
混凝土路面裂缝是道路病害最早期的标志之一,不仅影响路面的平坦度以及稳定性,还存在着塌陷、破裂等安全隐患。因此,道路维护部门需要及时根据裂缝的长度、宽度以及生长方向等情况,对路面的损害程度进行评估,制定相应的修复方案。传统的检测手段依赖于工作人员的现场实地测量,不但费时且费力,而且测量结果比较主观。随着摄影设备以及机器视觉算法的快速发展,使得通过裂缝图像以及边缘提取算法来获取裂缝的实际信息成为一种可能。本文第三章已通过全卷积神经网络分割出了图像中的裂缝区域,第四章将通过边缘提取算法对所提取的裂缝区域进行边缘提取,辅助养护人员进一步了解裂缝的损害程度。
常见的裂缝提取算法首先会将图像转化为灰度图,再利用其灰度特征将目标裂缝与背景色区分开来。如大津法(OTSU),通过计算前景色与背景色的最大类间方差将裂缝与背景分割开来,但此方法只适用于灰度直方图具有双峰特征的图像。当目标与背景色差异过大时,即灰度直方图存在多峰时,其分割效果便变得不尽如人意。Canny算法则利用图像的梯度信息将裂缝提取出来,即根据合适的阈值将裂缝边缘快速、完整的提取出来,但如果图像存在的噪声过多,许多无关物体的边缘也会被提取出来。尽管通过高斯平滑滤波可以滤除部分噪声,但图像中不平整、不规则的部分仍会被当成裂缝提取出来。区域生长算法则是利用一定条件下选择的像素点作为初始种子,再根据设定的判断准则判定周围的像素是否属于同一区域。合适的初始种子点和合理的判断准则是生成区域连续且完整的关键,否则,不仅会使算法效率降低,还会生成许多不属于裂缝的错误边缘信息。
第五章 结论及展望
随着深度学习、数字图像处理技术和大数据技术的快速发展,基于上述技术的公路健康监控系统将在公路维修、养护发展过程中起到关键推动作用。建设行政主管部门可通过监控设备拍摄公路图像,再判定图像中的裂缝信息,识别早期裂缝损伤,及时制定相应的维护与修复方案。本文针对目前混凝土路面裂缝检测中存在的水渍、光照阴影、黑斑等伪裂缝干扰问题,建立相应的伪裂缝样本数据集,并研究了具备伪裂缝剔除的深度学习裂缝分割算法,进而研究了基于区域生长和梯度阈值分割的路面裂缝提取算法。本文最终完成成果如下:
(1)建立包含伪裂缝的负样本数据集。图像采集过程中,重点收集周围存在树叶、水渍、树枝等伪裂缝干扰的混凝土裂缝图像,并制作相应的真实标签用于卷积神经网络学习,增强了训练样本数据集的多样性,使训练出来的网络能更好的识别实际图片中的真实裂缝,提高网络的精准率。
(2)针对目前基于全卷积神经网络的裂缝分割算法中存在的检测裂缝不完整、不连续或者伪裂缝错误检测等问题,本文在基于全卷积神经网络模型的DeepCrack语义分割模型基础上,引入自我注意力机制模块,增强网络全局信息的学习能力和对裂缝、伪裂缝特征的区分能力,提高裂缝检测网络的精准度;同时,引入了梯度层模块来让网络在训练初期就获得图像重要的梯度信息,提高训练的收敛速度;并且对特征提取网络的网络架构和解码架构进行了优化调整,以适应所增加的自我注意力机制模块和梯度层模块。通过所建立伪裂缝数据集对改进后的网络、DeepCrack网络和其他网络进行对比实验,从实验结果的直观分析和语义分割评价指标可观察到,本文算法在引入梯度层模块后,训练的收敛速度更快,并且在引入自我注意力机制模块后,网络对裂缝边缘的提取会更加完整、准确。
(3)针对混凝土裂缝边缘的提取问题,本文提出了基于区域生长和梯度阈值分割的路面裂缝提取算法。算法首先通过预处理和非极大值抑制来获取裂缝的大致边缘,依据梯度幅值和梯度方向进行区域生长获取完整的边缘链,最后通过梯度阈值分割去除多余的伪裂缝。本文算法与直线段检测算法、Canny算法就提取效果、运行时间在实验数据集上进行了对比实验,结果表明本文算法具有速度快、准确率高、能更好的抑制噪声的优势。
参考文献 (略)