本文是一篇计算机论文，本文针对画面不规则抖动问题，提出一种基于随机游走的运动目标图像分割方法。在复杂环境下，车辆视频容易受脉冲噪声污染而出现画面不规则抖动，极大降低了视频分割精度的问题。为了解决这一问题，提出一种基于随机游走的运动目标图像分割方法。
第一章 绪论
1.1研究背景
图像识别是计算机视觉中一个重要课题，旨在模拟人的视觉感知，对影像数据从语义层面进行自主识别，图像识别一般是用在大类别的相关分类上，比如区分狗和鸟，这些类别往往有着明确的形态、颜色差异。细粒度图像识别是图像识别中一个特殊的子任务。其主要目的在于区分大类别下的不同子类别物体，比如区牧羊犬和斗牛犬。子类别物因为属于同一个大类别，所以形态基本相同，还有类似的颜色、和纹理，导致较小的类间差异，难以被区分开。而对于同一子类别的图像来说，由于不同的姿态，背景，角度，他们也会呈现较大的类内差异。为了学习到强大的视觉表征来捕捉细微的类别差异，传统方法依靠大量的、精细化的、和全类别的人工图像标注，来告诉模型该关注图像什么区域和需要捕捉什么信息。这因此意味着巨大的标注成本，和限制了模型的应用场景。深度学习，借助隐藏的神经网络，输入样本的基本特点，自主学习，并根据特征得到分类信息。整个流程是端到端的(end to end)，即将图片输入模型，直接得到分类结果，取代了传统机器学习模型中预处理的步骤，大大减少了人力和重复性工作。相较于机器学习，深度学习的训练时间更长，对计算性能的要求更高，但是其精准度和应用场景的广泛程度，是传统机器学习无法企及的。
传统的图像识别任务是对目标大类的识别，如图1.2(b)，识别车辆时只需要判断目标是车辆，不需要分辨车辆是哪个品牌的哪个型号；识别狗时，只需要判断出其为狗，不需要判断狗的品种。不同标签下的目标均属于不同类别或物种，类与类之间差距大，分类难度相对较低。细粒度图像识别(Fine-grained image recognition，FGIA)将相似度较高的样本当作分类依据，例如鸟类品种识别，鲜花品种识别，车辆型号识别等。
1.2研究现状
1.2.1图像识别
目前细粒度图像识别方法主要有三大类，分别是：(1)基于定位子网络的细粒度图像识别；(2)基于多特征融合的细粒度图像分类；(3)基于外部信息的细粒度图像识别。细粒度图像类内相似度大，为了解决这个问题，最直观的方法就是找出能有效区分同类图片和不同类图片的最具有代表性区域的特征，使用这些区域的特征而不是原始图像的特征作为分类依据，这就是基于定位子网络的细粒度识别。该类模型包含三个主要结构，获取图像特征(feature)的基础网络、用于定位目标位置的定位子网络和分类器。这是当下细粒度识别使用最广泛研究最深入的方法。根据训练定位子网络需要的标签数据的多少，此类方法又分为强监督模型和弱监督模型。
在强监督模型中，训练定位子网络需要大量局部特征点(part annotations)或候选框(Object Bounding Box)信息。Jeff Donahue等人率先提出一个使用候选框定位子网络的Part-based R-CNNs细粒度图像识别模型。该模型中对目标局部的定位一定程度上降低了拍摄角度的和目标姿态的不同对识别准确度的影响。但由于定位不同部位时会产生大量无关区域，该模型训练和识别速度慢[3]。受到Part-based R-CNNs的启发，Steve Branson的团队提出了使用局部特征点(part annotations)定位目标的关键部位的模型，取得了相比Part-based R-CNN高2%的分类精度[4]。让基于强监督的模型真正得到突破是魏秀参在2016年提出的Mask-CNN模型。该模型使用全卷积神经网络(Fully Convolutional Networks，FCN)，头一次将目标和图片中的背景分割开并得到了当时最高的分类准确度。
第二章 相关理论
2.1基于弱监督的图像提取方法
基于弱监督的图像提取方法，主要分为图像预处理和特征提取两个部分。图像预处理过程主要有：图像灰度化、图像二值化等。其中，图像灰度化的主要原因为：图像识别的关键为图像中存在的梯度，也就是物体在图像内显示的边缘，通过计算梯度就可以发挥灰度图像的作用，即把图像灰度对应为图像的强度；受到光照的影响，图像中的颜色会导致负面的影响，所以将图像灰度化可以加快特征提取的过程。而图像增强、滤波以及二值化的作用在于：使图像视觉效果得到优化，将图像在识别之前转化为机器或者人更有利分析和处理的方式，突出图像中有意义的信息，并抑制图像中干扰的信息所带来的负面影响[44]。在特征提取部分，基于弱监督的方法不需要太多监督信息如目标位置或关键点，仅需要图像的标签（label）信息，在简化视屏图像标注工作的同时，保留较高的识别效果。
2.1.1基于帧间差分的图像提取
帧间差分法原理是在视频图像上相邻两帧图像上分析目标运行趋势，明确背景上的各个信息，在两帧图像间使用差分运算就能得到运动目标车辆数据。某个摄像机只能对一个区域的交通信息监控，车辆驶入本区域中相邻两帧图像间具有灰度差，由于本课题使用的数据为摄像头固定在某个位置采集的视频信息，视屏连续两帧图像上的背景信息保持固定状态，计算连续两帧图像上相应像素点灰度值，且背景区域上的灰度值趋于0，剩余的灰度值非零区域即为寻找的车辆运动区域，记录本位置信息就可以提取目标所处区域数据。
2.2图像阈值分割
计算机视觉处理技术中常见的方式为图像分割，利用该方式分割图像为多个不同特征区域，将本区域中感兴趣目标提取.同时可以调整或者简化图像表达式，便于分析与理解图像内容。本课题研究的运动目标检测与图像分割技术间有直接关系，可以对视频帧图像上的信息实时处理。
在图像分割过程中阈值法属于使用频率较高的方法。本方法特征在于性能稳定、没有较难的使用操作并且不需要复杂的计算。通过深入研究图像分割技术，推动阈值法在各个领域应用，如今该技术已经应用于医学、交通及工业自动化等各个领域。上述应用中，选择的阈值质量高低对后面操作产生决定性影响[46]。
在背景灰度级与目标上应用阈值分割法灰度图像存在较大差别，在分割图像背景与前景时阈值作为灰度门限。若灰度图像仅有背景与目标，则设定一个阈值即可在背景中分离目标，使用该方式时要对灰度图像与阈值上像素点灰度值对比。合理选择图像阈值成为国内专家学者研究的核心内容，直到现在已经提出多达上百种选择阈值方式。然而至今还没有一个理想的方式分割不同图像取得理想的结果，没有一个标准来衡量是否可以成功分割图像。基于灰度图像运用的相同阈值或者在不同图像运用对应阈值。
第三章 基于特征融合的目标识别 .............................26
3.1引言 .................................26
3.2目标间遮挡现象发生的条件 .............................26
第四章 基于弱监督的目标跟踪 .......................55
4.1引言 ................................55
4.2基于视频的正则化连续概率语义模型的组建 ............................55
第五章 基于弱监督的车辆目标检测与跟踪系统设计.............................70
5.1引言 .........................................70
5.2 系统功能需求及特点 .........................................70
第五章 基于弱监督的车辆目标检测与跟踪系统设计
5.2 系统功能需求及特点
5.2.1系统功能需求
根据总体功能来分类运动目标在复杂环境下的自动检测系统功能，本系统功能模块有视频处理系统、视频采集系统及事件管理系统，本系统实现的功能如下：
（1）采集视频。在道路中安装高清摄像机，系统对该摄像机采集的道路视频图像信息采集与保存；
（2）处理检测视频。分析处理系统已采集的视频图像信息再对其判断决策，然后存储不同类型的视频图像；
（3）事件管理。假如使用视频检测方式对存在的异常状况处理分析，并向系统监控中心传输视频信息、告警信息等完成报警操作；
（4）传输已采集的视频信息。系统利用编码器、光缆、解码器等设备，该设备均属于传输设备，基于该设备传输视频图像信息到视频监控中心上。
（5）查询图像。系统在视频服务器上存储已采集的视频数据，可根据实际需求查询视频图像位置、时间等参数；
（6）自动诊断故障。系统出现故障后会对故障检查与修复，并向相关工作人员发送报警信息，提醒系统故障类型，常见的故障为网络终端、摄像机位置改变等。
（7）对数字化视频号的输入与输出功能支持，采集视频图像分辨率最高为108 帧，通常在25帧-30帧区间内；
（8）对TCPRP协议支持，必须具备标准网络接口；
（9）系统可以对整个道路进行360度全面监控，采集到道中不同方位视频信息；
（10）监控中心事件管理平台的基本功能是控制摄像机前端功能与具体操作，可实现的功能为转移镜头、加倍变焦。
第六章 结论与展望
6.1 总结
本章是文章的最后一个章节，重点在于总结课题研究的主要内容、完成的工作及创新点，深入探索基于弱监督属性学习的车辆检测与跟踪的性能，展望未来发展趋势。基于弱监督属性学习的图像检测与跟踪优势在于实时性强、智能化及高效性。本文以车辆遮挡、抖动、尺寸较大等多方面为核心，研究技术研究中存在的各种问题，下列为本文研究的主要内容和方向：
1、本文针对画面不规则抖动问题，提出一种基于随机游走的运动目标图像分割方法。在复杂环境下，车辆视频容易受脉冲噪声污染而出现画面不规则抖动，极大降低了视频分割精度的问题。为了解决这一问题，提出一种基于随机游走的运动目标图像分割方法。首先将分解的三维Otsu和隔帧对称差分法相结合来对运动目标区域进行初始分割，根据其结果划分区域背景，将每个区域的边缘特征点定义为视频底层边缘特征点，但经典的随机游走算法不能有效的滤除初始边缘特征点中含有的噪声，为此，将进行算法优化，搜索出新的视频底层分割特征点，选择最优边缘特征点的适应度函数，建立全局最优的搜索规则，减少了脉冲噪声污染产生的视频抖动对视频分割的影响，将最优底层边缘特征点定义为标记点，完成了对视频分割进一步优化。
2、运动目标在检测过程中被遮挡或被相似物体干扰是本文研究的重点问题之一，提出一种能量函数优化的Markov随机场的车辆遮挡分离模型。
在对车辆视频检测中，车辆遮挡或被相似物体干扰问题是其中的难点，现有方法在进行视频检测时，无法辨别车辆被遮挡的状态，导致了定义目标车辆的位置误差较大，为了有效的解决这一问题，提出了改进Markov随机场的车辆遮挡分离模型。先检测出视频图像中车辆的遮挡边缘点和消失点，并以此为依据生成车辆位置的置信图，得到遮挡车辆的结构布局模型，接着，采用超级像素训练该模型，获取其对布局的估计，根据对遮挡车辆位置的布局估计和置信，车辆的外观特征等信息组建基于随机场的遮挡车辆底层特征模型，将PCA与SVM相融合优化底层特征模型，对能量函数进行改进，依据优化的结果进行车辆遮挡的分离。其次，提出基于SURF特征点匹配的粒子滤波跟踪方法。
参考文献（略）