本文是一篇工程硕士论文，本文具体研究工作如下：（1）深入研究了基于 OpenCV 的图像处理算法，针对识别目标，对传统图像识别过程加入开运算进行改进。阐述了图像处理过程中高斯模糊、Canny 边缘检测、开运算和渐进概率霍夫变换的原理。对相机使用张氏标定法进行标定，并对机器人和相机数据进行数学建模，最后运用获得的数学模型计算像平面点坐标转换到世界坐标系点坐标的转换关系。
第 1 章 绪论
1.1 研究工作的背景与意义
目前室内服务机器人种类繁多，上到测绘装修设计、下到扫地送菜，室内服务机器人已经逐渐融入并改变我们的生活。图 1-1(a)中，为餐厅使用的送菜机器人，通过其携带的摄像机识别菜品，再通过预置的地面导航线来定位导航。图 1-1(b)中为小米智能扫地机器人，通过其携带的红外传感器手机室内障碍物分布情况，并运用云计算的方法计算路径并绘制地图。图 1-1(c)为韩国的 M1 室内测绘机器人，通过使用激光传感器扫描空间点云数据，再通过实时 3DSLAM、自动驾驶和分层运动规划创建室内 3D 地图。
视觉同步定位与建图（SLAM）作为一种室内机器人定位方案，已有 50 年的历史[1]。最初由于计算机性能和传感器种类的限制，科学家们只能提出其框架和理论。从最初的特征点法到如今的透视点法，设备也从黑白相机变化到如今的双目相机、深度相机（RGB—D）。视觉 SLAM 一直在不断进化与优化[2]。传统视觉 SLAM 多使用向上或向前相机，通过图像信息中的线特征或点特征绘制室内地图。
使用点特征绘制室内地图时，无论是使用单目相机还是双目相机，相机的精度对基于点特征的 SLAM 方法的影响都是巨大的，对于低纹理区域图像，特征点法往往需要经过多次增强算法对图像进行增强。当在处理低质量图像的时候，特征点法能够检测到的特征点数量会骤减[3]。图 1-2 为对 1080p（1920×1080）分辨率和 480p（720×480）分辨率下同一张图像先使用增强算法，再检测 FAST 角点特征的结果，图 1-2(a)为在 1080p 分辨率下对图像增强之后检测 FAST 角点的结果，图中共有 438 个 FAST 角点（用红色表示），而图 1-2(b)为 480p 分辨率下对图像增强之后检测 FAST 角点的结果，图中的 FAST 角点数量减少到 98 个。
1.2 国内外研究现状
早在 1986 年，Bailey 等人就已经开始对未知环境下机器人的定位与导航问题进行了公开的讨论与研究，他们希望使用概率方法来解决移动机器人定位和建图的问题，这同时也使得研究者们开始认识 SLAM 技术，并进行后续的研究[4]。
在视觉 SLAM 发展的初期，由于计算机算力的不足和传感器种类的不足，研究者主要针对其理论和框架展开讨论。在现在的机器人和计算机视觉领域，则有着非常多的视觉 SLAM 研究。根据使用的特征分类，主要分为使用线性路标和特征点两种。对于点特征， 1997 年世界上第一个实时的单目视觉 SLAM 系统——MonoSLAM 诞生了[5]。MonoSLAM 主要使用拓展卡尔曼滤波（Extended Kalman Filter，EKF）算法来估计位姿，把相机的状态和所有路标点坐标做为状态量，即时更新状态量的均值和协方差，同时 MonoSLAM 还具有可以追踪前段稀疏特征点的特征点追踪算法。但这种通过滤波方式来估计位姿的方法具有应用场景小、特征点丢失和可用特征点有限的缺点。
2010 年，D. Murray 等人提出了一种基于 OBR（为 FAST 角点加入方向向量以及 BRIEF 描述子）的单目相机 SLAM 方法[6]。在定位、建图、重定位和回环检测环节中使用同样的 OBR 特征。OBR 特征点使用 Dog 金字塔原理构造不同尺度空间上的图像，具有尺度不变性，可以有效消除图像旋转的影响。但由于进行多尺度计算导致其计算量庞大，不适合低成本机器人搭载；上海工程技术大学的戴仁月、方志军则运用融合扩张卷积网络对单目相机采集的 OBR 特征点进行深度估计，并采用 SLAM 算法优化相机姿态[7]。其与经典的 sfmleanrer 方法相比，有效降低了误差；A. J. Davison 提出的 PTAM（Parallel Tracking and Mapping 同步定位与建图）系统则可以通过跟踪与建图的并行化同时处理上百个特征点[8] [9]。PTAM 使用非线性优化取代传统滤波器的线性优化后端方案。同时引入关键帧机制，算法不再需要逐帧处理图像，可以通过对比各帧图像之间的不同，决定关键帧的选择。然而其具有致命缺点，即在场景过大时容易丢失对设备的跟踪；上海交通大学的马鑫、梁新武等人运用描述子进行特征匹配，并通过线特征三角化算法生成地图线[10]。提升了 RGB-D 相机在弱纹理场景下的定位精度和鲁棒性，并提高了算法时间效率；由于点特征过于单一和容易丢失，研究者通常将其与其他传感器相配合使用。北京理工大学的赵玉良提出了针对弱纹理场景下，融合惯性传感器（IMU）与双目相机的特征点 SLAM 算法[11]。
第 2 章 地面纹理特征识别
2.1 相机标定
2.1.1 相机选择及安装方式
市面上的相机种类繁多，可以简单从镜头数目上来分为两类：单目相机、多目相机。而从感知方式来说，相机又可分为主动式和被动式两类[21]。
图 2-1 所示相机均属于被动感知相机，虽然同样属于被动感知类相机单目相机与多目相机却有着极大的差别。单目相机在禁止状态时，是无法得到具体景深信息的，只能通过对运动途中的多张不同位置或不同角度图像进行处理比对，计算出具体景深信息。而多目相机的特殊设计，使其在可在禁止不动的情况下获得多张不同角度的图像，通过相机自身参数以及图像中的信息，我们可以计算得出具体景深。多目相机在固定不动时通过相机结构和相机标定得到的相机参数，相较于运动中的单目相机，不确定性更低，精度也更高[22]。
主动式相机的代表则是图 2-2 所示的 RGB-D（深度相机），具有红外激光器、红外线接收器以及单目相机。红外激光器发射能够发射一种特殊的红外线，其接触物体时会反射并被相机内的红外线接收器接收[23]。通过激光的发射时间和接收时间，可以计算出物体表面到相机的距离。深度相机不需要使用到复杂的算法，便可以得到一定范围内的具体景深。同时其得到的数据能够使用软件非常方便的进行三维重建。相对于单目、多目相机具有较大的优势。但是其探测距离有限，同时容易受到外界自然光中的红外光干扰，大大限制了其适用范围[24]。
室内服务机器人基本都在水平范围内活动，本文中相机采用平行向下的安装方式，由于相机距离地面距离较近，使用单目相机即可比较方便的获取地面纹理信息。
2.2 图像处理算法
地面接缝对于室内服务机器人来说，是良好的线性特征。室内服务机器人能够通过线性特征进行定位和判断位姿。在大型开放环境中，地面的纹理地图也能很好的帮助其确定自身位置[39]。本文采用基于 OpenCV 的算法对图像进行处理。
选择高阈值和低阈值的双阈值法是 Canny 算法中减少非极大值边缘数量的方法，通过设置高阈值得到的边缘图像中噪点和非极大值边缘数量较少，但最后得出的图像可能不闭合，影响霍夫变换直线检测的准确性。而通过设置低阈值得到的边缘图像则闭合性良好，但其中含有的噪点和非极大值边缘过多则会影响到霍夫变换的识别结果。Canny 算法采用折中的处理方式，使用高阈值算法生成图像中边缘的轮廓，再对轮廓的端点使用低阈值算法，这样就能得到良好的图像边缘化效果。
本章通过对比多种标定方法的优缺点，选择使用张正友标定法对相机进行标定，对其进行了理论推导并对实验用相机使用张正友标定法进行标定。同时介绍了使用到的图像处理算法，即高斯变换、Canny 边缘检测、开运算以及渐进概率霍夫变换。通过对比同类图像处理算法，本文所使用的图像处理算法具有的优势如下：高斯变换滤波在滤波过程中不会偏向任何方向，能够有效保留图像原本方向未知的边缘特征。Canny 边缘检测运算速度快的同时能够有效避免局部最大值的影响，适合用于检测密集并不平整的地面纹理。开运算能够在不影响图像形状及大致走向的同时，去除图像中的噪点及毛边。渐进概率霍夫变换使用两点式表达直线，能够准确得到线性特征两端点的坐标值。
第 3 章 机器人位姿计算及建图 .................................... 22
3.1 机器人运动方式 .................................................... 22
3.1.1 机器人运动模型建立 ......................................... 22
3.1.2 机器人导航方式 ........................................ 23
第 4 章 实验图像采集及处理结果 ...................................... 35
4.1 实验图像采集方案 ......................................... 35
4.2 图像处理结果 ....................................... 35
第 5 章 总结与展望 .................................. 48
5.1 全文总结 ........................................... 48
5.2 后续工作展望 ........................ 49
第 4 章 实验图像采集及处理结果
4.1 实验图像采集方案
实验通过在家用智能清扫机器人上安装相机采集室内数据，模拟室内服务机器人工作环境，并在计算机上使用算法对数据进行处理，机器人型号为科沃斯机器人牌的地宝当当，型号为 CEN530，搭载了红外激光传感器，路径规划方式为随机碰撞式。使用随机碰撞式的机器人能够有效检测程序的稳定性，由于路径的不确定性，图像处理和路径计算的难度都增加了。相机使用的为 GOPRO 运动相机，采集图像的质量为 480P（720×480）60Hz。480P 质量的图像较模糊，识别具有一定难度，但由于其质量低，运算速度快，使得算法能够更频繁的获取关键帧，更加准确的获得机器人位姿信息。计算机搭载的 CPU 为桌面级的志强 E3 处理器，主频率 3.3GHz，算力较嵌入式处理器较强，故实验中对其计算速度要求更加高。相机安装方式及实验环境地面如图 4-1。
第 5 章 总结与展望
5.1 全文总结
本文首先对现有的视觉SLAM技术和视觉SLAM相关文献进行学习和研究，分析传统 SLAM 算法的优势与不足，提出了对地面纹理进行识别并建图来辅助室内服务机器人定位理论。由于地面纹理与机器人间距离近，本文选择使用低分辨率（720×480），降低算力要求和设备成本。然后针对地面接缝具有的毛边和宽度特征，使用开运算对传统线性特征方案进行优化，防止了其重复多次识别同一纹理，并提高了识别精确度。通过使用张氏标定法及坐标转换，获得了线性特征位于世界坐标系中的坐标。并针对所识别出的地面纹理线性特征，设计了针对地面线性特征的机器人位姿算法，机器人位姿算法使用关键帧间的线性特征变化来计算机器人位姿，并将机器人直线运动及旋转运动以位移向量和旋转角度的形式输出。最后，使用程序获得的机器人位姿信息及地面线性特征端点点云进行线性拟合，成功得到地面接缝线性特征纹理地图。具体研究工作如下：
（1）深入研究了基于 OpenCV 的图像处理算法，针对识别目标，对传统图像识别过程加入开运算进行改进。阐述了图像处理过程中高斯模糊、Canny 边缘检测、开运算和渐进概率霍夫变换的原理。对相机使用张氏标定法进行标定，并对机器人和相机数据进行数学建模，最后运用获得的数学模型计算像平面点坐标转换到世界坐标系点坐标的转换关系。
（2）观察并分析实验使用机器人的运动模式，根据不同关键帧间线性特征的平移和转动建立数学模型，并设计机器人位姿计算算法，判断机器人的运动模式并获取位移向量以及旋转角度。其次通过机器人位移向量以及旋转角度，获取机器人路径，通过路径计算出线性特征两端点位于世界坐标系的坐标。最后将线性特征端点构建成点云，对线性特征端点点云使用最小二乘法进行线性拟合，尽量消除图像识别阶段和位姿计算阶段的识别误差及小数点保留误差。
（3）搭建实验平台，对机器人在真实室内环境中得到的图像进行处理，调试算法使用的参数。并对相机获取的机器人在直线前进和原地转向过程中的两段图像进行分析，验证算法是否能够获取机器人的位移向量以及转向角度。最后使用最小二乘法对两段关键帧图像中的线性特征端点点云进行直线拟合，获取地面纹理地图。通过算法获取的地面纹理特征地图较为准确，能够实现在成本较低图像质量较差的情况下辅助机器人定位并构建地面纹理地图的目的。
参考文文献（略）