第 1 章 绪论
1.1 研究背景
在当今人工智能和科技信息迅速发展的背景下，无人驾驶技术成为了人工智能研究的重要领域之一。无人驾驶的真正意义是解放人类的双手，它可以有效地降低人类因为疲劳、饮酒等不当行为而引起交通事故的发生率，从而提高安全性[1]。从产业连锁的角度来看，5G 技术的兴起将极大带动无人驾驶的发展，反过来，无人驾驶也将大力推动 5G 的商用。在传感器融合这一领域，由于无人驾驶车辆上的传感器比较昂贵，那么通过多种传感器的协同工作，既可以在一定程度上避免了传感器昂贵价格的劣势，也可以极大提高无人驾驶车辆的感知精度。在未来二十到三十年的时间里，无人驾驶车辆将会快速普及，正是因为无人车辆的迅速增加，所以提高无人车对环境感知的精度就变得尤为重要了。
在有关无人驾驶的技术中，无人车辆对外部环境的感知必须通过传感器进行获取，进而通过算法来对传感器获得的信息进行融合。在无人驾驶车辆上使用了形形色色的传感器，而相机和激光雷达是使用频率最高的两种传感器。相机是一种包含信息量非常广泛的传感器，成本较低，具有丰富的色彩信息，且分辨率比较高，比如 1920×1080 分辨率的相机拍摄的图像，在水平方向上就有 1080 条线，垂直方向上有 1920 条线，可以对视野内的景物进行比较全面的反应。激光雷达传感器是一种由发射器发射红外光，通过接收器接收反射回来的光线，利用时间差来计算障碍物距离的传感器，不仅可以获取物体距离的信息，激光雷达还可以提供返回所扫描物体的密度信息，还可以通过检测目标物体的空间方位和距离，通过点云来描述3D 环境模型，提供目标的激光反射强度信息和被检测目标的详细形状描述等[1]，应用范围和发展前景十分广阔。
...........................
1.2 研究目的与意义
无人驾驶技术大体上可以分为感知、决策、规划和控制四个过程[2]。其中，感知是无人驾驶系统最基础的前提，主要负责对车身周围环境的感知，包括障碍物检测、目标识别、定位等。而决策是根据感知层的信息来操控车辆，控制车辆做出相应的动作，比如刹车、转弯等操作。规划则主要是对路径的规划，此过程需要环境中的地图信息，从而为车辆规划出最优行驶路线。控制是根据规划的信息来执行决策中的指令。可以看出，感知层是无人驾驶车辆中的首要前提，而感知的精度对于后续的决策、规划和控制具有非常大的影响，所以对环境感知的研究具有重要的意义。
在研究无人驾驶感知领域的传感器融合[3]方向中，本文使用了相机和激光雷达两种传感器。首先，相机的优点非常多，但是其对光照特别敏感，光线强度的一点变化可能会引起某一时刻的曝光问题，而且普通相机在夜晚是无法工作的。激光雷达则完美的解决此问题，其使用能产生短脉冲的光波进行 360 度扫描，比如红外光，可以不受环境光的影响，且感知距离较长，但是激光雷达的价格非常昂贵。在研究中使用的 Velodyne 16 线激光雷达价值 4 万人民币，而 Velodyne 32 线激光雷达价值更是在 30 万人民币左右。此外，激光雷达的分辨率非常之低，目前国内外最高配置的激光雷达是 128 线，意味着在水平方向仅有 128 条线，仅仅为相机的十分之一左右，很明显会丢失很多的细节。所以靠单种传感器和单一技术难以实现安全的无人驾驶，往往无法满足某些系统对鲁棒性的要求。显然，解决这个问题的一种有效途径就是使用多种传感器进行融合，从而避免单一传感器的缺点，使得感知精度大幅度提升，提高安全性。
.........................
第 2 章 相关理论基础
2.1 相机标定
由于相机的镜头存在畸变现象，所以在使用相机时需要对相机进行标定操作。相机标定就是求相机的参数，包括相机的内参、外参以及畸变系数[11]。一般情况下，这些参数必须通过对相机成像进行建模，分析相机投影的数学关系，通过做大量的实验来求解。
2.1.1 相机畸变与数学描述
小孔相机模型是一种理想的相机投影模型。但是在实际生活中，由于镜头的制作工艺以及安装等各种原因，会出现这样一种情况：一个点本来应该投影到 A 点，但是实际投影到了 B 点，或者说一条直线，理论上投影之后在成像平面上应该也是一条直线，但是实际上投影的却是一条曲线，越靠近图像边缘的地方越明显，这种现象在绝大多数相机中都是存在的，把这种现象称为畸变[12]32-35。按照成因不同，可以将畸变分为径向畸变和切向畸变。径向畸变是由于镜头制作工艺的原因而造成的，是由透镜本身引起的，一般情况下是呈中心对称状态，其又可以分为桶形畸变和枕形畸变。除了由透镜本身引入的径向畸变外，还有一种畸变是在相机组装的过程中，由于技术原因不能使得透镜和成像平面严格的保持平行，这样会引入另一种畸变现象，即切向畸变。
.....................
2.2 传统点云配准算法
2.2.1 刚性变换与点云配准
在实际生活中，由于被测物体大多为非平面物体，激光雷达等测量设备将会受到测量方式和物体形状的限制。比如一个激光雷达一次扫描只能得到被测物体有限部位的点云数据，然而单个激光雷达点云的稀疏性以至于我们不能判断被测物体的某些关键的特征。虽然可以用多个激光雷达传感器同时对被测物体进行数据采集，但是多个激光雷达采集的点云数据属于不同的坐标系。这些拥有独立坐标系的点云也是没有任何意义的，也无法直接进行拼接。于是就需要把这几个不同坐标系下的点云通过一定的操作将其变换到统一坐标系下，这样就可以提高点云的分辨率，有利于后续激光雷达的研究，一定程度上解决了单个激光雷达点云稀疏的问题。以上就是点云配准问题，将多帧不同坐标系下的点云通过变换进行统一坐标系的过程就属于刚性变换问题。以下是点云配准的步骤[16]：
（1）从待配准的两帧点云中分别选取关键点；（2）分别计算所有已经选择的关键点的特征描述子；（3）结合特征描述子在两个数据集中的位置，来估计他们的对应关系，并初步估计对应点对；（4）去除对配准有影响的噪声点对；（5）对剩余的点云估算刚性变换，求解配准点云之间的旋转矩阵和平移向量。
.........................
第 3 章 多传感器数据融合与场景识别.........................19
3.1 多激光雷达配准 ......................19
3.1.1 点云平面拟合 .......................19
3.1.2 求解刚性变换 ........................21
第 4 章 实验步骤与结果分析...........................39
4.1 实验平台与软硬件配置 .......................39
4.2 相机标定实验与结果分析 ..................40
4.3 多激光雷达配准实验与结果分析 ......................43
第 5 章 总结与展望............................61
5.1 文章总结 ..........................61
5.2 展望未来 ............................61
第 4 章 实验步骤与结果分析
4.1 实验平台与软硬件配置
在做有关相机方面的实验时，可以供使用的相机有多种，其中包括京杭的工业相机、USB 即插即用的模组相机和 JAI 高清相机等等。本次实验使用的是分辨率为 1280×720 的 USB 即插即用的模组相机，其实物如图 4.1 所示。
............................
第 5 章 总结与展望
5.1 文章总结
在科技飞速发展的当今时代，人工智能已然成为各行各界的研究重点，而无人驾驶作为人工智能最重要的研究领域之一，它将代替人类的双手，有望彻底让人类的双手离开方向盘，进而避免由于疲劳驾驶、酒驾等行为造成严重的交通事故。环境感知层又是无人驾驶技术的核心环节，其重要性不可估量。本文也基于环境感知的一个方向，对传感器融合做出了一些相应的研究，以下为本文做出的相关工作：
（1）首先设计传感器支架图，搭建实验中所用到的实验车以及传感器支架，用铝型材将其固定，并对其中可能涉及到的电路进行焊接，做好传感器的防水等工作。
（2）针对多激光雷达配准的问题，对比经典的 ICP 算法和 NDT 算法，本文设计一种新方法来求得多激光雷达之间的刚性变换，成功将人工鱼群优化算法应用于多激光雷达配准问题中，并取得了更高的配准精度。
（3）将相机与激光雷达融合，其中必然涉及到相机的标定。随后通过自制标定板，设计了新的二维图像与三维点云角点的提取方法，进而求得相机与激光雷达之间的变换关系，成功将相机与激光雷达两个不同种类的传感器融合。
（4）将融合完成的多传感器系统应用于场景识别，对原 DBoW2 算法的识别思想进行改进，增加点云校正环节，取得了比原算法更高的识别精度，展示了低速无人驾驶中的一种场景识别方式。
参考文献（略）