本文是一篇计算机论文，本文提出的毫米波雷达人员定位算法和毫米波雷达的行人轨迹预测算法，解决了基于毫米波雷达的人员当前位置估计以及未来轨迹预测问题，提高了位置估计和轨迹预测的准确性。
第一章 绪论
1.1研究背景及意义
随着传感器技术和机器学习技术的发展，研究人员提出了许多人类行为识别系统，这些系统通常使用摄像机、可穿戴设备、射频设备等传感器来检测分析人类的某些行为[1-3]，如行人的定位。行人定位主要用于了解行人目标的数量、位置、行走轨迹及行进方向，可以用于无人移动平台导航、智能家居、楼宇监控、人机交互等场景。其中基于深度摄像机的人员定位系统已被证明在各种任务中都具有出色的性能。然而，深度摄像机具有较强的侵入性，引起社会对个人隐私的广泛担忧。除了深度摄像机以外，激光雷达[4]是无人移动平台的常用设备，与深度摄像机相比，激光雷达具有较高的角度、距离测量精确度，但是其基于飞行时间（Time of flight，TOF）的定位原理要求设备有极强的信号采样能力，导致激光雷达造价高昂，难以广泛应用。
近年来，由于雷达芯片技术的不断发展，基于调频连续波（Frequency Modulated Continuous Wave，FMCW）的毫米波雷达被越来越多的用于无人移动平台如无人车、无人机等[5-7]。与激光雷达定位原理不同的是，FMCW毫米波雷达通过测量发射信号与反射信号之间的频率差来获得目标相对距离，同时毫米波雷达具有的高带宽为测距提供了更高的物理分辨率。出于导航、路径规划[8]以及躲避行人[9]的需要，这些无人移动平台常使用毫米波雷达对行人进行距离和角度定位。表1.1列举了目前常用的几种定位传感器设备与毫米波雷达的人员定位性能。对比结果表明毫米波雷达具有以下优势：
1.2国内外研究现状
如今已有多种基于不同设备的定位系统来实现对人员的定位，比较常见的定位方法有全球定位系统（Global Positioning System，GPS）[10]、射频识别（Radio Frequency Identification，RFID）定位[11]、立体视觉定位[12]、Wifi定位[13-14]、激光雷达定位[15]以及毫米波雷达定位。
GPS是一种以人造地球卫星为基础的高精度无线电导航定位系统，是如今人员定位领域最重要且常见的方法。但是，对于一些特殊的使用场景，如室内定位，卫星信号难以穿透建筑物无法进行人员的定位，同时，对于一些对人员定位精度要求高的场景如自动驾驶、机器人自动导航及躲避行人等，GPS米级的定位精度难以满足需求。
RFID即射频识别技术利用无线射频的方式对电子标签或射频卡进行读写达到识别目标或数据交换的目的，典型的RFID系统包含电子标签、阅读器、主机等软硬件基础设施。超宽带（Ultra Wide Band，UWB）定位技术[16]就是一种典型的RFID定位技术。UWB发射无线脉冲，通过精确测量无线脉冲在空间中的传播时间，计算UWB标签与UWB锚点之间的绝对距离，以此来确定UWB标签的相对空间坐标。RFID定位技术通常定位精度高、鲁棒性强，但是标签/锚点这种定位机制，难以被广泛应用于各种场景。
立体视觉定位是以一种模拟人类双眼观察事物的方式来实现目标定位的技术。摄像机经过参数标定后，对目标点从两个或者多个不同视角同时获取图像，再根据目标点在不同视角图像中的像素坐标差异，利用视觉差原理来确定目标点的三维坐标。由于摄像机被广泛应用于各种领域，因此基于立体视觉的目标定位方法具有更广泛的适用性。不过，摄像机捕获了大量的人类生物特征，引发社会对个人隐私的担忧。因此，更多具有隐私安全性的定位方法正被广泛研究。
第二章 毫米波雷达定位相关技术
2.1毫米波雷达系统结构
毫米波雷达通常指发射毫米波波段电磁波的雷达。毫米波波段的电磁波波长在1~10mm内，信号频率在30~300GHz间。毫米波波长小于厘米波而大于微波，因此发射毫米波的毫米波雷达兼具微波雷达和厘米波雷达的一些优点。
相比于工作频段在30GHz以下的厘米波雷达，毫米波雷达的工作频域远高于一般日常生活场景中存在的信号频域，如手机信号、无线局域网信号、广播电台信号、卫星电视信号等，超高的工作频域使得毫米波雷达信号具有强抗干扰能力。同时，高信号频率可以携带更大的信息量，使得毫米波雷达具有更高的空间分辨率。由于波长更短，毫米波雷达的发射器体型比厘米波雷达更小，因此毫米波雷达还有体积小、质量轻的优势，更适合民用和商业化。相比微波雷达，毫米波雷达信号穿透能力强，对天气环境的适应能力强[31]。
基于TOF技术的雷达（如超宽带雷达、激光雷达）使用发射器发射电磁波信号，电磁波信号经过目标反射后再次被接收器接收，雷达测量发射与再次接收信号之间的时延来计算目标的距离[32]。基于TOF技术的雷达通常对雷达硬件设备要求较高，使得这类雷达造价高昂。相比TOF雷达，基于FMCW信号调制体制的毫米波雷达（以下简称FMCW毫米波雷达），通过线性调制信号频率，利用收发信号之间的频率差间接计算目标距离，因此FMCW雷达对硬件要求低，成本更加低廉，适合在人员定位领域广泛使用。FMCW毫米波雷达系统结构如图2.1所示。在FMCW雷达工作时，雷达的压控振荡器（Voltage-Controlled Oscillator，VCO）持续不断产生频率随时间线性变化的调频信号，发射天线发送调频信号，同时接收天线接收从目标反射的回波信号，混频器将回波信号与调频信号进行混频。混频后的中频信号经过低通滤波器滤波后，由模数转换器（Analog-to-Digital Converter，ADC）采样得数字信号。最终，利用信号分析算法可以计算得到目标的距离、角度信息[33]。
2.2毫米波雷达数据预处理
（1）雷达数据矩阵
毫米波雷达采集的信号数据可以组织为一种四维矩阵的形式。如图2.2所示，雷达数据矩阵的每个维度分别代表了信号接收通道、快时间信号、慢时间信号、雷达数据帧。
信号接收通道：毫米波雷达通常包含一个由N个发射天线、M个接收天线组成的天线阵列，N发M收的天线阵列可以组合为一个有N×M个信号接收通道的虚拟天线阵列，每个信号接收通道都代表了不同发射天线与接收天线的匹配。图2.3以德州仪器公司生产的IWR6843AOP毫米波雷达为例，展示了毫米波雷达天线阵列的一种排列方式（图2.3（a）），以及形成的虚拟天线阵列（图2.3（b）），图中为信号波长。3个发射天线（TX）与4个接收天线（RX）可以组成12个信号接收通道，如发射天线1（TX1）与接收天线4（RX4）构成信号接收通道4。同一行或同一列接收通道的个数决定了毫米波雷达的方位角或俯仰角的角度分辨率，虚拟阵元数越多，角度分辨率越精确。对于IWR6843AOP毫米波雷达，该雷达的角度分辨率约为29°，对于目标的角度测量能力较弱。
第三章 深度学习相关技术 .............................................. 15
3.1堆叠沙漏网络 .................................................. 15
3.2Transformer网络................................................... 18
第四章 基于跨模态学习的毫米波雷达融合定位算法 ......................... 21
4.1引言 ............................................ 21
4.2现有人员定位算法的不足 ......................................... 21
第五章 基于Transformer的毫米波雷达行人轨迹预测算法 .................................... 46
5.1引言 .......................................... 46
5.2现有行人轨迹预测算法不足 ..................................... 46
第五章 基于Transformer的毫米波雷达行人轨迹预测算法
5.2现有行人轨迹预测算法不足
目前已有许多国内外的研究者对行人轨迹预测算法进行了大量研究，早期的轨迹预测算法主要基于运动学预测行人未来轨迹。Schneider等人[66]基于运动学利用扩展卡尔曼滤波和交互式多模型预测行人的不同运动状态（静止、交互、弯曲、起步），并且分析这两种方法在行人预测上的不同之处。但是基于运动学的行人轨迹预测难以胜任长时轨迹预测。由于被逐渐证实在长期序列建模任务中更有效，LSTM神经网络成为轨迹预测领域中最常用的模型。Iter等人[67]证明了使用基于LSTM的网络模型对单行人轨迹预测比卡尔曼滤波方法效果更好，但是对于多行人场景，行人的行进路线存在交互关系，Iter等人仅基于单行人的历史轨迹进行轨迹建模，忽略了其他行人轨迹的影响，因此他们提出的网络模型难以胜任多行人轨迹预测。
以上算法仅解决了单人轨迹预测问题，针对多行人场景，有研究者意识到行人未来轨迹会因邻近行人行进路线做出调整，他们将邻近行人的潜在运动状态融合到轨迹预测中可以动态的捕捉行人轨迹变化。Alahi等人[68]提出了Social LSTM网络模型来完成多行人未来轨迹预测，Social LSTM对同一场景中所有行人的历史轨迹做同等编码，使用Social pooling层将获得的特征向量池化，通过学习空间相关性隐式模拟不同行人之间的交互作用。
第六章 总结与展望
6.1工作总结
近年来，由于毫米波雷达芯片技术的不断发展，毫米波雷达在许多有定位需求的场景发挥了重要作用。基于FMCW调频体制的毫米波雷达产生并发射线性调频的电磁波信号，接收目标反射信号并将反射信号与发射信号混频，在接收器中产生拍频信号，通过对拍频信号进行频谱分析得到目标信号的距离信息。同时，利用不同雷达天线阵元之间的相位差提取目标的角度信息。本文基于FMCW毫米波雷达，着眼于行人定位领域，研究了行人当前位置估计算法和行人未来轨迹预测算法。
商用小型毫米波雷达角度分辨率受到天线阵列大小的限制，为了提高毫米波雷达的角度测量能力，本文在第四章提出了基于跨模态学习的毫米波雷达融合定位算法mmFusion。mmFusion首先使用跨模态学习人员位置预测模块预测人员位置。跨模态学习人员位置预测模块使用教师学生网络建模人员的空间位置与毫米波雷达数据之间的关系。教师网络从立体摄像机采集的RGB图像和空间坐标矩阵中提取行人水平空间坐标，然后将人员水平空间坐标用作学生网络的监督标签，利用这种跨模态学习的方法构建人员坐标预测网络模型。然后mmFusion使用基于信号处理链的人员位置估计模块估计人员位置，充分发挥毫米波雷达的距离测量能力。在定位实施阶段，mmFusion分别使用跨模态学习定位模块以及信号处理链定位模块对人员进行定位，然后使用定位融合模块融合两种定位结果，最终得到兼具高距离和角度分辨率的人员定位结果。在毫米波雷达数据集上的实验与分析，验证了本文提出的mmFusion人员定位算法的有效性。
在基于毫米波雷达的行人轨迹预测任务中，虚警和漏检直接影响对行人未来轨迹的预测。除此以外，行人的行走路线容易受到其他行人干扰而发生频繁且灵活的变化。基于以上两方面的问题，本文提出了基于Transformer的毫米波雷达行人轨迹预测算法TTPA。TTPA首先使用基于二分图匹配的行人历史轨迹跟踪模块完成行人的历史轨迹跟踪，为行人未来轨迹的预测提供良好条件，然后使用基于Transformer的毫米波雷达行人轨迹预测模型TTPM完成行人的轨迹预测。TTPM利用Transformer结构提供的注意力机制动态建模行人空间位置交互关系，并设计了邻近历史轨迹编码器和未来轨迹编码器，来处理他人对行人轨迹造成的影响。最后，在毫米波雷达数据集和公共数据集上进行了对比实验，进一步的统计和分析验证了TTPA的有效性。
参考文献（略）