本文是一篇计算机论文,本文对利用调频连续波雷达进行人体行为识别的相关理论进行了介绍,首先讲解了调频连续波雷达及其硬件系统,接着对利用调频连续波雷达进行测距和测速的原理进行了分析,最后讲解了要进行人体行为识别常用的机器学习模型以及深度学习模型。
第一章 绪论
1.1研究背景及意义
随着机器学习、深度学习技术的不断发展成熟,利用人工智能技术实现对人体行为的智能识别已经成为当前研究的一项热点[1-3]。传统的人体行为识别技术依赖于光学传感器,通过光学摄像头等对人体画面的捕捉来完成行为的判别,这会带来隐私暴露问题,同时受光照、遮挡等条件的影响,在某些场景并不适用。利用雷达等传感器实现人体行为识别的方法在一定程度上弥补了光学摄像头带来的上述缺点,在智慧养老[4]、智能家居[5]、智慧安防[6]等领域应用前景广泛。
当前,我国社会老龄化不断加剧,根据中国疾病预防控制中心全国伤害监测数据显示,由于缺乏对老年人摔倒的有效监测和及时救助,跌倒已经变成65岁及以上老年人群因意外死亡的第一原因[7],老年人的安全问题正是智慧养老的重要课题[8-12]。利用人工智能技术进行老年人行为识别,能够对老年人尤其是需要照顾的空巢老人进行24小时日常监护,对于老年人跌倒能够做到及时发现,及时报警。除此之外,利用此技术,还能够对老年人的一些异常行为疾病,例如帕金森病做到有针对性的识别。当前国外发达国家主要利用视频监控的形式来完成老年人的日常监护,通过矢量建模和人工智能算法来完成行为判别,其优点是准确率高,缺点是泄露隐私。对于浴室等老年人跌倒高发的场景并不适用,且日常监护也会对老年人造成心理压力。另一种主要监测方法利用可穿戴传感器技术,例如苹果公司研发的Apple Watch手表,通过加速度传感器、陀螺仪等对跌倒等异常行为瞬间形成的加速度变化进行监测,进而判断个体是否有跌倒等行为的发生。这一方法的缺点是判别行为较为单一,并且需要长时间佩戴传感器,对于老年人的使用极不方便。雷达系统实现上述工能,主要利用了雷达在人体反射的回波信号,通过对回波信号的解析,判断个体的行为,可有效保护老年人的隐私,且无需穿戴,灵敏度高,因此拥有极高的应用价值。
1.2 国内外研究现状
根据使用设备的不同,人体行为识别研究可以有多种不同的分类,除了利用可穿戴设备以及视频监控设备外,在使用无线电信号实现人体行为识别的研究中,根据无线电划分的不同频段范围,当前的主流研究方向主要包括以下三点:基于雷达的人体行为识别研究、基于WiF i的人体行为识别研究以及基于RFID的人体行为识别研究,其使用的设备分别为雷达、WiF i设备以及RFID设备,下面将分别介绍使用这三种设备实现人体行为识别的国内外研究现状。
1.2.1 国外研究现状
(1)基于雷达的人体行为识别
在基于雷达实现人体行为识别的研究中,研究方向多基于雷达的微多普勒效应。美国海军研究实验室的V. C. Chen于2000年开始了最早的对于雷达微多普勒效应的研究,他用实验表明了目标的微动与雷达微多普勒效应之间的联系,利用时频分析法从雷达回波信号中获得了运动目标的微多普勒特征[20-22],为利用雷达实现人体行为识别研究奠定基础。加州州立大学的Y.Kim 和德克萨斯大学的 H.Ling 从雷达采集的微多普勒图中手动提取了相应的特征,利用支持向量机模型进行了人体运动的7分类[23],达到了92.8%的分类准确率。英国格拉斯哥大学的H.B.Li利用奇异值分解(SVD)将微多普勒图的熵、频谱质心、带宽分解后的统计量作为特征来进行人体行为识别[24],准确率达到了80.6%。印度学者R.Smriti对雷达采集的微多普勒图设计了两层分类器,第一层执行粗略肢体水平分类,然后在第二层中执行更精细的动作检测,针对7项行为运动,分类准确率为88.6%[25]。英国学者F.Luo对于微多普勒图,采用了双向二维主成分分析(2D2PCA)进行特征提取,比较了SVM等机器学习模型与卷积神经网络等方法的分类效果,其在卷及神经网络中获得了97%以上的分类准确率[26]。除了利用雷达微多普勒效应,美国加州大学的D.S.Akash等人提出了RadHAR,RadHAR利用滑动时间窗口从毫米波雷达中积累点云,并生成体素化表示,作为分类器的输入,对人体的五种行为,在CNN-LSTM分类器中达到了90.47%的准确率[27]。英国格拉斯哥大学的Z.H.Li等人利用毫米波雷达从时频图和距离多普勒图分别提取人体运动幅度与相位特征,利用长短时记忆网络提取两个域的时间特征。利用软融合方法将两个域的信息进行融合,在6个主体的人员识别中准确率达到85.5%[28]。
第二章 人体行为识别系统理论
2.1系统介绍
2.1.1 调频连续波雷达
自上世纪60年代以来,雷达技术经过不断地发展,性能得到了极大地提高,在军事和民用方面发挥着重要的作用。按照雷达不同的工作频段划分,雷达设备可分为激光雷达、毫米波雷达、微波雷达等[57]。毫米波雷达的工作频段在30GHZ—300GHZ之间,具有波速窄、带宽大、抗干扰能力强等优点,毫米波雷达可以穿透雾、烟、灰尘,因此可以在恶劣的天气中探测,此外,毫米波雷达体积小、重量轻,更容易集成到微型设备中去。
毫米波雷达又可分为连续波雷达与脉冲雷达两种,脉冲雷达通过间歇发射一系列矩形脉冲波,探测距离可达上百公里,广泛应用于无人机飞行、导弹预警、资源勘测、气象预报等军事与特定民事领域。连续波雷达又分为调频连续波雷达与未调频连续波雷达,其中简单的未调频连续波雷达只能对范围内目标进行测速,而调频连续波雷达可同时对范围内目标进行测距与测速,因而应用更广泛。
调频连续波雷达在扫频周期内发射频率变化的连续波形,频率受特定信号的调制,常用调频方式包括锯齿波调制、方波调制、三角波调制等,与其他雷达相比,调频连续波雷达具有如下优势[58]:
(1) 硬件结构简单
调频连续波雷达发射功率低,因此不需要较高的工作电压,低功率、低电压器件的使用,使得系统的硬件结构简单,重量轻、体积小、成本低,这些特点使得利用调频连续波雷达实现人体行为识别的商业前景较高。
(2) 极高的距离分辨率,无距离盲区
雷达的距离分辨率与雷达带宽成反比相关,调频连续波雷达根据硬件电路特点,比较容易产生高带宽信号,因而距离分辨率越精确。与脉冲雷达相比,调频连续波雷达的目标回波时延远小于发射信号时宽,因此不存在测距盲区,这对于近距离的人体行为识别研究具有较高的应用价值。
2.2调频连续波雷达工作原理
2.2.1 雷达测距原理
下图2.4是调频连续波雷达的简化系统框图[59]。这个框图中,合成器负责产生由发射天线(TX天线)发射的线性频率调制脉冲。脉冲的反射产生由接收天线(RX天线)捕获。混频器将RX与TX信号组合以产生一个中频(简称IF)信号。中频信号经由A/D转换器,变为数字信号
调频连续波雷达系统的发射频率随着时间的变化呈线性增长,图2.5(a)展示了线性调频脉冲的振幅时间函数。图2.5(b)展示了同一线性调频脉冲信号的频率时间函数,其中线性调频脉冲的起始频率为𝑓𝑐,持续时间为𝑇𝑐,带宽为B,频率的变化率同时也是该线性调频脉冲的斜率,用S表示。
第三章 基于机器学习模型的人体行为识别 ................................ 21
3.1人体行为动作描述 ...................................... 21
3.2回波数据预处理 ............................................... 23
第四章 基于卷积神经网络模型的人体行为识别....................... 34
4.1卷积神经网络的搭建 ............................................... 34
4.1.1 EfficientNet网络模型 ...................................... 35
4.1.2 VGG16网络模型 .............................................. 36
第五章 基于迁移学习的人体行为识别 ..................................... 43
5.1人体运动识别模型设计 .......................................... 43
5.1.1 迁移学习 ........................................... 43
5.1.2 模型框架 ......................................... 44
第五章 基于迁移学习的人体行为识别
5.1人体运动识别模型设计
5.1.1 迁移学习
在卷积神经网络训练的过程中,要想使得训练的模型具有良好的分类效果以及可靠的稳定性,需要包含足够量的数据集,本文利用雷达采集并制作数据集,属于小批量的数据集问题,因此考虑采用迁移学习方法来提升卷积神经网络的性能。
迁移学习(Transfer Learning)[74]指一种学习对另一种学习或习得的经验对完成其他活动的影响。它利用已有的知识,将其迁移到其他不同但是相关的问题中,用来解决新的问题。比如,专注于训练辨识狗的分类知识,被用来提升对于猫的分辨能力。由此,迁移学习可分为:基于样本的迁移学习、基于特征的迁移学习、基于关系的迁移学习和基于模型的迁移学习四种。
在图像分类领域,最长使用的迁移学习数据集是ImageNet数据集,它包含了1000多类,超过120万张不同领域的图像数据。虽然ImageNet数据集与本研究处理的调频连续波雷达数据集不同,但图像的浅层特证是通用的,例如图像的边缘、纹理、颜色等基础信息。因此本章本章拟用基于模型的迁移学习方法,将在ImageNet数据集训练好的网络参数移驾到新的模型,既避免了网络训练时间过长的问题,又提升了模型的泛化能力。
第六章 总结与展望
在这篇文章中,针对微多普勒特征提取以及机器学习分类的弊端,本文提出了一种新的雷达实现人体行为识别的方法。该方法的基础是根据距离多普勒算法产生以距离-速度为标轴的每一帧图像,本文提出了以逐帧积累的方式产生能够区分人体9种运动的轨迹。根据产生的特征图,本文首先比较了其与采用微多普勒时频分析法进行机器学习行为分类的效果,接着我们在雷达进行人体行为识别的方法中首次利用本文提出的逐帧积累的方法和EfficientNet模型来构建我们的整体架构,并在Efficient-B4模型中取得了最高的准确率。为了解决数据集过小的问题,我们将迁移学习与卷积神经网络相结合,研究了卷积神经网络与迁移学习对本文雷达识别效果的影响。我们同时验证了本文提出了方法比时频分析方法在利用卷积神经网络进行识别时效果更好。我们通过对已知个体和未知个体的9种人体行为识别验证了模型具有较高的泛化能力。
本文所解决的问题和主要工作如下:
(1)本文对利用调频连续波雷达进行人体行为识别的相关理论进行了介绍,首先讲解了调频连续波雷达及其硬件系统,接着对利用调频连续波雷达进行测距和测速的原理进行了分析,最后讲解了要进行人体行为识别常用的机器学习模型以及深度学习模型。
(2)本文选取了9种典型的人体行为作为研究对象,根据不同行为产生时雷达反射的回波信号不同,分别从时间域、距离域两个角度出发,对回波信号做时频分析处理以及基于帧积累的距离多普勒处理,得到时频分析图和帧积累的距离多普勒图。构建人体行为识别数据集,分别对其分别做基于PCA降维的特征提取方法,通过机器学习模型,进行人体行为的识别,验证了本文提出的方法的优越性,超越了时频分析法的准确率,实现了对人体行为的有效识别。
(3)由于在特征提取的过程中,会出现降维K值的经验选择以及步骤冗繁等问题,提出基于卷积神经网络的人体行为识别,使用高效的EfficientNet模型直接对本文提出的基于帧积累的距离多普勒热图进行识别,并在EfficientNet-B4模型中找到本文最理想的识别模型;与传统卷积神经网络进行比较,验证模型的分类效果,实验结果显示EfficientNet-B4模型的分类效果高于传统的VGG16模型和ResNet50模型;与采用时频分析法的模型进行比较,实验结果表明本文采用帧积累的距离多普勒方法在深度学习模型中识别效果更高。
参考文献(略)