本文是一篇计算机论文，本文设计适合于嵌入式设备的模型量小、算力较小、精度较优的主干网络，在主干网络中主要引入了一个Dense_Block结构。在特征提取时，Dense_Block结构能达到特征分流、扩大感受野、轻量化人脸跟踪网络的效果。
第1章 绪论
1.1 研究背景及意义
随着计算机软硬件的快速发展，嵌入式系统[1]的性能得到大幅度提升。嵌入式设备因其功耗小、价格低廉，实时性高、功能专一等优点越来越受到工业领域的关注，尤其是近几年兴起的人工智能领域。嵌入式系统是一种专业性很强的系统，通常代码固化，针对不同的任务进行设计，稳定性强且操作便捷。随着计算机视觉的发展，从经济的角度出发，嵌入式设备成为工业生产的首选。
视觉是人类认知世界的重要信息渠道，帮助人们与外界建立正常的信息交流，并做出正确的判断和决策。然而人需要正常的劳动作息，无法进行无休止的视觉任务处理。随着计算机科学的不断进步，计算机视觉应运而生。人们借助摄像头模拟人类视觉进行信息的收集，使用计算机模拟人脑对收集的图片进行检测、识别、跟踪等处理。目标跟踪技术作为计算机视觉领域的一个重要课题正在被广泛研究，人脸具备人类重要的生物属性特征，理所当然成为该领域的研究热点。人脸跟踪[2]是在视频或图像序列中确定某个人脸的运动轨迹及大小变化的过程。人脸跟踪是计算机视觉中的一个经典的目标跟踪问题，在视频智能监控[3]、增强现实（Augmented Reality，简称AR）[4]、无人驾驶[5]、人机交互[6]中具有广泛应用：
（1）视频智能监控
随着经济、社会、科技的发展，我国的安防紧跟智慧城市、智能交通的发展步伐，呈现智能化。截止到目前我国的一线城市和部分二线城市人均摄像头个数已经达100+（个/千人），且摄像头面积基本达50+（个/平方公里），据相关报道我国在未来三年公共摄像头将增加到6.26亿个。图1-1为常见的视频监控界面图：
1.2 国内外研究现状
1.2.1 嵌入式系统技术研究现状
近年来随着计算机软硬件的发展，嵌入式技术呈现信息化、智能化、网络化趋势。进入20世纪90年代，嵌入式技术全面发展。嵌入式设备因其能耗低、专一性强、稳定性好、实时性高等优点，目前已成为通信和消费类产品的主要应用领域。生活中的嵌入式高低端产品随处可见，小到一辆玩具车、电视等，大到国防领域的坦克、战斗机等，为我们的生活提供方方面面的便利。
目前，性能优越的人脸跟踪算法需要在带GPU的大规模的集群设备上进行神经网络训练和模型推理。基于这样条件下设计出来的算法存在模型量大、存储要求高、计算复杂度高等问题，无法在资源受限的嵌入式设备上进行部署，这就很大程度限制了嵌入式设备自主决策的能力，无法达到“边缘智能”[7]。采用云端部署的方式成为人脸跟踪技术应用的重要解决方案之一，嵌入式设备对收集到的数据通过互联网发送到云端服务器进行处理，最终将结果传输到嵌入式设备上进行结果输出，该方法有效解决算法的部署问题。与此同时，云端部署方式的性能与网络带宽和吞吐量密切相关，面对一些实时性要求高的应用环境，云端部署的方式并不能达到较好的效果。如何让嵌入式设备的自主决策能力有所体现成为解决该类问题的重要解决方案。在嵌入式设备中还可通过特殊芯片实现人脸跟踪技术，特殊芯片根据实际应用对通用芯片进行裁剪而来，经过特殊集成后的设备不易扩展、通用性差。因此设计模型小、计算复杂度低、实时性高的人脸跟踪算法成为解决嵌入式设备人脸跟踪算法部署的有效方法。
第2章 相关理论知识和方法
2.1 人脸跟踪概述
人脸跟踪即把人脸作为目标的跟踪问题，相比目标跟踪，特征结构被限定。近年来随着人工智能的发展，人脸作为身份识别的重要生物属性，在我们生产生活的方方面面都得到充分的运用，例如，刷脸支付、国家医保APP刷脸激活、机场和车站刷脸验票等[49]，便捷日常生活的同时有效避免因行业漏洞造成的资源破坏。智能化的生产应用不但能规范社会办事秩序还能优化社会服务质量。人脸跟踪与人脸检测、人脸识别息息相关，目前已有的人脸检测和人脸识别方法虽然在精度上已经达到各行各业的应用水平，但如何能达到高效的人脸任务处理水平依旧是该研究领域的热门研究问题。人脸跟踪一定程度上来说就是小范围的人脸检测问题。目前基于人脸跟踪的方法有传统的人脸跟踪方法和基于深度学习的方法，在传统的人脸跟踪方法中大多采用手工设计的特征进行人脸跟踪，常见的手工特征[17-19]有颜色特征、灰度特征、LBP特征、Haar特征等，传统的人脸跟踪方法虽然速度较快但是跟踪效果较差，难以达到实际应用水平；基于深度学习的人脸跟踪方法虽然在速度上略有降低但是精度较优，为加快基于深度学习的人脸跟踪算法的推理速度，构建轻量级卷积神经网络进行特征提取，结合人脸检测思想，出现了基于孪生网络的人脸跟踪方法，该方法把人脸模板和搜索区域采用相同的网络进行特征提取，经过网络特征提取后的人脸模板和搜索区域通过相关操作产生特征响应图，其中特征响应最大的位置即为人脸出现的位置。通过人脸检测与人脸跟踪的结合大大提升人脸识别、人脸特征比对的速度，便于在资源受限的设备上完成快速的人脸识别类任务处理。
2.2 卷积神经网络
2.2.1 深度卷积神经网络
卷积神经网络是一种深度较深的前馈神经网络[34]。一个普通的深度卷积神经网络一般由输入层、隐藏层、输出层组成。如图2-5所示：
图2-5中是一个普通的卷积神经网络，在网络中包含一个输入层、两个隐藏层、一个输出层。输入层则主要对原始图像进行一些预处理操作，具体可包括均值归一化、数据增强、随机裁剪、颜色变换、马赛克等；隐含层中主要包括卷积层、池化层、激活层和一些特殊层，且数量不定。卷积层和激活函数层是卷积神经网络中提取特征的重要组成部分。
第3章 快速人脸跟踪算法的设计.........................................16
3.1 人脸跟踪网络设计............................................16
3.1.1 主干网络结构...............................................16
3.1.2 Dense_Block结构.........................................16
第4章 嵌入式系统中人脸跟踪算法的实现和优化.....................22
4.1 系统资源....................................22
4.1.1 实验环境....................................22
4.1.2 数据集........................................22
第5章 总结与展望......................................58
5.1 研究工作总结.........................................58
5.2 不足与展望...................................59
第4章 嵌入式系统中人脸跟踪算法的实现和优化
4.1 系统资源
4.1.1 实验环境
在开发阶段为加快网络模型训练和迭代优化，嵌入式系统中的快速人脸跟踪算法在带有GPU的PC设备上进行设计和实现，在嵌入式设备rk3288开发板上完成实验测试。具体的实验平台如表4-1所示：
嵌入式系统中的快速人脸跟踪算法在实现上同时包含开发和测试两种环境，开发环境主要在Windows7 64位系统上。采用C++代码实现基于Caffe的深度学习框架，在深度学习框架中包含图像处理的Opencv库、GPU加速运算的CUDA库和CUDNN库。在Visual Studio2013软件中引入以上的库进行深度学习框架开发和人脸跟踪网络的设计、训练和优化。
第5章 总结与展望
5.1 研究工作总结
嵌入式系统中的快速的人脸跟踪算法是一种面向嵌入式系统的人脸跟踪算法。在不借助云端服务器和网络的条件下可在嵌入式设备端直接进行数据采集和实时处理，确保数据安全性的同时节约大量网络成本；与此同时，在人脸跟踪算法中通过软件弥补硬件的方式，最大限度增加人脸跟踪算法在嵌入式系统中的可用性和实时性，是一种极具性价比的人脸跟踪算法。本文以现阶段热门的深度学习人脸跟踪算法为指导，在基础之上，通过阅读大量文献并结合实验的方法，构建适合于嵌入式设备的人脸跟踪网络，并结合网络模型指令集等优化方法，最终致力于在嵌入式设备上直接进行人脸跟踪任务处理。为加速算法的设计和实现，在带有GPU的中高端PC设备上进行人脸跟踪网络模型训练和算法迭代优化，优化后的人脸跟踪算法在rk3288开发板上进行实际应用测试比较，详细的研究内容包括以下四个方面：
（1）本文设计适合于嵌入式设备的模型量小、算力较小、精度较优的主干网络，在主干网络中主要引入了一个Dense_Block结构。在特征提取时，Dense_Block结构能达到特征分流、扩大感受野、轻量化人脸跟踪网络的效果。Dense_Block结构由PeleeNet中Dense结构改进而来，我们在原始Dense结构上保持通道数不变，并使用3×3的深度可分离卷积代替普通的3×3的卷积，大幅度降低了Dense结构的算力和模型量；在具有两个3×3卷积的支路上，把第二个卷积替换成3×3的深度可分离空洞卷积，进一步增加特征网络的感受野。本文通过Dense_Block结构设计的人脸跟踪网络的模型量和算力分别仅为0.29M和0.58GFLOPs。
（2）为保证人脸跟踪性能且维持实时的在线人脸跟踪速度，本文提出了级联人脸定位搜索策略。在人脸跟踪网络中由于不同深度的特征性质不同，浅层特征具备更多的位置信息，而深层特征具备更丰富的语义信息。我们选择浅层的搜索特征和人脸模板特征进行目标人脸初定位，选取特征响应最大的区域作为深度特征人脸重定位的指导区域，通过卷积相关计算方法进行目标人脸初定位响应特征图的求解，通过余弦相似互相关计算方法进行目标人脸重定位响应特征图的求解，提升在线人脸跟踪精度的同时缩减算法推理时间。经实验比较本文提出的级联人脸定位搜索策略在仅降低6FPS的情况下人脸跟踪算法的平均人脸跟踪精度和跟踪面积重叠率分别提升1.40%、0.80%；
参考文献（略）