本文是一篇物流论文,本文重点研究货物数据集的构建、目标算法分类得分与定位精度相关性差、样本不平衡和特征不对齐等关键问题。
1绪论
1.1研究背景
根据中国物流与采购联合会的统计数据(表格11),从2007年到2019年我国社会物流总额从75.0万亿元增长到了298.0万亿元,仅用12年时间,增长了将近4倍,并且近年来仍以每年6%左右的速度增长。同时,我国的物流总费用与GDP的比率从18.4%降低到14.7%,说明我国物流行业的效率在不断地提升。但是,美国的社会物流总费用与GDP的比率自2009年以来就保持在8%左右,我国2019年的物流总费用与GDP的比率要比美国高出至少6%,说明我国物流行业的效率依然较低。
1.2相关技术国内外研究现状
物流场景下箱型货物检测是实现物流系统自动化、信息化、智能化的基础技术之一,近年来,随着国内外物流行业的快速发展,箱型货物检测技术得到了快速的发展,形成了多个不同的技术路线。与此同时,随着大规模数据的构建、算力的提升和深度学习理论的发展,目标检测算法实现了由基于人工特征的传统目标检测算法到基于深度学习的目标检测算法的转变,目标检测算法的性能得到了大幅提升,并成功应用于大量的实际场景中。本节主要对箱型货物检测技术,目标检测领域的大规模图像数据集和目标检测算法进行简要的综述。
1.2.1箱型货物检测技术研究现状
现有的箱型货物检测技术可分为:人工辅助的半自动货物检测技术、基于RFID的货物检测技术、基于3D激光雷达的货物检测技术、基于视觉的货物检测技术。
荷兰公司Copal的卸货装备Copal Handling System[1]采用人眼辅助的货物定位系统,在机械手末端安装相机和起标志作用的激光装置,相机实时传输货物视频到工人面前的显示面板,工人根据照射在货物表面的激光位置,确定货物抓取位置,然后人工操作机械手抓取货物。该设备的货物检测系统严重依赖工人视觉的判断,容易引起工人的疲劳和出错。
射频识别技术RFID[2]可应用于实时定位,测量RFID读写器和RFID标签之间的距离。荷兰TEUN公司的装卸车机器人PIQR构建了基于RFID的货物检测系统,在移动底盘前端安装3个RFID读写器,测量贴有RFID标签的货物与三个RFID读写器之间的距离[3,4],从而计算出货物的三维空间坐标。该方案虽然可以提供较高的货物定位精度,但是只能用于检测贴有RFID标签的箱型货物,RFID标签成本高,在物流中应用不普遍,限制了该方案的应用范围。
2密集箱型货物数据集构建
2.1引言
密集箱型货物数据集能够为箱型货物检测算法的研究提供算法性能评估基准,是推进箱型货物检测算法研究和应用的重要基础。但是到目前为止,学术界和产业界还没有公开的物流场景下的密集箱型货物数据集,不利于箱型货物检测算法的研究和应用。因此,本章构建物流场景下的密集箱型货物数据集,以推动箱型货物检测算法的研究和应用。数据集的构建一般包含数据搜集、数据清洗、数据标注三个主要步骤,因此本章将从这三个方面构建箱型货物数据集,并对数据集的统计数据进行分析。本章的主要内容包括:2.2节对箱型货物图像的搜集进行介绍;2.3节对箱型货物图像的清洗规则进行介绍;2.4节对箱型货物图像的标注规则进行介绍;2.5节对构造的箱型货物数据集SCD的统计分布和特点进行介绍。2.6节对本章内容进行总结。
2.2箱型货物图像搜集
实际物流场景中的箱型货物检测环境(如卸货、拆垛、货物存取等任务场景)比较可控,具备以下特点:(1)相机视野中不包含过多的复杂干扰背景,如行人、叉车、货架等干扰背景;(2)相机视野中的箱型货物尺寸彼此近似,且不存在尺度过小的箱型货物;(3)大多数作业场景中均为密集堆叠的箱型货物;(4)相机拍摄的视角相对比较固定,不存在急剧的变化,比如从堆叠货物各个不同角度进行拍摄。因此,实际工程应用要求箱型货物检测模型能够较好地处理满足该特点的场景。为此,搜集箱型货物图像时,搜集到的箱型货物图像也应该具备以上特点,保持与实际任务场景的需求一致。
我们通过两种方式搜集箱型货物图像:(1)通过互联网,利用爬虫技术搜集箱型货物图像;(2)在大型物流场所,通过智能手机的相机拍照搜集箱型货物图像。互联网搜集的箱型货物图像与实际任务场景的需求差异比较大,能够满足上述特点的货物图像比较少。为了通过互联网搜集到尽量多的货物图像,对于互联网上搜集的箱型货物图像不要求严格满足以上特点。因此,互联网搜集的箱型货物图像主要用于对目标检测模型进行预训练。在大型物流场所搜集的箱型货物图像要尽可能具备上述特点,满足实际任务场景的需求,该部分箱型货物图像主要用于对目标检测模型进行微调,保证得到的箱型货物检测模型在实际任务场景中具备较高的性能。
3基于定位精度加权的损失函数.............................(27)
3.1引言.............................(27)
3.2传统损失函数的不足........................(27)
4基于定位精度预测的目标检测模型............................(51)
4.1引言.................................(51)
4.2基于定位精度预测的目标检测模型...................(51)
5基于GGIoU的均衡化学习策略...................................(65)
5.1引言...................................(65)
5.2传统IoU的不足...................................(65)
6检测算法与视觉检测系统集成与测试
6.1引言
我国物流行业规模发展迅速,但是效率依然比较低下。采用智能物流技术提升我国物流行业的自动化、信息化、智能化水平是提高我国物流行业效率的重要手段之一。箱型货物检测技术是一项的重要的智能物流技术,可广泛应用于卸车、拆垛、仓库货物存取等大量物流作业任务中。因此,我们基于大规模密集箱型货物数据集SCD和目标检测模型改进算法,使用RGBD相机设计了一套物流场景下通用的箱型货物视觉检测系统,实现数据集、目标检测算法与视觉检测系统的集成,并应用于智能装车卸车移动机器人。本章的主要内容如下:6.2节介绍具有高定位精度的箱型货物检测模型的构建方法;6.3节介绍箱型货物视觉检测系统;6.4节介绍智能装车卸车移动机器人及箱型货物视觉检测系统在该机器人上的测试;6.5节对本章的内容进行总结。
7总结与展望
7.1全文总结
箱型货物检测算法的研究面临缺乏箱型货物数据集、目标检测算法的定位精度无法满足物流作业任务需求等问题,本文针对上述问题开展研究,重点研究货物数据集的构建、目标算法分类得分与定位精度相关性差、样本不平衡和特征不对齐等关键问题。本论文的创新点总结如下:
(1)构建并公开了业内第一个物流场景下的大规模密集箱型货物数据集SCD,解决了业内缺乏公开的大规模密集箱型货物数据集的问题。箱型货物数据集SCD具有规模较大、多样性较丰富、货物密集堆叠摆放、货物实例标注质量高等特点,为箱型货物检测算法的研究提供了重要的评估基准,推动箱型货物检测算法的研究和应用。
(2)提出了基于定位精度加权的损失函数,解决了损失函数相互独立导致的分类得分与定位精度相关性差、定位损失的梯度被异常样本主导的问题。基于定位精度加权的分类损失可引导模型为定位精度较高的检测框学习到较高的分类得分,为定位精度较低的检测框学习到较低的分类得分,从而提高检测框的分类得分与定位精度的相关性。基于定位精度加权的定位损失可抑制定位损失中异常样本的梯度,提高容易样本的梯度。在箱型货物数据集SCD和通用物体检测数据集上的实验表明,该方法可在不损害推理速度的条件下,大幅提高箱型货物检测算法的定位精度,且在通用物体检测任务上具有良好的泛化能力。
参考文献(略)