基于深度学习的煤矸石在线识别定位探讨与设计

本文基于煤和矸石的图像差异现象，提出使用深度学习的方法进行煤和矸石的在线检测的研究，本文研究的具体内容如下。通过单反相机，工业相机以及高拍仪等图像采集设备进行煤和矸石的图像采集，并使用专业图像标注软件，将图像中的多个煤或矸石的位置以及所属类别标注出来，生成以供后序深度学习网络的使用的数据集。

第 1 章 绪论

1.1 研究背景及意义
1.1.1 研究背景
煤炭作为我国长期以来乃至目前最主要的能源，虽然经过科学研究人员的不断创新，有很多的绿色能源逐步的从研究室中走入人们的生活中，为人们的日常生活提供所需的电能。但是从能源的储存量，可控性和产能效率等诸多因素，煤炭供能的方式依旧作为目前的首选。从下图中可以看到，2018 和 2019 年的发电量占比图可以得知，就目前国内的能源行业发展而言，对煤炭的依赖依旧是最大[1-2]。 由于我国地质结构较为复杂，造成了煤存在的环境特殊，其中我国煤炭多数存在与地下而不像国外存在大量的露天煤矿，这就导致了一个不可避免的采矿安全问题。虽然经过科技的飞速发展，在井底开采的工作人员拥有较为先进的开采机械作为辅助，可以较大程度的降低井下工作人员人数和提高开采效率。即便如此，据统计，2018 年我国百万吨煤的开采过程中的工作人员死亡率为 0.09，首次降低到了 0.1 以下，但与采煤技术发达的澳大利亚和美国近几年死亡率的 0.01和 0.04 相比较，还是具有较大的差距[3]。这与一些地区和企业没有正确认识经济发展和安全生产关系，安全发展意识不够强有很大的关系，但是这也在一定方面反映出了煤炭开采过程中的开采技术装备水平普遍不高，以及从业人员素质较低等客观因素。由此可知推进自动化开采技术的发展和普及，可以进一步的降低井下作业人员数，更近一步的靠近“安全零死亡，追求零伤害”的目标以及完成将高危产业向安全产业的转换[4-6]。
........................

1.2 国内外研究现状
煤矸检测技术是推动自动化煤炭生产技术发展的核心，而又因为煤炭能源在全球的存储量以及该种能源供能可控性的诸多优点，所对相关技术的受到了国内外很多的研究人员的关注。对于煤和矸石检测技术的研究主要是从煤和矸石的物理性质或者是化学性质作为学科基础方向进行研究，其中在诸多的研究中较为成熟的技术包括射线检测法，硬度检测法以及震动检测法等。
射线检测法中较为成熟且使用较多的是人工双γ射线，该方法是于 1985 年由Watt 所提出并成功应用到煤和矸石生产实践中去。射线探测的原理是依据煤和矸石对γ射线的反射能力的不同所产生的差异这一特性所达到的识别目的[17]。γ射线检测煤和矸石的方法具有较强的探测能力，该方法不仅可以有效的辨识出煤和矸石的类别，同时也可以得知煤或矸石层的厚度，抗干扰能力较强。但是射线具有较强的辐射性，不仅在探测器本身，而且在开采出来的煤或矸石上依旧有一定的辐射残留，这就导致了后续选煤阶段中工作人员人身健康问题，并且挑选出来的矸石处理也是一个较大的问题。除了人工双γ射线外还包括了自然γ射线和 X射线，但是这两种射线除了具有辐射的副作用外，还具有较低的泛化能力，不能很好的适应我国的复杂地质生产出的多类型的岩层，另外两种射线所需要投入实践作业的设备要求过于精密，昂贵，而操作也具有一定的安全隐患，这就导致了射线探测相关技术应用在我国实际生产中的成功样例并不是很多[18-22]。
............................

第 2 章 煤和矸石图像数据集组建

2.1 样本采集
对于煤和样本的选择主要是来自河北省峰峰矿区，其中主要包括了煤和矸石各 300 个样本。在挑选形态上有一定的差异性，这是为了避免在进行样本的图像采集时产生重复的图像，另外将所采集的样本分别放置在样本盒中，方便图像采集时挑选，样品集合如下图所示。 ........................

2.2 图像采集平台搭建
为了能够建立高质量的煤和矸石图像数据库，进一步推动后续的自动化选捡技术的研究的进行，在完成样本采集完成后需要使用图像采集设备对样本进行图像采集并组建对应的数据库。本次课题研究中所采用的图像采集设备主要是由高清单反相机以及不同规格的工业相机所组成，其中单反相机为佳能 D600，而工业相机则包括 Basler 的 FL-CC0814A-2M 型号的两种分辨率和帧率的相机。其中高帧率低分辨率的为 scA720-520uc，该款相机所拍摄的照片或视频的分辨率为720，而拍摄的视频数据为 520 帧，对应的低帧率高分辨率的相机为 scA4024-29uc则是可以拍摄到高达 4024 分辨率的图像数据或者是视频数据，而对应的视频则只有 29 帧，最后一种图像采集设备是中等分辨率的高拍仪，之所以采用不同的相机进行图像采集任务，是为了应对实际生产环境中所采用的不同规格的相机所采集到的图像数据的变换。
最后需要说明的是在进行拍摄策略安排上是使用高清单反相机和高拍仪进行拍摄图像数据，其中单反相机在较远距离上密集目标拍摄具有大的优势，但在拍摄少量对象时，拉近镜头所拍摄的效果并没有高拍仪好，所以采用高拍仪这种固定的拍摄仪器进行拍摄近距离的较少目标的图像。最后需要对工业相机进行说明的，工业相机是最贴近于实际生产环境的图像采集设备，但是如果在采集图像数据样本用于训练是会导致一些像素特征的丢失，虽然实际生产中的拍摄设备并不会有很高的像素，但是在实验训练中要尽可能的取到煤和矸石图像的最多的视觉特征，这样得到的检测框架才能够具有较好的泛化能力，另外工业相机拍摄主要用于后续的测试数据集的构建以及测试视频数据的构建，这样就可以保证训练得到的模型更可能的贴近工业需求。
........................

第 3 章 图像处理技术研究.................................13
3.1 图像金字塔....................................13
3.2 几何变换图像增强技术....................................14
第 4 章 目标检测技术研究....................................33
4.1 基于机器学习的传统检测算法......................33
4.1.1 特征提取算法.........................33
4.1.2 分类算法....................................34
第 5 章 检测网络设计与训练.................................55
5.1 分类器网络改进与训练.........................................55
5.1.1 MobileNetV3 模型.....................................55
5.1.2 构建 MobileNetV3-CBAM 网络模型..................................57

第 5 章 检测网络设计与训练

5.1 分类器网络改进与训练
5.1.1 MobileNetV3 模型
MobileNetv3 网络也是一种 CNN 网络[71-73]，但其结构完全打破了传统卷积的计算方式，主要由 MobileNetV3 模块所组成，包括深度可分离卷积层，点卷积层，逆参差块和通道注意力 SE[74]模块，结构如图 5-1 所示。

...........................

结论

煤炭资源作为我国能源行业的支柱存在，但由于我国地质结构复杂，开采环境多变，导致了开采过程中所产出的原煤中经常混入一些燃点很高的矿石，称为煤矸石，该种类型的矿石混入在煤中，会在煤燃烧供能过程中严重降低供能效应，另外由于矸石的化学结构中含有大量的硫化物，这就导致了矸石在高温情况下会产生大量的有毒气体以及大量的重金属污染物，而未燃烧尽的矸石在后期处理中会对同样也会对土壤造成污染。所以为了降低煤中的矸石含量，需要在煤开采出来之后进入选煤厂进行选煤，而目前选煤厂中所采用的选煤方式大多主要采用的是人工选捡，以及会产生大量水污染或声污染的传统选煤方式，所以为了绿色环境和工作人员的人身安全，本文基于煤和矸石的图像差异现象，提出使用深度学习的方法进行煤和矸石的在线检测的研究，本文研究的具体内容如下。
通过单反相机，工业相机以及高拍仪等图像采集设备进行煤和矸石的图像采集，并使用专业图像标注软件，将图像中的多个煤或矸石的位置以及所属类别标注出来，生成以供后序深度学习网络的使用的数据集。
针对煤和矸石特殊环境下会存在大量的影响因素会导致常规的煤和矸石的图像数据产生一定的变化，所以对数字图像处理技术进行研究，主要针对后续网络训练过程中所涉及图像金字塔技术，几何变换技术，图像模糊和锐化，对比度调整，噪声图像增强技术，以及目标检测任务中最新的 mosaic 和对应常规几何变换技术所带来的锚框变换的相关技术进行研究。通过以上数字图像技术的研究，可以对现有的图像数据集进行增强，降低深度网络的对一些位置，光照因素的敏感度，从而达到提升网络的泛化能力和鲁棒性。
参考文献（略）