本文是一篇计算机论文，本文设计的基于UCB策略的Q学习节点发现策略是一种使用了强化学习算法的节点发现策略，对于节点的运算能力要求较高，路由器节点所自带的处理器对于运算要要求还达不到，并且运算处理所需电量要求较高，不利于节点的节能。
第一章 绪论
1.1研究背景及意义
随着5G时代的到来，无线自组织网络(Wireless Ad Hoc Networks)的应用愈加广泛[1]，在工业生产、应急救援和军事等方面，因无线自组织网络在通信过程中无需修建基础设施，能快速实现节点间的组网与路由传输功能，同时还能应对各种复杂的自然环境下的网络接入问题，从而成为高校和研究人员的研究热点[2]。无线自组织网络又称无线Ad Hoc网络[3]。
但是随着节点密度的增加，节点的发现效率会降低，并且传统的单信道通信的问题也随之凸显，比如带来信道间的干扰、隐藏节点问题、传输效率低下、多径干扰等问题[7-15]。无线Ad Hoc网络中节点配置多个收发器和多个频点，可以有效解决以上问题，比如节点配置了2.4GHz频段的天线和5GHz的天线，这样节点可以利用多个信道进行通信。多信道技术可以提高无线Ad Hoc网络的吞吐量，同时降低信道之间的干扰，网络的通信效率大大提高。因此多信道接入技术有效解决了节点密度增加、频谱资源限制、大容量业务传输等问题。此外，多信道接入技术降低节点间通信冲突的发生，提高了网络的灵活性，而多信道接入技术中的关键就是为不同的节点分配合理的信道资源，保证每个节点通信的正常进行，因此本文研究的目的之一就是在使用多收发器的无线Ad Hoc网络中，网络节点能够根据当前的通信环境自行配置合理的信道资源，完成高质量的通信。
与常规的无线Ad Hoc网络相比多收发器无线Ad Hoc网络的优点如下：
①抗干扰能力强[4]。节点因为配有多个收发器，多个频点，信道的选择范围增加，不同的节点选择不同的信道进行数据传输，可以有效避开信道之间的干扰。整体的信道通信干扰也会大大降低。
②通信能力强[4-5]。节点配置多个收发器，因此提高了节点的数据传输能力，并且不同GHz的频点，其信道的穿透能力也会不同，可以选择高穿透率的频点进行通信，提高了信号覆盖范围。
③流量负载均衡。与传统无线Ad Hoc网络相比，多收发器的无线Ad Hoc可以充分地利用网络的信道资源，将数据分散传输，降低了数据拥塞的发生概率，使流量负载均衡，提高了信道的资源利用效率。
1.2国内外研究现状
带有多个收发器多个频点的无线Ad Hoc网络提高了网络通信的性能，但是对高密度的无线Ad Hoc网络节点发现和多信道的资源分配带来新的挑战，科研人员针对邻居节点发现和多信道的分配技术进行了大量的研究[15-17]，本文针对以上两个问题进行相关技术的研究，对邻居节点发现算法和多信道分配算法进行总结，并梳理了其优点与缺点。
1.2.1 节点发现技术研究现状
按照工作方式和结构的不同可以将节点发现技术划分为三类，如图1.1所示。第一类是根据天线结构的不同，将节点发现技术划分为全天线的节点发现技术和定向天线的节点发现技术。第二类是根据节点发现时间的收敛性划分，将节点发现技术划分为基于概率的节点发现技术和确定性节点发现技术。第三类是根据节点内部时钟工作类型，将节点发现技术划分为同步时钟的节点发现技术和异步时钟的节点发现技术。
根据天线物理结构的不同，可以将节点发现技术划分为使用全向天线的节点发现技术和使用定向天线的节点发现技术。全向天线在工作过程中向周围所有节点发送信号[18]，典型的全向天线发现算法是载波监听多点接入技术[19]和时分多址技术[20]，由于使用全向天线的节点物理结构简单，节点信号传播距离短，信道之间容易干扰，同时向周围所有节点发送信号造成了大量的能量浪费，所以全向天线的节点发现技术仅适合低密度、小范围的单一场景无线Ad Hoc网络。而使用定向天线的节点将天线的发射范围划分为不同的扇区，每次仅在一个扇区方向上发射信号，所以能够有效地降低信道间的干扰，同时也可以节约能，因此能够更好地适应高密度、大范围、运动性的无线Ad Hoc网络，因此使用定向天线的节点发现技术成为研究的热点。
第二章 Ad Hoc网络的相关技术概述
2.1无线Ad Hoc网络
2.1.1 无线Ad Hoc组网关键技术
无线Ad Hoc网络系统主动发现新加入的节点，并且保证节点间的数据传输业务正常进行需要一系列相关技术来支持，其中最关键的技术有：邻居节点发现技术、网络拓扑控制技术、路由技术和资源控制分配技术[40]。这几项技术之间的关系如图2.1所示。邻居节点发现技术发现节点并将其加入网络系统中，同时为网络拓扑控制提供相关的节点地理位置信息，拓扑控制技术为路由技术提供相应的链路支持。
(1)邻居节点发现技术
邻居节点发现技术是无线Ad Hoc组网的第一步也是关键一步，独立的节点利用邻居节点发现技术寻找范围内的相邻节点，并且同时获得当前节点的一跳链路信息以及节点状态信息表。
(2)网络拓扑控制技术
网络拓扑控制技术通过处理节点状态信息表里的信息，形成相应的拓扑信息并建立拓扑信息表，然后利用相关算法对网络拓扑结构进行优化，降低网络的冗余，同时降低节点维护拓扑信息的负担。在无线Ad Hoc组网中拓扑信息控制技术具有承上启下的作用[30]。
(3)路由技术
路由技术主要可以划分为三种类型：主动式路由、被动式路由和混合式路由。在主动式路由中每个节点都会主动构建自己的路由信息表，从而可以快速建立路由路径；在被动式路由中，仅当节点获得路由需求时才会根据当前需求建立本次路由的信息表；混合式路由结合了主动式路由和被动式路由的特点，节点首先主动获得局部范围内的路由信息表，当需要局部范围外的通信需求时，才会获得局部范围外的路由信息表。在无线Ad Hoc网络体系中不同的路由方式会导致不同的组网方式间的差别[41]。
2.2定向天线节点发现技术相关理论
2.2.1 定向天线的分类
根据定向天线的种类可将Ad Hoc网络天线分为两种：传统定向天线、智能定向天线[44]。如图2.7所示，在传统定向天线中可以改变天线结构和天线方向来实现天线波束汇聚和改变。但是传统定向天线波束切换速率低，与本文研究不符。智能天线可以改变信号幅度与相位获得不同的波束的传播方向与传输距离，成为定向天线的研究热点。根据不同的波束切换方式将智能天线分为波束切换天线和自适应波束天线。
(1) 波束切换天线
在波束切换天线中，波束覆盖面被平均分割为多个扇区，每个扇区对应相对的主瓣波束，主瓣波束依次扫描每个扇区，选择当前扇区其波束能量将汇聚于当前主瓣。如图2.8所示，在信号接收和发送过程中，天线自主激活选择扇区，由于无法感知接收信号方向，两节点的通信实现需要波束方向相对且发送/接收状态相同。波束切换天线在工作过程中会存在扇区对准问题，但是实现简单，成本低，适合大规模应用。
(2)自适应波束天线
自适应波束天线通过感知信号的到达方向(Angle of Arrival，AOA)，利用波束自适应选择算法调整波束方向，将主瓣波束方向对准发出信号的节点方向。
在自适应波束天线工作过程中，无须划分工作扇区，处于接收状态的节点会自动根据目标节点位置调整波束方向，从而完成通信过程，自适应波束天线解决了波束对准问题，但是实现困难且成本较高，不适合大规模应用。
第三章 基于强化学习的节点发现算法分析与设计 ................................ 17
3.1问题描述 .................................................... 17
3.2建立系统模型 ................................................ 17
第四章 基于信道质量和负载均衡的多信道分配策略 .................................. 27
4.1问题描述 .............................................. 27
4.2信道质量排序算法 ...................................... 27
第五章 多收发器无线Ad Hoc网络系统实验与评估 .................................. 36
5.1多收发器无线Ad Hoc组网系统的设计 ................................... 36
5.1.1 无线网络节点的设计 ............................................... 36
5.1.2 系统工作流程 ............................................ 37
第五章 多收发器无线Ad Hoc网络系统实验与评估
5.1 多收发器无线Ad Hoc组网系统的设计
5.1.1 无线网络节点的设计
本次实验搭建了包含六个节点的无线Ad Hoc网络系统，其中节点路由器的型号为TP-Link并且具有2.4GHz和5GHz两个频段。多收发器无线Ad Hoc网络系统的节点有两种类型：中心处理节点和普通节点。在中心节点中由于本次实验对于路由器的计算能力有极高的要求，所以通过为路由器外接树莓派处理器的方式来提高路由器的计算能力。图5.1展示了经过修改后的路由器的实物图。
多收发器无线Ad Hoc网络普通节点是路由器TP-Link TL-WDR 4310，该路由器有三根天线组成，具有2.4GHz和5GHz两个频段组成，并且可以通过shell命令连接路由器的系统进行信道的控制。
第六章 总结与展望
6.1本文工作总结
随着我国互联网技术的不断发展，以及从4G技术到5G技术的迭代升级，网络用户呈现出井喷式发展的趋势，同时在互联网上的数据传播并发量和传播内容也随之增加，为了应对日益增长的网络可靠性要求，本文可以通过优化无线网状网络的通信性能和提高网络的通信容量来进行有效地应对。因此这让本文研究无线网状网络的组网技术在日常生活中显得尤为重要。现在针对本文章做的主要工作和研究内容进行总结：
(1)提出了一种基于UCB策略的Q学习的节点发现算法，该算法将网络中的节点看作独立的智能体，由于值函数的估计偏差以及定向组织网络的非平稳性，使用贪婪策略只会选择具有最大值的动作，不能很好的考虑次优行为，并且造成邻居发现过程的不会收敛。使用UCB策略衡量非贪婪行为成为最优行为的可能性，并且优先选择最有可能成为最优行为的行为来进行节点发现的动作，最后通过仿真实验对比了基于UCB策略的Q学习算法、SARSA、Q(λ)、SARSA(λ)和完全随机算法在仿真条件下的性能。结果显示与完全随机算法相比，基于UCB策略的Q学习算法时邻居发现时隙减少约10%，使用其他强化学习算法时隙减少约5%。并且在节点密度高、节点移动速度慢的网络中，基于UCB策略的Q学习节点发现算法的效率提升幅度更大。
(2)提出了一种基于信道质量和负载均衡的信道分配算法，该算法综合考虑描述信道质量的多种指标，将获取到的信道状态信息根据多属性决策的方法进行排序，获得可用的信道列表，然后根据信道的负载状况，使用蚁群算法对可用信道列表里的信道进行筛选，从而获得可分配的信道。然后利用NS-2仿真平台，对本文设计的MAMAC协议进行仿真，并从网络吞吐量、传输时延和丢包率三个方面与常用的单信道SMAC协议和多信道MMAC协议进行对比。通过对比结果可知本文设计的MAMAC协议在网络吞吐量和传输时延性能等方面比SMAC和MMAC协议有较大的优势。
参考文献（略）