本文是一篇计算机论文，本文对当前网络环境下的虚拟网络功能迁移的问题以及SDN和NFV融合的动态路由算法进行了研究。研究背景建立在底层网络资源上，与传统的VNF迁移方式、路由规划方式相比，模型的建立更加复杂，算法效果更加明显，但仍存在进一步改进的地方。
第一章绪论
1.1研究背景和意义
随着物联网(Internet of Things，IoTs)的发展，不同业务对网络需求逐渐差异化。例如，实时自动驾驶通信的延迟需求几乎为零，在自动化制造领域中需要丢包率和时延标准降至最低，视频互联领域的网络需求则是更高的带宽。传统单制式网络只满足一种或其中几种常规业务需求，多种业务需求的网络则需要整合几种单一制式网络。以用户网络业务需求为出发点，对网络资源进行重构整合以实现网络智能自适应。提供针对性的网络服务是未来网络发展的一个重要的方向。
新网络理论技术的发展也促进了网络应用技术的进步，标志性的技术有SDN技术、VNF技术，这些技术在网络技术应用中发挥着举足轻重的作用。通俗理解，SDN网络架构是随着软件技术产生的全新网络架构，其核心思想是实现数据层与控制层面的分离，通过软件管理网络的方式，实现了网络灵活、动态、适应性的部署。同时，NFV技术的应用削弱了网络部署过程中对专用设备的依赖，网络环境可以部署在通用的网络设备上。因此，为满足多样性灵活组网业务的需求，SDN技术和NFV技术融合可构建动态可重构网络。
新一代网络技术的产生与应用，网络中接入越来越多的终端设备，产生了巨大流量和差异化的业务需求，传统一致性网络服务不再适用于如今的网络需求。诸如自动化驾驶领域强调通信的时延约束，视频直播通话领域强调通信带宽约束。因此传统网络架构[1]存在着许多问题：
(1)传统网络架构的资源配置与调度过于死板，缺乏自适应性、灵活性。传统电信业务部署在专属的硬件上，网络业务对网络硬件产生依赖。网络架构升级、改进流程更加复杂。
(2)传统的网络架构需要经过长期规划，当业务需求发生变化时，网络架构[2]的更新迭代缓慢。
1.2国内外研究现状
到目前为止，国内外关于网络业务流量分析、SDN技术及网络虚拟化技术的研究主要包括如下几个方面：物联网业务流量建模与分析、基于SDN和网络虚拟化的物联网体系架构，基于SDN和NFV的移动蜂窝网络、基于SDN和网络虚拟化的无线传感器网络等。近年来，物联网发展迅猛，在很多领域中应用广泛。由于M2M业务种类繁多，具有用户终端数量巨大且终端之间传输数据量小、会话持续时间短以及上行流量占主导等典型特征，明显区别于研究较为成熟的H2H业务，因此需要研究不同应用场景下的物联网业务流量统计特征，并基于此特征分析具体的网络性能。
目前，通信网络领域已经有诸多文献对上述问题进行了讨论，文献[3]提出一种基于SDN的WSN架构，定义了一个SDN控制器，用于将在WSN顶部运行的控制平面与传感器节点中实现的数据平面解耦。缺点是传感器在处理和存储能力方面极其有限，不一定能够支持较复杂的可编程性要求。
文献[4]提出一种称为SD-WSN的框架，将WSN划分为由执行分组转发的传感器组成的数据平面和对传感器进行控制和监视的控制器。网络数据层与网络控制层两者之间通过传感器开放流(Sensor open flow，SOF)进行通信。
基于该3GPP业务模型，文献[5]为承载M2M业务的GSM/GPRS网络建立接入强度受Beta分布调制的复合泊松过程，文献[6]设计了M2M终端到达速率受Beta调制的MMPP2仿真模型，两者均在一定程度上体现了M2M业务建模的精确性，成为较为通用的仿真模型。文献[7]将SDN引入无线传感器网络，传感器只依据流表进行数据的转发，不参与路由的决策，控制器下发流表，可以通过修改控制器下发的流表修改网络。
第二章相关技术和原理
2.1网络功能虚拟化技术
2.1.1 NFV概述
当今的网络功能主要由专用硬件网络设备构建而来，例如路由器上部署的防火墙协议、网络负载均衡器。各种智能终端设备的出现又促进了专用网络设备的发展。网络业务需要多个专用网络设备的支持，因此新业务开发与已有业务的更新有很大的难度，不仅要克服网络设备之间的兼容性问题，还要考虑网络搭建成本的问题。
随着网络业务类型及数量增长，网络运营者需对网络架构进行不断地更新升级。随着云计算与虚拟化技术走向成熟，网络功能虚拟化技术应运而生。NFV技术实现了网络灵活性、可拓展性的部署，提升了网络架构资源的利用率，降低了网络部署的时间成本。NFV将硬件网络设备抽象成线上网络资源，通过SDN技术对网络资源进行计算、存储、迁移。降低了网络与专用硬件设备之间的关联性，不再需要部署专用网络设备，使用通用网络设备即可有效地替代。同时通用网络设备的部署应用可有效降低专用硬件设备投资成本。
NFV网络可依据网络需求，对网络架构进行动态构建，不再需要重新移动、部署网络设备。针对定制化业务需求，仅仅重新进行SFC的构建就可实现。将特定功能属性的网络节点按照一定逻辑顺序进行排列，构成网络功能服务链，将SFC实例化就可以实现特定需求的网络功能。NFV网络架构如图2.1。
2.2软件定义
网络软件定义网络(Software Defined Network，SDN)是斯坦福大学首次提出的网络技术，数据面与控制面分离是其重要特征，该技术推动了通信网络技术的发展。
2.2.1软件定义网络概述
以SDN技术为基础搭建的新型网络架构与传统的网络架构形成了鲜明对比。传统网络架构下，路由器如需改变网络资源供应方式，须在路由器上部署相关协议才能实现。SDN网络架构下，通过软件编程，以控制与执行分离的方式集中管理控制网络资源，该技术本质上消除了传统的路由协议部署方式。网络资源的调度、流量传输路由、安全协议等均可以由SDN控制器运行应用程序进行部署。
软件定义网络架构图如图2.4，其架构分为三层：数据层、控制层、应用层。最上层为应用层，该层由北向接口与网络中层进行交互，应用层含有较多网络应用。中层为控制平面，由SDN控制器实现网络控制的功能。控制层通过南向接口与数据层进行交互，网络资源感知是控制层面主要业务。控制层面经过南向接口下发路由器的配置协议，当前最成熟的南向协议为OpenFlow协议。最底层即数据层，该层主要包括通用网络设备，其作用是网络协议的下发及数据包的转发。
第三章基于带宽资源感知的虚拟网络功能自适应迁移算法.............................19
3.1引言...............................19
3.2 NFV场景下的VNF迁移.........................................19
3.3 VNF迁移模型及优化问题.......................................20
第四章基于多臂老虎机的动态路由算法研究.....................................38
4.1引言...............................38
4.2系统模型..........................................40
4.3基于多臂老虎机的动态路由算法..................................42
第五章总结与展望...........................54
5.1总结.....................................55
5.2展望.....................................55
第四章基于多臂老虎机的动态路由算法研究
4.1引言
在多样化的网络业务条件下，一边进行网络资源感知一边进行动态路由规划成为当今路由规划问题中的关键。以SDN技术、强化学习技术为基础进行网络路由规划的研究有许多，网络路由研究的类别包括对网络服务类别、路由规划决策、SFC功能调度、网络资源约束优化等。
对智能动态路由进行研究的文献有很多，文献[49]针对Opp-Nets,提出了改进机器学习(machine learning，ML)算法的PROPHET路由方案，该改进算法通过路由器转发带宽、流量的速度、流量的位置等因素进行网络路由的规划。其仿真实验结果显示ML-Proph算法对节省路由缓冲时间以及缓冲占用值代价具有一定的效果。
传统CDN缺少动态路由规划能力，文献[50]针对CDN，引入了一种新的动态基于软件定义网络的内容分发网络架构以及一种基于MPC的模型，该算法可以进行网络服务器以及路径的选择规划。其文献仿真显示新算法在路由响应时间及带宽满意度方面比现有路由算法有一定时间优势。
流量分配问题的提出的目的是以该问题为例减路由少旅行时间。在此类研究文献[51]中，引入了两种多代理Q-learning算法：(1)基于流量分发的强化学习算法；(2)基于分配路径的强化学习算法。在文献[52]中，针对于TAP问题，该文献从驾驶员的角度进行问题分析。运输的过程中可能会出现多种问题，例如：运输中代理的规模过大，一部分重要的代理必须替代另一部分代理进行决策行为；运输中使用网络拓扑进行空间搜索。
第五章总结与展望
5.1总结
本文针对NFV网络环境下VNF迁移资源负载均衡算法及SDN动态路由算法做了一定的研究。首先，针对NFV场景下中会产生业务负载失衡的问题，针对性地提出了一种基于带宽资源感知的VNF自适应迁移算法。其次，为了实现动态智能、可定制的SDN路由规划和流量管理问题，文章中提出了一种基于多臂老虎机的动态路由算法。该算法与传统路由算法相比，在提升网络链路资源利用率，平衡网络链路传输时延方面有一定优势。针对上述研究内容，本文主要做了以下工作：
(1)NFV网络环境中，为解决网络负载失衡问题，文中提出了基于带宽资源感知的VNF自适应迁移算法，该算法融合了动态资源感知RAIL、多目标决策TOPSIS、预计算与实时计算等算法。使用动态资源感知RAIL算法实现了迁移算法对网络环境中资源动态感知，为进行迁移决策做好了准备。引入多目标决策TOPSIS算法作用是：基于VNF的节点资源需求以及服务功能链的端到端约束，多目标决策算法可以衡量多类资源约束要求，实现了整体网络资源的负载均衡。通过设定预计算机制可降低迁移实时计算开销，同时保证低迁移次数。仿真实验证明，在VNF迁移中，基于带宽资源感知虚拟网络功能自适应迁移算法解决了网络负载失衡的问题，同时有效地降低了网络迁移成本。
(2)传统路由算法存在无法实时感知网络资源状态及时做出有效路由决策等缺陷。将强化学习的MAB算法应用到SDN的路由规划问题，在建立马尔科夫决策过程中，多臂老虎机模型的奖励函数包括了时延、带宽、数据丢包率等重要的参数，根据MAB算法提出MAB-routing路由算法，与传统的路由算法(Dijkstra路由算法、Q-learning路由算法)相比较，仿真结果显示，MAB-routing路由算法有效提升了链路利用率，平衡链路的带宽、时延等重要资源，从而保证网络QoS。
参考文献（略）