本文是一篇高校毕业论文，本文通过对现有方面级情感分析方法的不足进行分析，对自然语言处理领域的卷积操作进行改进，通过将单通道的文本信息输入映射到多通道进行卷积，使网络能够从多角度对文本信息进行感知，并针对 BiLSTM 和注意力存在的问题，提出了自注意力机制编码与双重精炼门控机制，虽然表现较好，但在特定文本的处理上还存在一些不足。
第一章 绪论
1.1 课题背景及其研究意义
近年来，随着网络社交与电商购物等互联网平台迅速发展，越来越多用户在网络平台上分享自己的观点。用户在社交平台与电商平台发表的评论中，包含了大量的文本信息，从各个方面描述了用户对某些事件或者商品的情感倾向，例如，社交平台上用户对事件的评论可以表现出用户对事件的立场，而电商平台上评价可以表现出用户对商品与服务的满意程度。如果能分析出这些文本信息中用户的情感倾向，可帮助商家改进产品和改善服务，供政府相关部门了解舆论情况制定相应政策，也能让其他用户了解事件社会态度。然而网络信息更新具有速度快和数量多的特点，难以通过人工实现文本情感信息的识别。因而如何利用计算机分析人类的情感成为了学术界的热点问题。
情感分析（Sentiment Analysis，SA）技术是自然语言处理（Natural Language Processing，NLP）领域中一种使计算机理解人类语言的有效方法，其能够利用计算机自动地分析文本信息中的情感极性。情感分析也被称为意见挖掘（Opinion Mining，OM）[1]，旨在获取文本中人们对事件、商品、服务、话题及问题的情感倾向[2]，被广泛用于金融[3]和政治[4]预测、电子健康[5]，以及用户画像[6]等领域。根据文本的粒度不同，情感分析研究主要可分为文档级别（Document-level）、句子级别（Sentence-level）与方面级别（Aspect-level）[7]。网络上大部分用户的发表的文本信息中，不是对事件或商品整体的评价，而是会从多个方面对事件或商品进行描述，不同方面的情感信息可能会存在相互矛盾的情况。例如，在“这家店的菜很好吃，但服务很差”这个句子中，人们对于“菜”与“服务”两个实体的情感极性分别是正与负的，如果使用相对粗粒度的文档级别或句子级别的情感分析处理文本，难以获取每个目标的正确情感极性。而相对细粒度的情感分析方法能够根据指定目标，捕捉到文本中相对应的情感信息，更加具有灵活性。
随着互联网的飞速发展，网络文本中包含多种实体情感信息的情况越来越广泛。粗粒度的情感分析方法只能获取文本的整体情感，这极大限制了对文本细粒度情感的研究。因此，方面级情感分析（Aspect-based Sentiment Analysis，ABSA）技术更加符合现实中各行业的需要。作为情感分析的一种细粒度方法，方面级情感分析一般将文本中不同方面的情感进行分为三类：积极（Positive）、消极（Negative）和中性（Neutral），其能够帮助人们关注所需方面的情感，具有独一无二的重要性。但更加具有细粒度的方面级情感分析技术需要兼顾句子整体含义与各方面的局部信息，这给研究者带来了巨大的挑战。 早期研究者主要借助于情感词典与传统机器学习对文本情感分析方法进行探究[8]。
1.2 国内外研究现状
方面级情感分析（Aspect-based Sentiment Analysis，ABSA）是情感分析的一项细粒度任务，其主要获取句子中不同方面的情感极性。例如在“手机的屏幕很棒，但是电池不太行”这个句子中，“屏幕”和“电池”就是手机的两个方面，这两个词也被称为方面词。其中“屏幕”对应的情感是积极的，而“电池”对应的情感是消极的。自 2003 年情感分析任务被提出以来[9]，吸引了众多机器学习和自然语言处理领域的研究人员参与研究。2014 年的国际语义评测大会进一步提供了方面级情感分析的标准数据集以及衡量指标，将方面级情感分析作为自然语言处理领域的一项重要的基础任务（Semeval 2014 Task 4）[10]。如图 1-1 所示，情感分析的方法主要分为基于情感词典、基于传统机器学习及基于深度学习的情感分析三种。其中基于情感词典及基于传统机器学习的方法是基于统计的情感分析方法，前者的分类精度依赖构建好的情感词典质量，而后者通过人工标注好的数据集进行训练，在一定程度上提高了情感分析的精度。随着深度学习在自然语言处理领域的广泛应用，深度神经网络也渐渐开始被用作处理情感分析任务。本节将从基于情感词典、基于传统机器学习及基于深度学习三个方面对情感分析的研究现状进行总结。
第二章 相关算法、数据集及评价指标
2.1 词袋与词向量模型
词袋与词向量模型是自然语言处理领域中的基础。词袋模型的主要思想是将所有词语独立地放入一个集合中，其打乱了词语中的顺序，损失了文本数据中的句法特征及词与词之间的关联性。因此，该方法在处理方面级情感分析这一复杂 NLP 任务时，具有很大的局限性，因为情感特征需要理解文本中的上下文信息才能获取。为了解决词袋模型的弊端，研究者设计出词向量模型获取文本中词的特征。该方法将词的特征向量化，使得词与词之间的关系可以通过计算向量间距离获取。
最早的主流词向量模型是独热（One-Hot）编码，它利用只包含 0、1 的向量组成单词的特征。表 2-1 展示了三个独热编码样例，首先将文本中的词构造成一个词表，词表的长度即为该文本独热编码的维度。每个维度代表一个词，若该维度为 1，则该向量代表词表中相同维度的单词，其他维度都为 0，即独热编码中只有一个维度的值为 1，其余都为 0。
独热编码的优势在于能够有效表达文本类离散数据，将离散特征稀疏化，使得后续NLP 模型不容易过拟合。然而，由于独热编码的设计基于词袋模型，同词袋模型相同，独热编码也难以有效获取单词之间的关联性，导致特征难以表达文本句子的语义。
由于词袋与独热编码模型在获取单词语义特征上具有较大局限性，Mikolov 等人[41]提出了 Word2Vec 词向量模型。该词向量模型利用神经网络预测上下文或预测中心词，获取神经网络中训练好的权重向量以用于单词的特征向量。通过计算嵌入（Embedding）语义空间的词向量距离衡量词语之间的相似度，因而这种方法也被称为词嵌入（Word Embedding）向量。例如“China”与“Beijing”词向量之间的距离比“China”与“Tokyo”词向量之间的距离小，以此表示“China”与“Beijing”两个词具有更高的相关性。
2.2 深度学习相关模型
2.2.1 卷积神经网络
卷积神经网络（Convolutional Neural Network，CNN）初被设计出解决图像领域问题，其通过卷积操作计算层与层之间的转换构造一个前馈神经网络（Feed Forward Neural Network）[65, 66]。与全连接神经网络（Fully Connected Neural Network）不同，卷积神经网络中每个神经元并不与前层所有神经元连接，而只与前层部分神经元连接，以此方式大幅降低神经网络中的计算难度与参数数量。
卷积神经网络的结构由卷积层（Convolutional Layer）、池化层（Pooling Layer）以及全连接层（Fully Connected Layer）组成。卷积层通过卷积核对神经网络中每一层特征进行卷积计算，以获取各个不同区域的局部特征；池化层根据一定规则对特征进行选择以达到降维目的，有效地提高了网络的泛化性；全连接层将所有的特征进行聚合展开，便于之后的输出预测。在图像领域的卷积神经网络中，一般有三个卷积通道（Channel）分别保存这图像的 RGB 三个颜色的数值，在卷积神经网络中，三个通道的特征图会同步进行计算，最后进行聚合。每个特征矩阵的卷积计算过程如图 2-6 所示，一个 input 为5*5 的特征矩阵，随着一个 3*3 的卷积核窗口移动计算，最终得到一个 3*3 特征矩阵output：
第三章 基于多角度卷积转换网络的方面级情感分析 ...........................21
3.1 多角度卷积转换网络 ............................ 21
3.1.1 特征提取层 ................................... 23
3.1.2 特征转换层 ............................... 23
第四章 基于语义感知精炼网络的方面级情感分析 .................................. 31
4.1 语义感知精炼网络 ................................. 31
4.1.1 输入层 ....................................... 32
4.1.2 感知精炼层 .......................... 34
第五章 中文舆情分析系统的设计与实现 .................................................... 43
5.1 数据收集与处理 .................................... 43
5.2 网络设计 .............................................. 45
5.3 系统部署 ...................................... 48
第五章 中文舆情分析系统的设计与实现
5.1 数据收集与处理
本文首先利用爬虫技术从新浪微博（https://s.weibo.com/top/summary）获取热点事件的评论信息，如图 5-1 所示。
随着互联网社交与电商购物等互联网平台迅速发展，网络上用户生成内容得到爆炸式地增长，其中包含了用户对时事、商品以及人物等附带主观情感的信息，有着巨大的利用价值。网络上大量信息以各种各样的形式存在，如何从日新月异的信息中去挖掘所需的信息成为了自然语言处理领域的热门研究课题。在层出不穷的网络信息中，存在一些人们对于一些社会事件与热点内容的观点与态度信息，这便是舆情，而舆情的发展对社会态度有着重要的影响，网络舆情的监管也成为了政府的一项不可缺少的工作。舆情分析作为舆情监管的一项基本任务，能够帮助领导者快速了解民意，在各项领域制定出正确、科学的决策。但在对于数以万计的网络信息数据量，舆情分析需要耗巨大的人力与时间成本，因此，探究一种有效率的舆情分析方法取代人工方法是至关重要的。本文从深度学习的方面出发，提出一种高效快速的舆情分析方法，无需耗费大量人力对文本情感进行分析，大大降低了舆情分析所需的人力和时间开销。
第六章 主要结论与展望
6.1主要结论
近年来，随着网络社交与电商购物等互联网平台迅速发展，网络上用户生成内容出现爆炸式的增长。用户在社交平台与电商平台发表的评论中，包含了大量的文本信息。这些文本信息从多方面描述了用户对某些事件或者商品的情感倾向，能够有效供政府相关部门了解舆论情况制定相应政策，帮助商家改进产品和改善服务，也能让其他用户了解事件的社会评价。从深度学习的角度出发，对现有的注意力卷积神经网络进行改进，使其能够有效兼顾句子上下文的联系以及细粒度的处理，并且结合了门机制结构对网络中特征进行蒸馏，增强了网络对噪声的滤除能力，文本主要贡献有以下三点：
（1）在方面级情感分析任务中，由于仅利用标准卷积神经网络来获取文本局部信息往往存在信息理解不充分的情况。针对此问题，提出了一种基于多角度卷积转换网络（Multi-angel Convolutional Transformation Neural Network，MCTNN）的方面级情感分析方法。该方法利用多角度卷积转换（Multi-angel Convolutional Transformation，MACT）模块将文本特征同步映射到不同通道，使得卷积神经网络能从多语义空间学习文本的局部信息，并在各通道间利用注意力机制获取各通道的重要性，学习到更丰富、更准确的文本局部信息，以用于细粒度情感分类。实验结果表明，基于多角度卷积转换网络的方面级情感分析方法精度优于大多数主流方面级情感分析方法。
（2）方面级情感分析旨在预测句子中给定方面词的情感极性，它常采用注意力机制来提取句子中和方面词相关的特征，但注意力机制会引入噪声，影响情感分析的准确率。针对此问题，提出了一种基于语义感知精炼网络（Semantics Perception and Refinement Network，SPRN）的方面级情感分析方法。首先利用多头自注意力（Multi-head Self-attention，MHSA）机制提取上下文语义特征，并结合基于上下文的方面词嵌入方法，获取方面词语义特征。进一步地，引入门机制，构建双重蒸馏门，通过初步蒸馏与强化蒸馏两个过程实现上下文与方面词语义特征的交互，去除与方面词不相关的冗余特征，获取句子中与方面词相关的情感语义特征。在多个标准数据集上，提出的基于语义感知精炼网络的方面级情感分析方法达到了较高精度。
参考文献（略）