第一章 绪论
1.1 研究背景和研究意义
随着信息技术的飞速发展和新时代的来临[1]，人们日常生活的方方面面都伴随着电子商务平台和社交网络平台的应用。电子商务平台，如淘宝、京东和美团等，通过新的购物、餐饮和营销渠道更方便了人们的生活，满足了人们日常消费需求。社交平台，如微博，微信和小红书等，不仅满足了人们的社交需求，还可以用来发表个人生活状态，也促进了分享经济的发展。社交网络上发表的对电影、书籍、美妆等产品的看法和使用心得影了人们的消费。随着互联网在人们日常生活中的影响愈加深远，使得社交方式和消费方式更加方便快捷，平台上的评论也五花八门，评论中自然包含具有潜在商业价值的信息。例如，用户对社交平台的口碑直接影响此社交软件的下载和使用，从而影响软件公司的收益；用户对消费产品的评价也影响该产品的销量和该产品的品牌口碑；用户对热门事件和明星的讨论会与明星的发展、公司的营销和影视的收益等都有着直接的关联[2]。
随着信息技术的飞速发展和新时代的来临[1]，人们日常生活的方方面面都伴随着电子商务平台和社交网络平台的应用。电子商务平台，如淘宝、京东和美团等，通过新的购物、餐饮和营销渠道更方便了人们的生活，满足了人们日常消费需求。社交平台，如微博，微信和小红书等，不仅满足了人们的社交需求，还可以用来发表个人生活状态，也促进了分享经济的发展。社交网络上发表的对电影、书籍、美妆等产品的看法和使用心得影了人们的消费。随着互联网在人们日常生活中的影响愈加深远，使得社交方式和消费方式更加方便快捷，平台上的评论也五花八门，评论中自然包含具有潜在商业价值的信息。例如，用户对社交平台的口碑直接影响此社交软件的下载和使用，从而影响软件公司的收益；用户对消费产品的评价也影响该产品的销量和该产品的品牌口碑；用户对热门事件和明星的讨论会与明星的发展、公司的营销和影视的收益等都有着直接的关联[2]。
情感分析作为挖掘评论背后潜在价值的重要方法，具有非常重要的研究意义。情感分析也称为观点挖掘或情感计算，是在挖掘大量互联网语言文本的基础上对观点持有人的立场、情感倾向进行分析，也是对文本信息中的主观性内容进行剖析，这些主观性内容或者观点蕴含着丰富的情感信息[3]，通过进行情感分析得到了观点持有人的情感倾向。之前文本情感分析的研究忽视了情感往往附着在一个具体目标（对象）上的问题，而文本针对不同目标的情感极性或强度往往差异较大。
.....................
第三章 基于层级神经网络的文本语义分类方法研究.................................... 17.....................
1.2 研究现状及分析
1.2.1 文本情感分析
情感分析是对人们的观点进行的情感和态度的评估计算。观点是人们对产品、服务、组织、个人、事件、问题等实体的文本观点[4]。快速发展的社交网络（如微博，豆瓣，推特，淘宝等）平台赋予了情感分析重要的意义，因而情感分析在自然语言处理中有着深远的意义和广泛的实用。情感分析已经应用到商业和社会领域，对人们生活产生重要的作用。
如今在生活中，消费者购买产品，将不再仅仅是通过朋友或家人的推荐，社交网络上有很多对产品功能和效果的评论成为消费者购物的参考依据。社交媒体的发展，使得很多个人通过走红的帖子和视频改变了命运，使得企业通过媒体宣传和用户反馈改变了企业经营的模式，公众的情绪也受社交网络影响越来越大，对社会发展产生了深远的影响。但是，由于网络上各种站点的泛滥，对于站点的监控和提取信息仍然是一项艰巨的任务。
现有的对情感分析的研究主要分为粗粒度的研究和细粒度的研究。文档级别情感分类主要把有观点的文档分为正面和负面的，句子级别的情感分析是对单个句子进行分析。传统上，通常首先将句子分为有观点的或没有观点的，这称为主观性分类。然后，将得到的有目的的句子分类为正面表达和负面表达。句子级别的情感分类通常分为三种情感极性，即中立，肯定或否定。方面级别情感分析是针对实体以及实体的方面或者特征（也称为目标）进行分类，比文档级别和句子级别的情感分析更精细。通过提取并总结人们对实体和目标方面的观点进行方面情感的分类。同时在大多数算法中，方面提取和语义提取是结合在一起的。例如，从“the voice quality of iPhone is great, but its battery sucks”，这样的句子中，实体是“iPhone”，“语音质量”和“电池”是两个方面。在 iPhone 的语音质量上情感表达是积极的，在 iPhone 的电池上情感表达是消极的。除了这些核心任务之外，还有隐喻识别，跨域情感分析等。
1.2.1 文本情感分析
情感分析是对人们的观点进行的情感和态度的评估计算。观点是人们对产品、服务、组织、个人、事件、问题等实体的文本观点[4]。快速发展的社交网络（如微博，豆瓣，推特，淘宝等）平台赋予了情感分析重要的意义，因而情感分析在自然语言处理中有着深远的意义和广泛的实用。情感分析已经应用到商业和社会领域，对人们生活产生重要的作用。
如今在生活中，消费者购买产品，将不再仅仅是通过朋友或家人的推荐，社交网络上有很多对产品功能和效果的评论成为消费者购物的参考依据。社交媒体的发展，使得很多个人通过走红的帖子和视频改变了命运，使得企业通过媒体宣传和用户反馈改变了企业经营的模式，公众的情绪也受社交网络影响越来越大，对社会发展产生了深远的影响。但是，由于网络上各种站点的泛滥，对于站点的监控和提取信息仍然是一项艰巨的任务。
现有的对情感分析的研究主要分为粗粒度的研究和细粒度的研究。文档级别情感分类主要把有观点的文档分为正面和负面的，句子级别的情感分析是对单个句子进行分析。传统上，通常首先将句子分为有观点的或没有观点的，这称为主观性分类。然后，将得到的有目的的句子分类为正面表达和负面表达。句子级别的情感分类通常分为三种情感极性，即中立，肯定或否定。方面级别情感分析是针对实体以及实体的方面或者特征（也称为目标）进行分类，比文档级别和句子级别的情感分析更精细。通过提取并总结人们对实体和目标方面的观点进行方面情感的分类。同时在大多数算法中，方面提取和语义提取是结合在一起的。例如，从“the voice quality of iPhone is great, but its battery sucks”，这样的句子中，实体是“iPhone”，“语音质量”和“电池”是两个方面。在 iPhone 的语音质量上情感表达是积极的，在 iPhone 的电池上情感表达是消极的。除了这些核心任务之外，还有隐喻识别，跨域情感分析等。
............................
第二章 相关理论
2.1 情感分析
情感分析是自然语言处理和计算语言学应用的重要方法之一。随着微博、论坛、博客等在线评论站点的普及，各种观点越来越丰富，情感分析越来越重要。情感分析是对给定文本的情感极性进行分析，分为肯定、否定或更精细的类别。它已广泛应用于几乎所有领域，从医疗保健和消费品到犯罪分析，政治选举等。例如，政客可能会对人们是否支持拟议的政策感兴趣，援助机构想监测危机期间和危机后的情绪演变以帮助恢复健康，社会组织可能希望总结人们对当前热门辩论的情绪，法医检查人员希望利用情感分析来提供人们的情感指纹。
情感分析通常在三个级别上进行探讨：文档级别、句子级别和方面级别。文档级别情感分析旨在识别文档的情感极性（例如，正面、负面、中性或更细粒度的类别）。它假设每个文档都表达了整体一致的意见并判断文档提出者的情感极性。句子级别情感分析获得单句的情感极性，方面级别情感分析是基于目标实体的分析，在分析目标的情感时不仅考虑语句中所主观表达的情感极性而且要关注目标的特定方面或特征。
2.1.1 句子级别情感分析
句子级别情感分析是分析一个句子所表达的情感。之前的句子级别情感分析的方法大多为基于语料库的分析方法，近年来越来越多的研究用深度学习模型来解决情感分析问题。主要方法有：将句子作为输入矩阵嵌入到卷积神经网络中从而预测出对应的类别；将句子的句法结构分析成句法树，依据句法树的顺序在递归神经网络中依次传递信息，得到根节点的信息从而预测句子的情感；还有的方法将递归神经网络和卷积神经网络结合起来，先通过递归神经网络捕捉句子的语义信息，再通过卷积神经网络进行情感分类预测。
..........................
第二章 相关理论
2.1 情感分析
情感分析是自然语言处理和计算语言学应用的重要方法之一。随着微博、论坛、博客等在线评论站点的普及，各种观点越来越丰富，情感分析越来越重要。情感分析是对给定文本的情感极性进行分析，分为肯定、否定或更精细的类别。它已广泛应用于几乎所有领域，从医疗保健和消费品到犯罪分析，政治选举等。例如，政客可能会对人们是否支持拟议的政策感兴趣，援助机构想监测危机期间和危机后的情绪演变以帮助恢复健康，社会组织可能希望总结人们对当前热门辩论的情绪，法医检查人员希望利用情感分析来提供人们的情感指纹。
情感分析通常在三个级别上进行探讨：文档级别、句子级别和方面级别。文档级别情感分析旨在识别文档的情感极性（例如，正面、负面、中性或更细粒度的类别）。它假设每个文档都表达了整体一致的意见并判断文档提出者的情感极性。句子级别情感分析获得单句的情感极性，方面级别情感分析是基于目标实体的分析，在分析目标的情感时不仅考虑语句中所主观表达的情感极性而且要关注目标的特定方面或特征。
2.1.1 句子级别情感分析
句子级别情感分析是分析一个句子所表达的情感。之前的句子级别情感分析的方法大多为基于语料库的分析方法，近年来越来越多的研究用深度学习模型来解决情感分析问题。主要方法有：将句子作为输入矩阵嵌入到卷积神经网络中从而预测出对应的类别；将句子的句法结构分析成句法树，依据句法树的顺序在递归神经网络中依次传递信息，得到根节点的信息从而预测句子的情感；还有的方法将递归神经网络和卷积神经网络结合起来，先通过递归神经网络捕捉句子的语义信息，再通过卷积神经网络进行情感分类预测。
..........................
2.2 深度学习神经网络模型
深度学习是机器学习领域中一个新的方向，它可以学习数据的多层表示或特征并产生最新的预测结果，是神经网络进行学习训练中的应用。在过去的 10 年中，深度学习取得了突破，并在许多应用领域取得了最先进的成果，从计算机视觉开始，然后是语音识别，再到最近的自然语言处理（NLP）。神经网络的复兴，可以归因于许多因素，最重要的因素是由于硬件（例如 GPU）的更新换代使计算能力大大提升，使大量训练数据得以应用，使学习能力更加灵活。
2.2.1 卷积神经网络
深度学习是机器学习领域中一个新的方向，它可以学习数据的多层表示或特征并产生最新的预测结果，是神经网络进行学习训练中的应用。在过去的 10 年中，深度学习取得了突破，并在许多应用领域取得了最先进的成果，从计算机视觉开始，然后是语音识别，再到最近的自然语言处理（NLP）。神经网络的复兴，可以归因于许多因素，最重要的因素是由于硬件（例如 GPU）的更新换代使计算能力大大提升，使大量训练数据得以应用，使学习能力更加灵活。
2.2.1 卷积神经网络
卷积神经网络（Convolutional Neural Network，简称 CNN）是多层感知器的变种，其中卷积层和池采样层是实现特征提取功能的核心模块。
.........................3.1 主要技术基础.............................................. 17
3.1.1 基础模型单元............................ 17
3.1.2 双向 LSTM..................................17
第四章 基于层级神经网络和目标依赖的情感分析研究............................... 27
4.1 主要技术基础............................................... 27
4.1.1 基础模型单元..................................... 27
4.1.2 目标依赖情感分类........................ 27
第五章 基于层级神经网络的方面融合和位置引入情感分析研究............................. 37
5.1 主要技术基础............................................... 37
5.1.1 方面级别情感分析............................... 37
5.1.2 关联存储算子..................................... 38
第五章 基于层级神经网络的方面融合和位置引入情感分析研究
5.1 主要技术基础
5.1.1 方面级别情感分析
早期的方面级别情感分析方法高度依赖于特征工程的质量，深度学习模型减轻了先前研究中的人工劳动负担。近年来在自然语言处理领域，递归神经网络（RNN），尤其是 LSTM显示了独特的优势。唐等人提出了经典的 TD-LSTM 和 TC-LSTM 模型[22]。由于之前的模型是直接处理所有输入信息并分别建模，因此 Ma 等人[24]使用两个基于注意力机制的LSTM 模型进行交互建模，两个 LSTM 模型分别表示方面词和上下文词。Chen 等人[39]设计了一种多注意力机制的深度学习模型，以捕捉远距离情感的情感特征。Ma 等人尝试一次用一个句子对多个方面进行建模[40]。
方面级别情感分析还使用另一种神经网络架构，称为 MemNN 或端到端内存网络[41]。具体而言，基于方面的情感分析被构造为一个问答问题，其中方面级别的信息用作查询信息，上下文词的内容用作外部存储器。例如，Tang 等人[23]引入了多跳 MemNN 并应用了带有位置编码的新注意力机制。多任务 MemNN 不仅广泛用于极性预测中，而且还广泛用于目标检测中。
5.1.1 方面级别情感分析
早期的方面级别情感分析方法高度依赖于特征工程的质量，深度学习模型减轻了先前研究中的人工劳动负担。近年来在自然语言处理领域，递归神经网络（RNN），尤其是 LSTM显示了独特的优势。唐等人提出了经典的 TD-LSTM 和 TC-LSTM 模型[22]。由于之前的模型是直接处理所有输入信息并分别建模，因此 Ma 等人[24]使用两个基于注意力机制的LSTM 模型进行交互建模，两个 LSTM 模型分别表示方面词和上下文词。Chen 等人[39]设计了一种多注意力机制的深度学习模型，以捕捉远距离情感的情感特征。Ma 等人尝试一次用一个句子对多个方面进行建模[40]。
方面级别情感分析还使用另一种神经网络架构，称为 MemNN 或端到端内存网络[41]。具体而言，基于方面的情感分析被构造为一个问答问题，其中方面级别的信息用作查询信息，上下文词的内容用作外部存储器。例如，Tang 等人[23]引入了多跳 MemNN 并应用了带有位置编码的新注意力机制。多任务 MemNN 不仅广泛用于极性预测中，而且还广泛用于目标检测中。
.........................
第六章 总结与展望
6.1 工作总结
随着信息技术的飞速发展和网络新时代的来临，人们的生活因为电子商务平台和社交网络平台而发生了改变，同时人们每日都会在网络上留下大量的评论。情感分析作为挖掘评论背后潜在价值的重要方法，具有非常重要的研究意义。情感分析是在挖掘大量互联网文本的基础上对观点持有人的立场和情感进行分析。目前情感分析的工作主要集中在三个方面，文档级别情感分析、句子级别情感分析和方面级别情感分析。由于文档级别和句子级别的情感分析是一种粗粒度的研究方法，忽略了情感表达往往附着在一个具体目标上的事实，导致情感预测的偏差，因此本文旨在研究目标依赖的情感分析方法。本文主要做了三个改进：首先进行基于层级神经网络的文本语义分类方法研究，通过对文档级文本的层级分析，达到文本语义分类的目的。然后，进行基于层级神经网络的目标依赖情感分析研究，通过学习句子的目标信息来研究句子的情感倾向，目标依赖情感分析研究比文本语义研究更有针对性并起到更好的分类作用。最后，进行基于层级神经网络的方面信息融合和位置信息引入的情感分析研究，通过更深入的研究目标方面信息并引入位置编码来进行情感分析的研究。本文所研究的工作主要包括以下内容：
第一，进行基于层级神经网络的文本语义分类方法研究，提出了用于文档语义分类的层级注意力机制网络模型 HBLSTM-ATT。由于文档的表达具有层次结构，即单词构成句子，句子形成文档，本章的方法也基于组合性原则，采用自下而上的架构方式。该方法编码了句子的语义及其与文档表示中的关系，进行情感分析并训练。在四个常用数据集上的大量实验证明了该方法的有效性。
第二，进行基于层级神经网络的目标依赖情感分析研究，提出了用于目标依赖情感分析的层级神经网络模型 HTAS-BiGRU。该模型的关键思想是学习句子的目标信息用来帮助捕获句子的情感，提高目标依赖情感分类的性能。本章的模型结构主要包含四个模块：输入模块，层级注意力机制模块、情感分析模块和监督模块。其中改进的层级注意力机制，包括目标信息注意力机制和情感信息注意力机制，分别提取目标信息和情感信息，实现目标依赖情感分析研究。在句子级别和文档级别的实验结果表明，本章的模型获得了更好的性能。
参考文献（略）
6.1 工作总结
随着信息技术的飞速发展和网络新时代的来临，人们的生活因为电子商务平台和社交网络平台而发生了改变，同时人们每日都会在网络上留下大量的评论。情感分析作为挖掘评论背后潜在价值的重要方法，具有非常重要的研究意义。情感分析是在挖掘大量互联网文本的基础上对观点持有人的立场和情感进行分析。目前情感分析的工作主要集中在三个方面，文档级别情感分析、句子级别情感分析和方面级别情感分析。由于文档级别和句子级别的情感分析是一种粗粒度的研究方法，忽略了情感表达往往附着在一个具体目标上的事实，导致情感预测的偏差，因此本文旨在研究目标依赖的情感分析方法。本文主要做了三个改进：首先进行基于层级神经网络的文本语义分类方法研究，通过对文档级文本的层级分析，达到文本语义分类的目的。然后，进行基于层级神经网络的目标依赖情感分析研究，通过学习句子的目标信息来研究句子的情感倾向，目标依赖情感分析研究比文本语义研究更有针对性并起到更好的分类作用。最后，进行基于层级神经网络的方面信息融合和位置信息引入的情感分析研究，通过更深入的研究目标方面信息并引入位置编码来进行情感分析的研究。本文所研究的工作主要包括以下内容：
第一，进行基于层级神经网络的文本语义分类方法研究，提出了用于文档语义分类的层级注意力机制网络模型 HBLSTM-ATT。由于文档的表达具有层次结构，即单词构成句子，句子形成文档，本章的方法也基于组合性原则，采用自下而上的架构方式。该方法编码了句子的语义及其与文档表示中的关系，进行情感分析并训练。在四个常用数据集上的大量实验证明了该方法的有效性。
第二，进行基于层级神经网络的目标依赖情感分析研究，提出了用于目标依赖情感分析的层级神经网络模型 HTAS-BiGRU。该模型的关键思想是学习句子的目标信息用来帮助捕获句子的情感，提高目标依赖情感分类的性能。本章的模型结构主要包含四个模块：输入模块，层级注意力机制模块、情感分析模块和监督模块。其中改进的层级注意力机制，包括目标信息注意力机制和情感信息注意力机制，分别提取目标信息和情感信息，实现目标依赖情感分析研究。在句子级别和文档级别的实验结果表明，本章的模型获得了更好的性能。
参考文献（略）