本文是一篇计算机论文,本文回顾了情绪原因识别以及情绪原因对识别任务的相关研究情况,以情绪原因对之间的交互、上下文语境理解以及缓解情绪原因对数据集中的位置偏差为切入点,设计了ECPE-HGA和ECPE-MCA模型,并验证了其有效性。
1绪论
1.1研究背景及意义
1.1.1研究背景
随着Web 2.0时代的到来,我国网民规模持续提升,互联网应用也在蓬勃发展。中国互联网中心发布的第50次《中国互联网络发展状况统计报告》①显示,截至2022年6月,我国网民规模为10.51亿,互联网普及率达74.4%。越来越多的网民倾向于在微博、推特等社交平台上分享观点和看法,为互联网贡献了海量的文本数据。这些文本涉及面广、表达方式多样,代表了人们的观点和诉求,且大多数蕴含网民的真情实感,使得与情绪分析相关领域的研究越来越受学术界和工业界的关注,成为自然语言处理领域中的热门方向之一。
情绪分析主要是通过自然语言处理等技术获取文本中所蕴含的情绪信息,然而情绪分析仅仅停留在文本表达的表面,缺乏对文本深层语义的理解。对管理者和决策者来说,文本所表达的情绪背后更深层次的原因是他们更为关心的重点。例如在新冠疫情期间,面对疫情蔓延给生活带来的影响,很多人选择通过网络平台来发表自己的感受和观点。通过对情绪原因的挖掘可以辅助相关部门更好地了解和分析疫情对民众日常生活以及社会生产建设的影响,从而有针对性制定相关的政策和提供更加完善的社会服务。同理,在商业活动方面,商品的评论文本大多包含消费者对产品的关注点以及产品的不足之处,挖掘和分析其背后的原因可以帮助商家对产品进行升级和实施精准营销。随着文本挖掘技术普及和发展,情绪分析中简单的情绪分类任务已无法满足当前日益增长的各类复杂生活和社会场景的需求。在此背景下,情绪原因识别相关方面的研究开始受到广泛的关注。
1.2国内外研究现状
随着自然语言处理技术的不断发展,对于情绪原因识别任务的研究手段和方法也不断涌现出新的成果,可以归纳为两类:情绪原因识别和情绪原因对识别。①情绪原因识别在已知情绪的情况下识别出触发对应情绪的原因子句,前提是预先获得情绪标签,极大限制了其在实际场景中的应用。②情绪原因对识别可以在没有事先标注情绪信息的情况下识别文本中存在情绪子句和原因子句。
1.2.1情绪原因识别的研究现状
情绪原因识别是自然语言处理领域的一个重要研究方向,旨在从文本中识别出触发情绪的原因。本文将从传统方法、机器学习方法和深度学习方法三个方面对情绪原因识别的研究现状进行分类归纳。
(1)基于传统方法的情绪原因识别
在早期工作中,研究者主要依赖于情感词典和规则等传统方法来进行情绪原因识别。最早Lee等[1]发现情绪往往是由原因事件触发,而原因事件又是情绪的组成部分,从而提出了一种语言驱动的基于规则的情绪原因检测系统。此外,Lee[2]还构建了情绪原因事件语料库,用于情绪原因检测和分类。Chen[3]提出多标签情绪原因检测方法,可捕获远距离句子信息。Gao[4]等基于规则提出细粒度情绪原因识别模型,并在微博数据进行实验。同时,通过情绪词汇和语言特征,识别不同情绪下不同原因成分比例。以上方法在特定领域上具有较高的准确度,但由于其严格的限制条件和词典的不足,其在广泛的应用场景中的性能有限。此外,这些方法往往需要手工制定规则和维护情感词典,耗时耗力。
2相关理论与技术
2.1词向量技术
预训练语言模型的提出让自然语言处理进入了一个新时期。相较于传统的基于规则或者特征工程的方法,预训练语言模型可以通过学习大规模的语料库和特定的预训练任务提前学习到丰富的语义信息,然后通过微调的方式适应不同的下游任务。谷歌提出的BERT[38]是一种基于Transformer编码器构建的双向语言模型,它的出现对于自然语言处理领域是具有里程碑式意义的,极大地推动了自然语言处理领域的各项研究。BERT模型的框架如图2.1所示。BERT模型的输入由三部分的表征相加得到。①词嵌入,先将输入的字词表示成词嵌入的形式,文本第一个位置是[CLS]符号。为了区分句子对中的两个句子,将在句子中间插入[SEP]符号。②句子嵌入,每个句子都有专属标记,将该标记添加到该句子的字词上。③位置编码,加入的是字词在文本中的位置,添加的是一种序列信息。
2.2深度学习
2.2.1卷积神经网络
卷积神经网络(CNN)是一种前馈神经网络模型,早期用于图像分类,主要通过相似度聚类在场景中执行对象识别。起初CNN模型在图像领域发挥作用,因为它能够自动获取纹理和拓扑结构这样的图像特征,与传统的图像预处理相比,减少了人工的提取,也降低了特征信息丢失的概率。近年来,CNN已经广泛应用于文本分析等自然语言处理领域。图2.2是CNN模型的结构示意图。
CNN的输入层通常接收一个经过词向量表示后的二维矩阵,其中每一行代表一个单词的向量表示,每一列代表一个单词的位置。卷积层通过不同大小的卷积核在输入矩阵上进行卷积运算,不同滑动窗口大小决定了每次卷积覆盖的单词数量。通过卷积运算,卷积核可以自动从文本中抽取局部特征。不同大小的卷积核可以捕捉不同大小的局部特征,例如,较小的卷积核可以捕捉单个单词或者短语的特征,而较大的卷积核可以捕捉更大的片段,例如句子或段落的特征。
经过卷积运算得到的局部特征被拼接成一个新的矩阵,然后通过池化层降低维度。池化层通常使用平均池化(Average pooling)或最大池化(Max pooling)方法,它们可以将卷积层输出的矩阵转换为一个固定长度的向量,从而减少了参数数量。平均池化对卷积层的输出进行平均值计算,最大池化则取每个卷层核输出的最大值作为池化层的输出。池化层可以减少模型对输入数据中的噪声和冗余信息的敏感度,提高模型的鲁棒性和泛化能力。
3基于异构图注意力网络的情绪原因对识别..........................15
3.1引言.................................15
3.2情绪原因对提取任务的定义...............................15
4基于多文段感知的情绪原因对识别.............................28
4.1引言....................................28
4.2基于多文段感知的情绪原因对识别模型..........................29
5总结与展望.........................39
5.1总结...........................................39
5.2展望.........................................39
4基于多文段感知的情绪原因对识别
4.1引言
在自然语言处理中应用上下文已经屡见不鲜,早已被用于许多因果关系任务,提供更多的语义信息以提高模型性能。Chen等[47]的研究表明,情绪和原因从句之间的因果关系可能只在特定的上下文下才有效,因此提出了一个新的任务以识别因果关系是否成立。然而,与情绪原因对识别相关的研究通常仅仅将两个子句拼接形成情绪原因对表示,很少考虑不同情绪原因对的上下文语境不同,要确定两个子句是否构成一个情绪原因对,不仅需要两者之间存在可能的因果关系,同时还需要符合当前文档的特定语境。如文本2所示,如果忽略情绪原因对的上下文子句,是否更新微博并不会引起人们的担忧,因此情绪子句c5和原因子句c4之间可能没有直接的因果关系;但将该情绪原因对融入上下文语境之后,为情绪原因对的因果关系成立提供了前提条件。同时,一篇文档中可能存在其他可能存在潜在因果关系的情绪原因对,如文本2中的子句c2和子句c5,子句c2中短语“用尽了全力”与c5中的情绪词“担心”之间可能存在因果关联,因为“用尽了全力”表达了一种消极的含义,可能会引发人们的担心,但放在整篇文档中去理解时,二者之间显然不存在因果关系,因此c2和c5构成的情绪原因对是一个噪声。通过融入情绪原因上下文语境能够减少非情绪原因对被错误地识别出来,从而代替相对位置关系去除噪声来解决数据不平衡的问题。传统的上下文建模方法中一篇文档往往只能得到唯一上下文语义表示,因此如何针对不同的情绪原因提取不同文段的语义信息,是目前情绪原因对识别任务的一个挑战。
文本2.<Doc>c1.为了坚持到妻子入户,(上下文子句)c2.老吴已经用尽了全力,(上下文子句)c3.老吴因为其抗癌事迹广为人知,(上下文子句)c4.如果老吴长时间不更新微博,(原因子句)c5.就会有网友担心老吴是不是去了(情绪子句)</Doc>
5总结与展望
5.1总结
情绪原因对识别任务作为近年来情绪分析领域中兴起的研究,对于舆情监控、公共意见有着重大研究价值,因此受到学术界和工业界广泛关注。本文回顾了情绪原因识别以及情绪原因对识别任务的相关研究情况,以情绪原因对之间的交互、上下文语境理解以及缓解情绪原因对数据集中的位置偏差为切入点,设计了ECPE-HGA和ECPE-MCA模型,并验证了其有效性。本文的研究工作具体总结为如下两点。
(1)本文构建的ECPE-HGA模型能充分学习情绪原因对节点之间细粒度的信息交互以及情绪子句和原因子句之间方向性关系。ECPE-HGA模型通过条件归一化网络生成两种情绪原因对表示,通过元路径的形式刻画了情绪原因对节点之间共享子句的细粒度语义关系,为情绪原因对识别提供了更好的特征表示,最后集成二者的概率分布进行联合预测,降低了非情绪原因对被错误识别的概率。实验结果表明了本文提出的ECPE-HGA模型相比于现有的情绪原因对识别模型ECPE-MLL、PairGCN、RANKCP在F1值上分别提高了1.53%、4.0%、2.45%。
(2)针对目前的情绪原因对识别方法中,没有充分考虑使因果关系成立的上下文语境的问题,本文提出的ECPE-MCA模型可以利用情绪原因对将文档分成三个文段,通过分段卷积池化网络抽取每个情绪原因对不同文段的语义表示,动态的聚合不同文段并融入情绪原因对表示中。同时,本文设计一种基于相对位置关系的概率分布,将其作为权重动态调整不同样本的损失,引导模型加强对位置关系不敏感样本因果关系学习。实验结果表明,多文段语义感知能够帮助模型理解子句之间因果关系成立的条件,通过构建子句事件关系和排除非情绪原因对提升任务性能。此外,通过在Bao等[50]提出的无偏数据集上进行实验,证明了无偏焦点损失能提升模型对位置关系不敏感样本的识别性能。
参考文献(略)