©PaperWeekly 原创 · 作者｜李东明

学校｜香港中文大学（深圳）本科生

研究方向｜文本生成

论文标题：

Enhancing Aspect-level Sentiment Analysis with Word Dependencies

论文链接：

https://www.aclweb.org/anthology/2021.eacl-main.326/

代码链接：

https://github.com/cuhksz-nlp/ASA-WD

摘要

该论文采用记忆网络（Memory network）的形式将句子的依存句法 （dependency syntax）信息加入到方面情感分析（aspect-level sentiment analysis）中，使得模型能够学习依存句法中有用的信息，达到更好的方面情感分析效果。

任务和背景介绍

方面情感分析（aspect-level sentiment analysis）是文本情感分类中的一个任务。与一般的情感分析任务只需要预测整个文本的整体情感不同，方面情感分析任务则要求模型预测出针对句子中特定方面（aspect term）的情感极性（即，积极、消极、中性之一）。

例如，在句子“那家餐厅虽然音乐不太好听，但是饭菜很好吃”中，一般的情感分析任务只需要预测整个句子的情感是积极的，而方面情感分析则需要给出细粒度的，对于特定方面的情感预测，即对于方面“饭菜”的情感是积极的，而对于方面“音乐”的情感是消极的。层面情感分析这种颗粒度更细的情感分析任务在许多任务都有高实用价值，比如影评分析，社交媒体信息追踪。

通常，在同一个句子中，不同方面（aspect term）的情感可能是不一样的（如上例）。正因为如此，方面情感分析任务往往对模型建模上下文信息的能力有着较高的要求。

依存句法（dependency syntax）是句法的一种，其关注于句子中词与词之间的关系。上图是依存句法的一个例子。在这个例子中，核心动词是 jumped，fox 是 jumped 的名词性主语（nominal subject, nsubj）。依存句法树在不同词之间建立起了语法上的联系，能够提供丰富的上下文信息，因此被广泛使用于方面情感分析的研究中。

由于依存句法得出的结果是一个有向图，其中词是节点，词之间的有向边表示他们之间的在句法上的关系，现有的研究往往利用基于图结构的方法，例如图卷积神经网络（Graph Convolutional Neural Networks, GCN），对依存句法信息建模，而且往往忽视了对依存关系类型（例如 nsubj, root, prep 等）的建模。

同时，由于人工标注的依存句法难以获取，一般都是采用自动依存句法分析工具得到的依存句法关系帮助方面情感分析模型，因此这种自动得到的句法分析结果中的杂音常常影响模型的性能。

与前人相比，该论文采用键-值记忆神经网络（key-value memory networks，KVMN）这种非图结构的方法利用依存句法知识，使模型可以同时对词与词之间的连接以及依存关系类型建模。此外，该论文采用的方法能够在不同语境下，为不同的句法知识加权，从而识别句法知识中的噪音，从而提升模型在方面情感分类任务上的性能。

模型

模型的核心目标是，给定一个句子 X 和一个方面 A，输出一个标签来表示方面 A 在句子 X 里的情感是积极，消极，或者是中性的。对于这样的一个任务，一个简单的想法就是将层面 A 与句子 X 拼起来当成一个新“句子”，中间用一个分隔符将 A 与 X 区分开，然后将新“句子”送进一个编码器（例如 BERT）得到新“句子”的表征，再在这个表征上做情感分类。

了使模型可以利用依存句法信息，该论文采用了键-值记忆神经网络（KVMN）的方式，使得模型可以自动识别不同句法知识的重要程度，并据此对其加以利用。

具体地，对于输入中的每一个词

，该论文把依存句法树中与该词相连的词作为键，并把这两个词之间的依存句法关系类型作为值，并据此构建（键，值）对。例如，对于上图中的词 service，可以按照上述方法找到与其关联的两个（键，值）对，即（bar, bar_compound）和（poor，poor_nsubj）。

在 KVMN 中，对于每一个词

，该论文使用 BERT 输出的

的向量表征，与键嵌入

（key embedding）做内积，得到一个该键所对应的值的权重

。接下来，模型计算不同键对应的值的权重，并把这些权重应用于对应的值嵌入

（value embedding）上，得到值嵌入的加权平均

，进而把其作为 KVMN 的输出。通过这样的操作，模型就实现了对不同依存句法知识（即 KVMN 中的值）的加权。

随后，KVMN 对所有词进行同样的操作，并把得到的所有词的输出

平均，得到句法知识的向量表征

。然后，把

和 BERT 的输出中对应 CLS 符号的向量（

）拼接在一起，作为整个新“句子”的特征，随后通过一个 softmax 分类器得到模型预测的情感极性。

值得注意的是，上述模型在构建与词

关联的（键，值）对时，只考虑了一阶依存句法关系（即与

直接连接的词和依存关系类型），但是该方法可以把寻找（键，值）对的方法拓展到高阶的依存句法关系。例如，考虑二阶依存句法关系的（键，值）对不但包括与

直接相连的词（即一阶依存句法关系），也包括那些通过两条边与

相连的词。

实验结果

该论文在 5 个标准英文数据集上测试了模型的性能。实验结果表明，通过记忆网络加入依存句法信息在方面情感分析任务中是有效的，该论文的模型在 5 个数据集上均超过了基于 BERT 的基础模型，并在其中的 4 个超过了所有之前的研究，达到了目前最好的结果（见上表）。

此外，该论文还对不同阶数的依存句法知识的作用进行了分析，实验结果如上表所示。实验结果表明，采用二阶依存句法知识的模型能达到最好的结果。可能的原因是，一阶句法知识未能有效包含充足的有用的上下文信息，而三阶句法知识往往使得句子中超过 70% 的词都被考虑，过多地引入了无关的上下文信息，进而影响模型的性能。

更多阅读

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

???? 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

???? 投稿邮箱：

• 投稿邮箱：hr@paperweekly.site

• 所有文章配图，请单独在附件中发送

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

????

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。