【阅读笔记】ACL-2020《KinGDOM：Knowledge-Guided DOMain Adaptation for Sentiment Analysis》
Motivation：
ConceptNet 构建跨域的知识图谱补充增强了文本表示的泛化性
【Target domain】被测领域 【Source domain】由ConceptNet构建辅助预测
该框架考虑了无监督的域适应，可以从源域和目标域分别获得带标签的实例和未标记的实例，目标是训练一个能够在目标域上获得良好分类性能的分类器。
Model Overview：
- 训练ConceptNet的一个领域聚合的子图。以ConceptNet所有信息作为输入，提取各领域中特有形容词和副词作为种子词集合；选取种子词一跳构建领域节点的ConceptNet子图；利用R-GCN学习concept representations，并得到一个图形自动编码器。
- 得到图形自动编码器之后，从训练好的ConceptNet子图中，为数据集中每个实例都提取并汇集相关的特征；之后将相应的图特征向量与文本向量一起输送 到领域对抗神经网络(DANN)中用于对抗训练。
最后为了进一步加强域的不变性，作者还引入了一个共享的自动编码器来重建图型的特征。
Model Details：
- 领域聚合的常识性图构造 。ConceptNet图G作为输入从G中提取所有距离这些种子词1以内的三元组，生成一个子图G ' = (V '，E '，R ')，其中大约有356k节点和900k条边，此子图将包含跨所有领域的概念以及概念间链接。
- 知识图谱预训练。
- Encoder Module.本文作者重用R-GCN作为图编码器，R-GCN的优势在于：可以在多次推理的步骤中从给定概念的局部邻域中积累关系信息。编码器模块有两层相互堆叠的GCN编码器组成，初始的概念特征向量gi通过随机初始化得到，之后利用两次图卷积神经网络对gi进行处理，转换为节点的领域聚合特征向量hi。
- Decoder Module.评分函数计算方法
- Training.利用负采样的方法训练图形自动编码器模型。
- 常识图特征提取 训练好的图形自动编码器模型可用于特征提取。
- 第一步是提取text中所有唯一的名词、形容词和副词的集合，称为W;
- 接下来，我们从G’中提取一个子图，在这个子图中，我们取所有的三元组，它们的构成节点要么在W中，要么在W中任何单词的半径1附近。得到的子图称之为G’w
- 然后，利用之前训练好的图形自动编码器模型的Encoder对子图G’w编码，得到子图中每个节点j的唯一编码hj
- 最后对子图G’w中所有唯一节点的特征向量hj求平均，得到文本X的常识图特征向量Xcg。
- 领域对抗训练 从子图G’w中得到的文本常识性图特征向量和文本预训练word embedding 作为输入。利用图特征编码器M’对子图中得到的图特征向量编码，得到图特征向量Zgrp。利用领域对抗神经网络(DANN)对文本的word embedding进行编码得到向量Zdann，并将得到的两个向量串联，获得最终的特征向量表示[Zdann；Zgrp]。
- 之后任务分类器C和领域鉴别器Dadv将最终的特征向量表示[Zdann；Zgrp]作为输入，得到最终的分类结果和分类过程产生的损失Lcls。
致谢：ACL-2020《KinGDOM：Knowledge-Guided DOMain Adaptation for Sentiment Analysis》阅读笔记 - 程序员大本营https://www.pianshen.com/article/41772072069/
【阅读笔记】ACL-2020《KinGDOM：Knowledge-Guided DOMain Adaptation for Sentiment Analysis》相关推荐
- 论文解读：SentiPrompt: Sentiment Knowledge Enhanced Prompt-Tuning for Aspect-Based Sentiment Analysis
论文解读:SentiPrompt: Sentiment Knowledge Enhanced Prompt-Tuning for Aspect-Based Sentiment Analysis 简要信 ...
- 【论文阅读】Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift
Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift SUMMARY@ 2020 ...
- 论文笔记-SSF-DAN: Separated Semantic Feature based Domain Adaptation Network for Semantic Segmentation
论文信息 论文标题:SSF-DAN: Separated Semantic Feature based Domain Adaptation Network for Semantic Segmentat ...
- 笔记： Gradient Reversal Layer (unsupervised domain adaptation by backpropagation. ICML 2015)
paper: Ganin, Yaroslav, and Victor Lempitsky. "Unsupervised domain adaptation by backpropagatio ...
- 论文阅读之A Challenge Dataset and Effective Models for Aspect-Based Sentiment Analysis（2019）
文章目录 前言 论文阅读 变量定义 Embedding Layer Encoding Layer Primary Capsule Layer Aspect Aware Normalization Ca ...
- 论文阅读笔记：BB-KBQA: BERT-Based Knowledge Base Question Answering
论文来自 Chinese Computational Linguistics 以下笔记只记录部分内容 abstract 大多数现有的方法都是基于模板的,或者是在特定任务的数据集上进行训练的.然而,手工 ...
- 【论文阅读笔记|EMNLP2022】A Span-level Bidirectional Network for Aspect Sentiment Triplet Extraction
论文题目:A Span-level Bidirectional Network for Aspect Sentiment Triplet Extraction 论文来源:EMNLP2022 论文链接: ...
- 论文阅读：Leveraging multimodal information for event summarization and concept-level sentiment analysis
利用多模态信息进行事件摘要和概念级别的情感分析 文章目录 利用多模态信息进行事件摘要和概念级别的情感分析 0. 摘要 1. 介绍 2. 相关工作 3. 系统概述 3.1 EventBuilder 3. ...
- Personalized Bundle Recommendation in Online Games 阅读笔记
Personalized Bundle Recommendation in Online Games 阅读笔记 CIKM 2020 Qilin Deng, Kai Wang, Minghao Zhao ...
最新文章
- CF888G Xor-MST （01字典树+MST）
- Tengine(nginx) 搭建Tomcat集群
- msconfig深解
- 前端学习（2399）：关于编辑代码编辑器
- .Net 自己写个简单的 半 ORM （练手）
- vscode无法识别constexpr
- 内网python 仓库_GitHub - xanarry/LanTrans-desktop: 这是一个用python写的局域网传文件工具, 跨平台, 仓库中还有安卓版的工程...
- qt glsl渲染rgb
- 从零开始学习makefile(8) gcc -MM的作用
- 天线多频设计方法精讲
- 1005打印任务取消不了 hp_1005打印任务取消不了 hp_解决hp1005打印机无法打印故障...
- 关于Enterprise library logging中一个没搞明白的东西,希望有大大们进来帮忙释疑一下, THKS...
- 微信小程序 - “本地资源图片无法通过WXSS 获取，可以使用网络图片，或者 base64，或者使用标签” 解决
- 小米笔记本降价销售或预示其销售未如理想
- 计算机图片数据传输图,电脑对电脑或手机传送文件图片的工具
- 有关老年计算机培训的报道,深晚报道|教老年人使用智能手机 南澳开展“智能时代，乐享生活”培训活动...
- QPSK的调制与解调
- 测试分类-软件开发阶段的各个测试
- 第九天 (集合 ArrayList)
- matlab中画圆圈,如何在Matlab中绘制圆圈？