一、摘要

二、介绍

三、相关工作

基于社交的假新闻检测

基于内容的假新闻检测

四、模型

有向异构文档图

异构图卷积

实体比较网络

基于KB的实体表示

实体比较

模型训练

一、摘要

在这篇论文里，提出了一个端到端的模型CompareNet，通过假新闻中的实体对比较了新闻和知识库（KB）。

考虑到假新闻和主题也相关，我们也利用了主题去丰富新闻的表示。

具体来说：

（1）我们首先为每个包含主题和实体的新闻构建一个有向异构文档图。

（2）在这个图的基础上，我们开发了一个异构图注意网络来编码新闻内容。

（3）通过实体比较网络，将上下文实体与相应的基于KB的实体进行比较，获得新闻内容与KB之间的一致性。

（4）最后，将结合了实体比较特征的新闻表示送进分类器。

二、介绍

（1）现有方法的缺点：

a) 没有考虑到文档中句子的互动【真新闻和假新闻有不同的互动模式】

b) 不能充分利用外部知识库【wiki百科有主-谓-宾元组和实体描述】

（2）作者的做法：

a) 构建 a directed heterogeneous document graph，包含了句子，主题，实体作为节点。

句子之间是双向连接 + 句子和主题之间双向连接 + 句子和实体直接单向连接（原因：学习到新闻的上下文表示，又能保证真实的实体知识对新闻的影响）

b) 开发 a heterogeneous graph attention network 去学习主题丰富的新闻表示和上下文实体表示。

将学习到的上下文实体表示和实体比较网络的相应实体对进行比较，以获取新闻内容与外部知识库之间的语义一致性。

c) 结合主题丰富的新闻表示和实体比较特征进入分类器。

【作者将代码和数据集开源：https://github.com/ytc272098215/FakeNewsDetection】

（3）本文的贡献：

1、提出了CompareNet结合了外部知识（通过实体）。

2、在CompareNet中，构建了一个包含了主题和实体的图，并且开发了相应的注意力网络去学习主题丰富的新闻表示，还利用了一个新的实体比较网络去比较新闻和KB。

3、大量的实验证明，结合外部信息和主题信息有用。

三、相关工作

基于社交的假新闻检测

用户个人资料、社会关系、基于立场、基于传播

基于内容的假新闻检测

句子之间的交互、依赖于构图的质量

四、模型

有向异构文档图

对于每一篇文档，构建一个有向异构图。

节点：

sentences S + topics T + entities E

边：

将新闻文件分割成一组句子，边之间双向连接。

每个句子被当成伪文档，被分到top P个相关的主题（使用无监督的LDA）。双向连接。

识别文档中的实体并映射到wikipedia【使用链接工具TAGME】。单向连接，句子->实体

异构图卷积

对节点的编码：

对句子s：使用LSTM去编码 s={w1,w2...wm}得到特征向量 $X_s\in R^{m}$

对实体e：以在KB中学到的实体表示 $e_{KB} \in R^{M}$ 。（下文会提到）

对主题t：以one-hot编码表示 $x_{t} \in R^{K}$

下一步：

$X \in R^{|V|*M}$ :代表了所有节点的特征。每一行（维度M）就是一个节点（共|V|个）的特征。

A：邻接矩阵

D：degree矩阵

第 l+1 层的表示：

公式理解：

$\tau$ 表示的是节点类型。

${\color{Red} {\color{Red} }B_\tau \in \mathbb{R}^{|V|*|V_\tau |} }$ ：代表的是注意力矩阵，行代表所有节点，列表示类型为 $\tau$ 的邻居节点

（如何计算 ${\color{Red} B_\tau }$ ？以第v行第 $v^{'}$ 列为例）

v是注意力向量， $\alpha _ T$ 是type-level的注意力权重， $h_v$ 是当前节点v的表示， $h_{v^{'}}$ 是邻居节点 $v^{'}$ 的表示。

（如何计算 $\alpha _ T$ ?）

（如何计算 $h_T$ ?）

.........

$W_{\tau } ^{l}$ ：是变化矩阵，将不同特征空间的向量投影到同一空间中。

最终，我们得到了句子节点（ $H_d \in \mathbb{R}^{N}$ ）和实体节点( $e_c \in \mathbb{R}^{N}$ )的表示向量。

实体比较网络

基于KB的实体表示

本节将介绍如何利用KB里的结构化的主谓宾 triplets 和非结构化的实体描述去学习实体表示 $e_{KB}$ 。

结构化embedding：

使用TransE，对于给定的（h,r,t），TransE将关系r作为翻译向量（从头h到尾t的翻译向量，即h+r=t）

文本embedding：

对于每个实体，使用wiki的第一段话作为描述。使用LSTM编码描述得到 $e_d \in \mathbb{R}^{M}$

门控：

实体比较

计算出比较向量 $a_i$

最终得到了比较向量 $C \in \mathbb{R}^{N}$ (通过对 $A = [a_1,a_2...a_n]$ 进行max-pooling)

模型训练

C:比较向量

$H_d$ ：文档表示向量

好多问题、、

【ACL-2021】Compare to The Knowledge: Graph Neural Fake News Detectionwith External Knowledge相关推荐

【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（7）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](7) Into the Weeds Other types of grap ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（6）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](6) GNN playground Some empirical GNN ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（1）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](1) 最近读了一篇Distill网站上的一篇文章,讲的是图神经网络的入门, ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（5）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](5) Graph Neural Networks 图神经网络 Now th ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（4）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](4) The challenges of using graphs in ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（3）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](3) What types of problems have graph ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（2）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](2) Graphs and where to find them 图以及在 ...
论文阅读笔记（五）【ACL 2021】Answering Ambiguous Questions through Generative Evidence Fusion and Round-Trip P
通过生成性证据融合和往返预测回答模糊问题关键词: 生成性证据融合: 往返预测: 模糊问题摘要一般的开放域QA问题: 在开放域问答中,问题很可能是模棱两可的,因为用户在制定问题时可能不知道相关主题 ...
论文阅读笔记（四）【ACL 2021】FEW-NERD: A Few-shot Named Entity Recognition Dataset
摘要过去的难点: 过去的都是粗粒度的: Few-NERD: 一个大规模的人类注释的小样本NERD数据集,它具有8种粗粒度和66种细粒度实体类型的层次结构.Few-NERD由来自维基百科的188238 ...

【ACL-2021】Compare to The Knowledge: Graph Neural Fake News Detectionwith External Knowledge

一、摘要

二、介绍

三、相关工作

基于社交的假新闻检测

基于内容的假新闻检测

四、模型

有向异构文档图

异构图卷积

实体比较网络

基于KB的实体表示

实体比较

模型训练

【ACL-2021】Compare to The Knowledge: Graph Neural Fake News Detectionwith External Knowledge相关推荐

最新文章

热门文章