（阅读笔记）PARE：A Simple and Strong Baseline for Monolingual and MultilingualDistantly Supervis
来源：2022.ACL PARE：用于单语和多语远程监督关系提取的简单而强大的基线
模型的优势：
1、模型简单；
2、每个token都可以和句子中的其他token交换信息（包内句子交换信息，充分利用包中的信息）；
3、能够放宽至少一个假设的一部分，例如：包中没有一个句子单独表达了当前句袋的关系，但可能存在包中多个实例共同预测了该种关系的情况，该模型可以由此学会提取这种关系。
模型
首先通过连接句袋 B(e1, e2) 中的所有句子来构造一个段落 P (e1, e2)。然后，再通过 BERT (Devlin et al, 2019)（或用于多语言设置的 mBERT）对整个段落进行编码。由此生成包中每个token的上下文嵌入。为了让这些嵌入感知候选关系，采用训练过的关系查询向量 r，通过注意力生成整个段落的关系感知summary。然后用它来预测 (e1, r, e2) 是否是一个有效的预测。
如上图，以一个有三个句子的句袋为例，该模型分为三个部分：段落构建、编码+summarization、预测。
一、段落构建
顺序拼接包中的每一个句子，遇到以下两种情况终止：
（1）超过bert允许输入的最大tokens数目（512个）；
（2）包中所有句子已被采样完成。
二、编码+summarization
1、编码
将上述构建的段落送入bert/mbert生成每个token -wj的上下文嵌入zj。具体操作如下：
（1）[CLS]标记段落的开始；
（2）[SEP]分隔段落中的每个句子；
（3）[PAD]对于最大数目512，如有剩余的token数目则使用特殊标记[PAD]进行填充。
（4）并且使用了Han et al., 2019的方法在实体e1,e2两侧分别加入特殊实体标记token<e1>,</e1>; <e2>,</e2>(https://aclanthology.org/D19-3029/)
2、Summarization
(1)随机初始化每个关系的查询向量ri;
(2)ri和wj（注意非bert编码的zj）做点积运算，得到一个正则化注意力αij;
(3)计算整个段落的relation-attended summary如下：
L为输入token的长度，summary表示为段落中所有token的加权和，此处特殊标记[CLS],[SEP],[PAD]都作为token参与运算。
三、预测
将上述过程得到的z(e1,ri,e2)输入一个后接sigmoid激活函数的MLP分类器，得到三元组（e1,ri,e2）为关系ri的可能性pi,并设置临界值为0.5，当pi>0.5时，判断为关系i的正例。
损失函数：二元交叉熵
（阅读笔记）PARE：A Simple and Strong Baseline for Monolingual and MultilingualDistantly Supervis相关推荐
- 论文阅读笔记——《a simple but tough-to-beat baseline for sentence embeddings》
<a simple but tough-to-beat baseline for sentence embeddings>published at ICLR 2017. ICLR会议的论文 ...
- 【GCN-RS】SOTA 对比学习：SimpleX: A Simple and Strong Baseline for Collaborative Filtering (CIKM‘21)
SimpleX: A Simple and Strong Baseline for Collaborative Filtering (CIKM'21) 人大高瓴.华为诺亚方舟和清华深圳院的工作.清华前 ...
- [VOT16](2021CVPR)SwinTrack: A Simple and Strong Baseline for Transformer Tracking
先贴一个整体流程图: Abstract 跟踪背景:Transformer近期在提升视觉跟踪算法中展示了明显的潜力.然而,现存的基于transformer的跟踪器大部分来说使用Transformer来混 ...
- Qt文档阅读笔记-Qt 3D: Simple C++ Example解析
本节官方Demo,使用Qt3D渲染场景 在main.cpp文件中,设置scene. 为了能使用相关的类和函数,需要include.Qt3DCore.Qt3D.Qt3DExtras模块. #includ ...
- SwinTrack: A Simple and Strong Baseline for Transformer Tracking（NIPS2022）
SwinTrack 摘要 介绍 相关工作 方法 实验 摘要 近期,Transformer在视觉跟踪方面进行了深入探索,并展示了显著的潜力.然而,现有的基于Transformer的跟踪器主要将Trans ...
- Object Region Mining with Adversarial Erasing: A Simple Classification to Semantic Segmentation阅读笔记
Object Region Mining with Adversarial Erasing: A Simple Classification to Semantic Segmentation Appr ...
- Simple Baselines for Human Pose Estimation 阅读笔记
SimpleBaseline姿态估计阅读笔记 ECCV2018 论文链接 代码链接 摘要: 近年来,姿态估计在取得重大进展的同时,总体算法和系统复杂性也日益增加,加剧了算法分析和比较的难度,本项工作提 ...
- A Strong Baseline and Batch Normalization Neck for Deep Person Re-identification（论文笔记）（2019CVPR）
论文链接:<A Strong Baseline and Batch Normalization Neck for Deep Person Re-identification> Abstra ...
- 论文阅读 A simple yet effective baseline for 3d human pose estimation
A simple yet effective baseline for 3d human pose estimation 一个简单有效的3d人体姿态估计基准 Abstract 继深层卷积网络的成功之后 ...
最新文章
- jdbcTemplate 调用存储过程。 入参 array 返回 cursor
- oracle乘法运算,oracle实现相乘话语
- C++ 命名空间 实战（二）之 直接数组访问迭代器访问
- zookeeper做集群后启动不了，大部分原因是防火墙未关闭
- 更改jenkins的默认工作空间并迁移插件和配置数据
- mysql分组查询的两类
- C/C++ atol函数- C语言零基础入门教程
- java中文乱码decode_JAVA中文字符乱码解决详解
- 基于Tezos的算法稳定币Kolibri启动测试版
- 西游中算命先生袁守诚泄露了天机，为何却是泾河龙王被砍头？
- spring MongoDB 集成(分页)
- Atitit.数据库表的物理存储结构原理与架构设计与实践
- mseed读取[2]
- 利用Apache POI操作ppt模板
- 小涴熊漫画CMS一款不错的开源免费的漫画连载系统带采集API
- linux系统视屏录像_在Linux上的点击，弹出和故障排除录像
- 刽子手游戏 C语言实现
- macbook macOS苹果电脑到底需不需要清理系统垃圾？
- 读书笔记《推荐系统实战》| 好的推荐系统
- 服务器------scp命令上传文件到服务器