LM任务

T a s k : L a n g u a g e M o d e l i n g ( L M ) 任务 i n p u t c t = ( w 1 ， w 1 … ， w t − 1 ) o u t p u t p ( w t ∣ c t ) c 即 c o n t e x t ，即由上下文预测下一个单词或字符是什么常规方法 B a s e L M ： h t = f ( c t ) ∈ R d , p ( w t ∣ c t ) = S o f t m a x ( W h t ) E v a l u a t i o n M e t r i c : p e r p l e x i t y Task :Language Modeling(LM)任务\\ input \ c_t=(w_1，w_1…，w_{t-1}) \\ output \ p(w_t\vert c_t) \\ {\tiny c即context，即由上下文预测下一个单词或字符是什么} \\ 常规方法BaseLM：h_t=f(c_t)\in R^d,p(w_t\vert c_t) =Softmax(Wh_t)\\ Evaluation \ Metric: \href{https://www.zhihu.com/question/58482430}{perplexity} Task:LanguageModeling(LM)任务input ct=(w1，w1…，wt−1)output p(wt∣ct)c即context，即由上下文预测下一个单词或字符是什么常规方法BaseLM：ht=f(ct)∈Rd,p(wt∣ct)=Softmax(Wht)Evaluation Metric:perplexity

本网络

基于图神经网络的语义理解模型的GNN-LM，它将传统的NLP的闭卷模式，转变为开卷模式：在推理过程中允许参考训练数据。

输入的样例为query，首先在训练数据中通过K近邻（KNN）寻找相似的样例为邻居。通过图神经网络GNN建立输入样例与邻居的关系。

KNN

We further combine GNN-LM with kNN-LM (Khandelwal et al., 2019), an orthogonal technique enhancing language models, to improve the overall performance of our model.¹

近邻查询的结果展示：

图的构建

V : v e r t e x 即每个 t o k e n A : 点的类型， { a o 取自 i n p u t ， a n 取自 r e t r i v e } R : 边的类型， { r i n t e r 不同 c o n t e x ， r i n t r a 同 c o n t e x } 函数： τ 点类别查询 , Φ 边类别查询 V:vertex 即每个token \\ A:点的类型，\{a_o取自input，a_n取自retrive\} \\ R:边的类型，\{r_{inter}不同contex，r_{intra}同contex\}\\ 函数：\tau 点类别查询 , \Phi 边类别查询 V:vertex即每个tokenA:点的类型，{ao取自input，an取自retrive}R:边的类型，{rinter不同contex，rintra同contex}函数：τ点类别查询,Φ边类别查询

其中计算attention的方法：

GNN+KNN

注：本文使用的KNN除以了超参数T，以将尖峰平滑
BaseLM选择一个sota的LM训练后freeze

参考文献

GNN-LM: LANGUAGE MODELING BASED ON GLOBAL CONTEXTS VIA GNN
【AI Drive】第104期 - 香侬科技孟昱先：GNN-LM 从“闭卷考试”到“开卷考试”
求通俗解释NLP里的perplexity是什么？
代码

Generalization through Memorization: Nearest Neighbor Language Models ↩︎

香侬科技GNN-LM：基于全局信息的图神经网络语义理解模型笔记相关推荐

NeurIPS 2019 | 香侬科技开源Glyce2.0，中文字形增强BERT表征能力
文章标题:Glyce: Glyph-vectors for Chinese Character Representations 文章链接:https://arxiv.org/pdf/1901.1012 ...
香侬科技：打造出有中国文化特色的全球技术领先人工智能公司 | 百万人学AI评选
2020 无疑是特殊的一年,而 AI 在开年的这场"战疫"中表现出了惊人的力量.站在"新十年"的起点上,CSDN[百万人学AI]评选活动正式启动.本届评选活动在 ...
ICLR 2022 | 香侬科技提出基于图神经网络的语义理解模型，获单项满分
©作者 | 香侬科技来源 | 香侬科技近日,深度学习国际顶级会议ICLR 2022向作者公布了论文录用结果.香侬科技3篇论文被大会收录,研究内容覆盖通用自然语义理解.NLP神经网络模型安全性.自动 ...
【ACL2020】香侬科技提出基于span prediction的共指消解模型
点击上方,选择星标或置顶,每天给你送干货! 阅读大概需要11分钟跟随小博主,每天进步一丢丢来源:香侬科技论文标题: Coreference Resolution as Query-based S ...
香侬科技李纪为：初入NLP领域的一些小建议
作者 | 香侬科技李纪为,斯坦福大学计算机博士来源 | 李纪为知乎专栏 ACL 2019投稿刚刚落幕,投稿数超过了2800篇,可以说是历史以来最盛大的一届ACL.在深度学习的推动下,自然语言处理这个 ...
专访香侬科技：致力于让世界听到中文NLP的声音
像所有的创业者一样,香侬科技的初创团队胸怀梦想,期待有一天当人们提起香侬的时候,除了"信息论之父",还能想起来有一家用技术在链接大千世界的科技公司--香侬科技. 新生的香侬科技选择 ...
香侬科技提出中文字型的深度学习模型Glyce，横扫13项中文NLP记录
香侬科技近期提出 Glyce,首次在深度学习的框架下使用中文字形信息(Glyph),横扫 13 项中文自然语言任务记录,其中包括:(1) 字级别语言模型 (2) 词级别语言模型 (3) 中文分词 (4 ...
【研究生】横扫13项中文NLP任务：香侬科技提出汉语字形表征向量Glyce+田字格CNN...
选自arXiv 作者: Wei Wu.Yuxian Meng等转载于机器之心最近,香侬科技发表研究,提出了一种汉语字形向量 Glyce.该研究基于汉字的进化过程,采用多种汉字古今文字和多种书写风 ...
专栏 | 香侬科技独家对话Facebook AI研究院首席科学家Devi Perikh
Facebook 人工智能研究院(FAIR)首席科学家.佐治亚理工交互计算学院教授.计算机视觉实验室主任 Devi Parikh 是 2017 年 IJCAI 计算机和思想奖获得者(IJCAI 两个最 ...

香侬科技GNN-LM：基于全局信息的图神经网络语义理解模型笔记

LM任务

本网络

KNN

图的构建

GNN+KNN

参考文献

香侬科技GNN-LM：基于全局信息的图神经网络语义理解模型笔记相关推荐

最新文章

热门文章