文本生成论文阅读Enhancing Topic-to-Essay Generation with External Commonsense Knowledge
读读论文吧，明天是周一也是新的一天，加油奥利给。
文章目录
- 前言
- 一、主要贡献
- 二、模型框架
- 三、新知
- 总结
前言
TEG任务是指给定 topic 集合，生成主题相关、段落集的文本。过去的任务忽略了常识知识，本文通过动态记忆机制将外部知识库中的常识集成到生成器中。 因为来源信息的极度不足可能会使生成的文章在新颖性和主题一致性方面质量低下。所以在这篇论文中精心设计了一个记忆增强神经模型，有效地融合了常识性知识。 其动机是来自外部知识库的常识可以提供额外的背景信息。
一、主要贡献
主要贡献有以下两点
1.我们提出了一个带有对抗性训练的记忆增强神经模型，将外部常识知识集成到主题论文生成中。
2.我们开发了一系列自动评估指标，以全面评估生成文章的质量。
二、模型框架
常识通过动态记忆机制集成到生成器中。 在解码阶段，该模型可以关注每个词的信息最丰富的记忆概念。 同时，动态地更新记忆矩阵以包含生成的文本的信息。 这种记忆和生成的文本之间的相互作用有助于主题的连贯转换。 为了提高主题一致性，作者采用了基于多标签鉴别器的对抗性训练。 判别信号可以综合评估输出对给定主题的覆盖程度，使得生成的论文更加紧密地围绕所有输入主题的语义。
模型对抗性训练来交替训练生成器和鉴别器。编码器使用LSTM,其目的是集成主题信息。 它从两个方向读取输入的主题序列X，并计算每个主题的隐藏状态。解码器配备了一个记忆机制，以有效地整合常识知识。动态记忆机制使记忆与生成文本之间的相互作用，有助于生成短文中主题的连贯转换。由 Highway network 启发，应用一个门控机制去确定 i-th 记忆条目要被更新多少，动态更新使得记忆和生成的文本之间有了交互。
引入鉴别器D来评价输入主题与生成的文章之间的主题一致性，进一步提高了文本质量。
模型评估从新颖、多样、一致性三方面评估，评估方法分为自动评估和人力评估。
三、新知
1.比较有意思的是作者这里也采用了一种消融研究：没有对抗性训练，没有记忆机制，没有动态更新。来体现该模型的优越性。消融研究表明对抗训练和动态记忆机制都有助于提高输出质量。 然而，一个有趣的发现是，对抗训练和记忆机制侧重于改善模型的不同方面。通过这个也表明外部的常识知识，可以丰富信息，导致输出更加新颖多样。
2.还有一点就是在本篇论文当中作者将对抗学习与深度学习结合起来，模型的效果较之前人更好。
参考知乎大佬解读
总结
文本生成论文阅读Enhancing Topic-to-Essay Generation with External Commonsense Knowledge相关推荐
- 毫米波点云生成论文 阅读笔记 | 3D Point Cloud Generation with Millimeter-Wave Radar
毫米波点云生成论文 | 3D Point Cloud Generation with Millimeter-Wave Radar Kun Qian, Zhaoyuan He, Xinyu Zhang ...
- 文本生成 论文阅读A Syntactically Constrained Bidirectional-Asynchronous Approach for Emotional Conversation
本篇文章用关键词同是约束主题和情感 文章目录 前言 一.步骤 二.使用模型 三.使用结果 总结 前言 天越来越冷了 真的不想学习 疲惫呀 但是要坚持下去呀呀呀 本篇论文提出可一种利用句法的约束的双向异 ...
- 论文阅读：Can Generative Pre-trained Language Models Serve As Knowledge Bases for Closed-book QA
论文阅读:Can Generative Pre-trained Language Models Serve As Knowledge Bases for Closed-book QA 来源:ACL 2 ...
- 《论文阅读》Multi-Task Learning of Generation and Classification for Emotion-Aware Dialogue Response Gener
<论文阅读>Multi-Task Learning of Generation and Classification for Emotion-Aware Dialogue Response ...
- 《论文阅读》PLATO: Pre-trained Dialogue Generation Model with Discrete Latent Variable
<论文阅读>PLATO: Pre-trained Dialogue Generation Model with Discrete Latent Variable 简介 论文试图解决什么问题 ...
- 论文解读：Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge
论文解读:Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge 论文下载:https:// ...
- 医学报告生成论文阅读笔记
1.Transformers in Medical Imaging: A Survey 综述了Transformers在医学图像分割.检测.分类.重建.合成.配准.临床报告生成和其他任务中的应用. S ...
- 可控文本生成系列-A Survey of Controllable Text Generation using Transformer-based Pre-trained
一.Controlable Text Generation(CTG)定义与应用 1. 什么是CTG Controlable Text Generation,可控制的文本生成,就是能够在传统的文本生成的 ...
- BERT论文阅读(二): CG-BERT:Conditional Text Generation with BERT for Generalized Few-shot Intent Detection
目录 The proposed method Input Representation The Encoder The Decoder fine-tuning discriminate a joint ...
最新文章
- HDU 2444 The Accomodation of Students
- 计算机学院特色游戏,网络游戏七大特点浅析
- Android 四大组件之——Acitivity(四) Activity是如何加载显示内容的？
- IAR需要注意的地方
- mysql 存储微信昵称乱码_MYSQL 保存微信昵称特殊字符报错解决方法-设置编码集为utf8mb4的方法...
- 【转载】Sitemap在线生成器,网站地图在线生成工具
- GUAVA常用方法总结整理 String list map转换
- mybatis分页应用
- 网络服务器是硬盘吗,云盘与网络服务器硬盘是什么？它们一样吗？
- Silvaco 学习笔记——物理模型：载流子产生复合模型
- ios睡眠分析 卧床 睡眠_AutoSleep 5 测评：一款自动化监测睡眠的 iOS + watchOS App
- GPT硬盘分区命令parted
- 如何进行有效的大数据处理、分析？
- “跨境电商EBC”概念正式亮相
- 电力电子元器件行业研究：市场规模持续增长
- CF1613B Absent Remainder
- 十年前他在马王堆送快递，如今当上航空主管，拯救客户亿元大单
- 小鸡小猪大历险java_奇想国大师名著：小鸡大冒险
- 在任务管理器中不小心把资源管理器给关了导致电脑黑屏
- 免费学习网站-中国大学mooc