点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

3月3日晚7:30-9:00

AI TIME特别邀请了一位优秀的讲者跟大家共同开启AAAI 专场一！

哔哩哔哩直播通道

扫码关注AITIME哔哩哔哩官方账号

观看直播

链接：https://live.bilibili.com/21813994

★ 邀请嘉宾 ★

顾小东：上海交通大学副教授，博士生导师，研究方向为程序搜索、对话生成、语言模型等。2017年博士毕业于香港科技大学，师从Sunghun Kim教授。2015-2016年间作为实习生在微软亚研院从事程序自动生成方面的研究。以第一作者在ICLR、ICSE、FSE、AAAI、IJCAI等人工智能和软件工程领域顶级会议发表论文数篇，并担任审稿人。

报告题目：

基于学习排序的对话模型预训练策略

摘要：

预训练语言模型在对话生成领域取得一定的成功，然而现有的方法通常将多轮对话上下文视为一段较长的单词序列，采用字符级的自注意机制进行表示学习。该策略难以准确获取句子层级的连贯关系，并且在时间上很低效。本文提出一种针对多轮对话生成的预训练模型DialogBERT，采用层次化BERT构建句子级的连贯关系，并提出两种预训练方法：掩藏句编码回归和分布式句子顺序预测。在微博、DailyDialog等长短对话数据集上的实验结果标明DialogBERT相比现有基于预训练的对话模型如BART, DialoGPT等可以生成更连贯、细致的应答。

★ Reference ★

论文标题：

DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances

论文链接：

https://arxiv.org/abs/2012.01775

直播结束后我们会邀请讲者在微信群中与大家答疑交流，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“aaai”，将拉您进“AAAI 2021交流群”！

AI TIME微信小助手

主         办：AI TIME 、AMiner

合作伙伴：智谱·AI、中国工程院知领直播、学堂在线、CSDN、学术头条、biendata、大数据文摘、数据派、 Ever链动、机器学习算法与自然语言处理

AMiner是学术搜索和社会网络挖掘研究的重要数据和实验平台，由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万。

1）AMiner平台：https://www.aminer.cn

2）会议专题页面：https://www.aminer.cn/conf/emnlp2020

AI TIME欢迎AI领域学者投稿，期待大家剖析学科历史发展和前沿技术。针对热门话题，我们将邀请专家一起论道。同时，我们也长期招募优质的撰稿人，顶级的平台需要顶级的你，

请将简历等信息发至yun.he@aminer.cn！

微信联系:AITIME_HY

AI TIME是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，打造一个知识分享的聚集地。

更多资讯请扫码关注

我知道你在看哟

点击 阅读原文 跳转直播间