MultiWOZ 2.1: A Consolidated Multi-Domain Dialogue Dataset with State Corrections and State Tracking Baselines

MultiWOZ 2.1：具有状态校正和状态跟踪基线的综合多域对话数据集

Abstract

首先抬一手MUZ2.0，虽然目前是最大的多域对话数据集，但是MUZ2.0还是存在很多问题。

第一：对话状态注释和对话话语中存在大量的噪声

第二：扩充了原始数据集的多个共存版本，不统一

所以论文提出2.1版本的数据集解决以上问题。

为了解决数据集中的噪声问题，人工的重新对对话数据集进行标注。此外，将数据集中话语的槽值规范成预定于实体中的槽值。

并包含了域槽的描述

Introduction

DST 的重要性，MUZ2.0数据集为turn级别的数据集进行对话状态的注释，但是有噪声。

论文的贡献：

一、论文中详细总结了2.0中出现的4种错误，此外更正拼写错误，和规范化实体名称。

二、2.1将最近为2.0增加的很多对话行为都总结起来，并加入了域槽的描述信息。

Dataset Corrections

MUZ2.0中的话语是Wizard-of-OZ数据集中收集的，在这个数据集中有两个工作人员一个扮演向导，一个扮演用户。为用户角色提供一个目标，让用户角色的人与基于文本的聊天界面与向导交流。在这种情况下，2.0数据集中会出现以下错误：

Dialogue State Error Types

（1）延迟注释：指应该在当前轮次注释的槽值确没有注释，而是在之后几轮处理后注释上了。

（2）槽值分开注释：话语中提到的槽值其中含有多个token，这样模型就有可能针对多个token匹配多个槽值，从而导致对话状态的性能下降

（3）注释错误：槽值填充错误

（4）槽值拼写错误：槽值注释的是正确的，但是拼写错误

（5）槽值遗忘：有些预定义的槽值一直没有出现在对话状态中

Dialogue State Corrections

论文中采用两种方法修正数据集中的错误：（1）手动修改（2）自动修改。

手动修改是要求工作人员逐个对样本进行检查并修改

其中作者发现有些对话样本钟大哥对话状态的域槽可能包含多个槽值，因此，作者将多个槽值加入进去了。2.1数据集中有超过250哥多曹植的域槽。

同时发现对话话语中存在错误的槽值，会影响对话状态的生成，作者将生成的对话状态的槽值根据后台数据库规范化。

规范化槽值之后，很多域槽中的槽值明显减少，说明作者去掉了一些重复不规范的槽值，但是针对时间方面的域槽，槽值增加了，因为作者扩充了时间点，以24小时制度注释。

Dialogue Utterance Corrections

作者指出，对话话语中提及的槽值的规范化正确性非常重要。即话语中的槽值有可能拼写错误、或者与预定义实体中的槽值拼写不一样。

总共修改了146个话语。

Slot Description

为了适应低资源任务的开发，可以通过学习潜在的语义表示仅使用slot描述来引导新领域。是可行的。

我们研究了两个注释器，并未每个域槽添加了至少一个自然语言描述。当在插槽名称本身不具有含义的情况下采用自然语言描述会帮助模型理解。

Dialogue act annotation

2.0中缺少用户话语行为的注释。作者对系统话语和用户话语都进行了增加

Results and Discussion

性能下降，为DST未来模型改进留下了充足改进的空间。

MultiWOZ 2.1数据集论文笔记相关推荐

论文笔记目录（ver2.0）
1 时间序列 1.1 时间序列预测论文名称来源主要内容论文笔记:DCRNN (Diffusion Convolutional Recurrent Neural Network: Data-Dr ...
RES 新的数据集 Advancing Referring Expression Segmentation Beyond Single Image 论文笔记
RES 新的数据集 Advancing Referring Expression Segmentation Beyond Single Image 论文笔记一.Abstract 二.引言三.相关工 ...
【论文笔记】 LSTM-BASED DEEP LEARNING MODELS FOR NONFACTOID ANSWER SELECTION
一.简介这篇论文由IBM Watson发表在2016 ICLR,目前引用量92.这篇论文的研究主题是answer selection,作者在这篇论文基础上[Applying Deep Learnin ...
光流速度_[论文笔记] FlowNet 光流估计
[论文笔记] FlowNet: Learning Optical Flow with Convolutional Networks 说在前面个人心得: 1. CNN的光流估计主要是速度上快,之后的v ...
论文笔记：HKMF-T: Recover From Blackouts in TaggedTime Series With Hankel Matrix Factorization
论文笔记:Hankel Matrix Factorization for Tagged Time Series to Recover Missing Values during Blackouts_U ...
论文笔记 A Spatial-Temporal Decomposition Based Deep Neural Network for TimeSeries Forecasting
0 abstract 空间时间序列预测问题出现在广泛的应用中,如环境和交通问题.由于存在特定的空间.短期和长期模式,以及维度的诅咒,这些问题具有挑战性. 在本文中,我们提出了一个用于大规模空间时间序列 ...
论文笔记：Autoregressive Tensor Factorizationfor Spatio-temporal Predictions
0 摘要张量因子tensor factorization分解方法在时空数据分析领域很受欢迎,因为它们能够处理多种类型的时空数据,处理缺失值,并提供计算效率高的参数估计程序. 然而,现有的张量因子分解 ...
Deep Learning论文笔记之（八）Deep Learning最新综述
Deep Learning论文笔记之(八)Deep Learning最新综述 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完 ...
Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现
Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文, ...

MultiWOZ 2.1数据集论文笔记