语音识别(ASR)论文优选：车内场景粤语指令数据集CI-AVSR: A Cantonese Audio-Visual Speech Dataset for In-car Command Recogni
声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html。语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html，语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg）。如有转载，请注明出处。欢迎关注微信公众号：低调奋进。
CI-AVSR: A Cantonese Audio-Visual Speech Dataset for In-car Command Recognition
本文为香港科技大学在2022.01.11更新的文章，主要开源车载语音命令数据集，该数据集包括音频、视频和文本，适合于多模态语音识别，具体的链接
https://arxiv.org/pdf/2201.03804.pdf
注：前两天该实验室发了粤语数据集，可参考https://mp.weixin.qq.com/s/L1c-ohknkNfNHyO0TDOM2w
1 背景
随着深度学习和智能汽车的兴起，智能助手已成为促进驾驶和提供额外功能的必不可少的车载组件。然而，低资源语言存在数据稀缺问题，阻碍其研究和应用的发展。本文介绍了一个新的数据集，即粤语车载视听语音识别数据集(CI-AVSR)，用于通过视频和音频数据以粤语进行车载命令识别。
2 设计
文本主要分为四类： 1) navigation; 2) music playing; 3) weather inquiry; and 4) others，具体文本设计如table 1所示，每类文本数据量如table 2所示。
数据集内容：音频、视频和文本
参与人员：30位粤语人员
录制总时长：人工检测后4984 句 (8.3 小时)。通过添加背景噪声，使其数量增加10倍。图1和图2是数据的时长分布，table 3是数据集划分情况。
数据增量：添加车内场景10种背景噪声，使其数量增加10倍。alarm, horn, background music, ignition, hail, rain with wiper, cars passing by, door opens and closes, people talking, and dog barking。
3 实验
本文的数据集适合多模态的语音识别，选取了两个系统Conformer-based multimodal ASR model和Wav2Vec 2.0-based multimodal ASR model。训练时候只使用干净数据，没使用增加带噪数据（这也是后边实验噪声测试CER非常高原因。我感觉该实验还应该添加使用扩展后10倍数据进行训练对比）。table 4使其识别CER结果，该结果显示添加video多模态提高性能。wav2vec2效果好于conformer,主要由于wav2vec2使用大量数据预训练，而conformer只使用本文几十小时数据。table 5为wav2vec2对10种噪声数据的CER情况。
4 总结
本文开源车载语音命令数据集，该数据集包括音频、视频和文本，适合于多模态语音识别。
语音识别(ASR)论文优选：车内场景粤语指令数据集CI-AVSR: A Cantonese Audio-Visual Speech Dataset for In-car Command Recogni相关推荐
- 语音识别(ASR)论文优选：A comparison of streaming models and data augmentation methods for robust speech recog
声明:平时看些文章做些笔记分享出来,文章中难免存在错误的地方,还望大家海涵.搜集一些资料,方便查阅学习:http://yqli.tech/page/speech.html.语音合成领域论文列表请访问h ...
- 语音识别(ASR)论文优选：端到端ASR综述Recent Advances in End-to-End Automatic Speech Recognition
声明:平时看些文章做些笔记分享出来,文章中难免存在错误的地方,还望大家海涵.搜集一些资料,方便查阅学习:http://yqli.tech/page/speech.html.语音合成领域论文列表请访问h ...
- 语音识别(ASR)论文优选：Icassp 2022 M2MeT方案总结
声明:平时看些文章做些笔记分享出来,文章中难免存在错误的地方,还望大家海涵.搜集一些资料,方便查阅学习:http://yqli.tech/page/speech.html.语音合成领域论文列表请访问h ...
- 语音识别(ASR)论文优选：关注语音识别系统Fairness问题Towards Measuring Fairness in Speech Recognition
声明:平时看些文章做些笔记分享出来,文章中难免存在错误的地方,还望大家海涵.搜集一些资料,方便查阅学习:http://yqli.tech/page/speech.html.语音合成领域论文列表请访问h ...
- 语音识别(ASR)论文优选：挑战ASR规模极限Scaling ASR Improves Zero and Few Shot Learning
声明:平时看些文章做些笔记分享出来,文章中难免存在错误的地方,还望大家海涵.搜集一些资料,方便查阅学习:http://yqli.tech/page/speech.html.语音合成领域论文列表请访问h ...
- 语音识别(ASR)论文优选：性能测试Wav2Vec2.0 on the Edge: Performance Evaluation
声明:平时看些文章做些笔记分享出来,文章中难免存在错误的地方,还望大家海涵.搜集一些资料,方便查阅学习:http://yqli.tech/page/speech.html.语音合成领域论文列表请访问h ...
- 语音识别(ASR)论文优选：Adapting GPT, GPT-2 and BERT Language Models for Speech Recognition
声明:平时看些文章做些笔记分享出来,文章中难免存在错误的地方,还望大家海涵.平时搜集一些资料,方便查阅学习:http://yqli.tech/page/speech.html.如转载,请标明出处.欢迎 ...
- 语音识别(ASR)论文优选：Tied Reduced RNN-T Decoder
声明:平时看些文章做些笔记分享出来,文章中难免存在错误的地方,还望大家海涵.平时搜集一些资料,方便查阅学习:http://yqli.tech/page/speech.html.如转载,请标明出处.欢迎 ...
- 2022年3月语音合成（TTS)和语音识别(ASR)论文月报
论文统计每月更新一次,主要跟踪语音合成和语音识别的发展状况(很多文章都是在会议后才发出,但不影响统计.统计过程难免存在疏漏,因此统计结果仅供参考.所有文章语音合成领域统计列表请访问http://yql ...
最新文章
- 身为程序员，你接过最奇葩的需求是什么？丨Q言Q语
- react 哲学_细聊Concent amp; Recoil , 探索react数据流的新开发模式
- 判别器loss为0_TensorFlow v2.0实现逻辑斯谛回归
- 03-instancing 工程分析详解
- Windows Embedded CE 6.0开发初体验（四）跑个应用程序先
- [原创]android使用代码生成LayerDrawable的方法和注意事项
- centos node 进程保护_NodeJs之进程守护
- 开关电源适配器原理_迅为i.MX6ULL开发板原理图分析介绍
- 一步到位，直播系统源代码搭建直播推流服务器
- mysql 1236错误_mysql故障~Got fatal error 1236 解决方法
- 数据库左右内外连接（详细，易懂）
- GamePlay架构
- java8 zoneid_java8之localDateTime, ZoneId, Instant使用
- android 6g 有必要吗,手机6G运存真的有必要吗？这篇实测告诉你
- uni-app 从本地相册选择图片或使用相机拍照
- 2018 新浪校招 PHP实习生 电话面试总结
- zabbix mysql trapper_zabbix的trapper（补获器）使用
- 商场百货会员引流 购物中心会员拉新方式
- socket error 10053,10054究竟是怎么引起的
- 【渝粤题库】国家开放大学2021春2196社会调查研究与方法题目