阿里云视频云实时字幕技术，助力英雄联盟S10全球总决赛
一年一度的英雄联盟全球总决赛在上海落下帷幕，DWG战胜SN获得英雄联盟S10全球总决赛冠军，LCK时隔三年重回巅峰，恭喜DWG。
作为电竞顶流的《英雄联盟》全球总决赛，自9月开幕以来，电竞爱好者聚焦在游戏直播平台，为了更好的为观众提供观赛体验，阿里云视频云与推出实时语音字幕系统，并应用国内某知名游戏直播平台。
这项技术由阿里云视频云技术团队与达摩院语音识别和NLP团队共同研发完成，以实时语音字幕的形式展现在S10赛事中。更确切的说，针对这项游戏直播场景的实时字幕技术，阿里云视频云是第一个成功推出的先行者，据了解，即使在世界范围内，也几乎是实时字幕技术于游戏场景成功尝试的首例。故，这也是首次应用在英雄联盟S10顶级赛事中，开创了游戏直播体验的先河。
在S10直播中，该实时字幕技术的场景重要性在于两点：第一，对一直存在的直播体验问题进行彻底改善，延伸了场景的可能性，例如针对不能直接听赛事的、或吵闹环境导致听不清楚的、或解说人的语言不标准造成理解困难、以及听力有点困难的这几类人群，他们可以通过实时字幕来辅助理解，解决歧义，从而拓展了在线观看的人群。第二，实时字幕可以让视频分发更专业，提升直播平台对场景生产能力的专业性，特别是针对一些电竞的专有术语，可以让入门级的用户能理解其字，由字生义，由义明字，从而提升游戏直播的体验感，引导更多的泛电竞受众。
在游戏直播领域，该技术的输出核心在于，针对特定游戏场景进行特定的语音识别，并实时展示在直播流中，让分发端的观众可以借助字、音、画多维度信息理解视频内容。对于未来的游戏直播行业，它开创了游戏赛事直播的新玩法尝试，让直播实时语音识别的技术帮助大型赛事游戏更好的分发，对整个行业具有更多维的延展性价值。
在该项目的技术方案实践中，最核心的研发环节与攻克难点在于两方面：1.语音识别的准确率；2.字、音、画三者实时且同步，然后合成展示。在这两方面，视频云与达摩院整体协同并分别攻克。达摩院主要解决语音识别的准确率，通过特定游戏场景来训练模型，提高准确率；阿里云视频云提供全链路解决方案，进行客户直播流的接入、直播流的语音分离、调用达摩院的语音识别获取字幕、然后字音画同步、合成展示，最后分发。
对于实时字幕技术，阿里云视频云团队已早有积累，起初，视频云实现的是实时插入字幕的功能，后来才逐步实现语音实时字幕，其与实时插入字幕有一个本质区别，即，实时语音字幕是一个字幕流，同时有一定的时效性，需要实时、字音画同步，且展示的时长机制不一样。
早在游戏直播场景的研发之前，阿里云视频云就曾成功研发全球速卖通（AliExpress）海外电商直播实时字幕项目，AliExpress作为“国际版淘宝”的跨境电商平台，其使用的是阿里云视频云的导播台做实时语音字幕和实时翻译，进行多国多语种字幕展示，也是视频云与达摩院共同打造的世界上第一个多语言电商直播实时翻译系统。
精确地说，当前，S10赛事的实时字幕技术，运用了阿里云视频云导播台的成熟的实时语音字幕方案来提供该功能，S10支持结束后，后续更多的游戏直播场景均可以更广泛地复用这套语音字幕的直播方案，包括优酷、B站、抖音、快手这样的视频平台。
未来在大型电竞赛事直播上，阿里云视频云对实时字幕技术、实时语音技术领域，还有新的技术空间思考：1、需要进一步提升语音识别的准确率；2、在应用情景上还可做实时翻译，确保多国分发；3、实现更低的延时，目前是RTMP延迟[3-5s]，实际上可以做到更优质的RTS延迟[1-2s]，从而极大提升在线体验。
相较游戏直播、电商直播、或其他直播场景的实时语音字幕， 在技术逻辑的本质上是一致的，均是字幕的同步、合成和展示，但是，不同场景，语音识别的模型完全不同，比如电商有电商的专业术语，游戏有游戏的专业术语，同时还有一些领域俚语，所以，需要进行特定的语音识别模型训练以完成。未来，对实时字幕【支持实时语音字幕的直播】技术的研发，阿里云视频云还有进一步的技术升级规划方向： 一方面，让用户的接入更灵活，字幕模型配置以及字幕的样式展示更方便；另一方面，支持更多的特定场景，提高特定场景的语音识别率，以此复用到更多具化场景的玩法尝试中。
通过阿里云视频云实时字幕技术，更多的圈外人轻松get到S10赛事解说的描述，了解英雄联盟的各种梗，感受到电竞文化的魅力。
阿里云视频云将对更多场景、更多维度进行技术探索，推动新内容与新交互的未来，给大家带来更多的视频云体验。
阿里云视频云技术公众号分享视频云行业和技术趋势，打造“新内容”、“新交互”。
阿里云视频云实时字幕技术，助力英雄联盟S10全球总决赛相关推荐
- 双11购物节国外剁手党同狂欢 阿里云视频云电商直播实时字幕
2020的双11狂潮已然提早,年度氪金剁手大会已吹响号角. 比起往年,今年格外不同,天猫双11早在10月21日便揭起预售大幕,8亿人蹲守淘宝直播,仅当日的李佳琦直播间,观看人次就突破了1.5亿,直至1 ...
- 阿里云视频云互动虚拟技术，打造虚拟直播最佳沉浸式体验
2022是"体育超级大年",冬奥会.亚运会.大运会.世界杯等各类大型体育赛事贯穿全年.由于受到疫情管控和物理空间的限制,赛事直播至关重要,观众体验需求也在不断升级. 于此,企业对直 ...
- 解码北京冬奥沉浸式报道黑科技： 阿里云视频云「互动虚拟演播技术」
这个冬奥季,即便你在冰雪之外,也能透过播报感受同在.这就是互动虚拟演播技术带来的. "虚拟演播厅"在东京奥运会就曾进入奥运村,而在2022冬奥期,其技术方案全面升级,达到广电级导播 ...
- 【云上创新】阿里云视频云分享全场景音视频服务背后的场景探索与技术实践
简介:视频云赋能行业革新 5 月 28 日 - 29 日,2021 阿里云峰会在北京国家会议中心隆重召开,从 "全面上云" 到 "云上创新",标志着阿里云在 2 ...
- NBA赛事直播超清画质背后：阿里云视频云「窄带高清2.0」技术深度解读
在半月前结束的NBA总决赛中,百视TV作为全网唯一采用"主播陪你看NBA"模式的直播平台,以"陪看型"赛事解说来面对内容差异化竞争.与此同时,百视TV还运用了& ...
- 聚焦技术与体验极致提升，阿里云视频云连续5年领跑！
全球领先的IT市场研究和咨询公司IDC发布 <中国视频云市场跟踪(2022上半年)> 阿里云连续五年稳居 中国视频云整体市场份额第一 整体市场份额占比达25.4% 近日,全球领先的IT市场 ...
- 阿里云视频云，用技术普惠打造平民化“虚拟人”
近日,国内首个超写实数字人 AYAYI 宣布入职阿里,成为天猫超级品牌日的数字主理人,二者将共同开启元宇宙的营销世界.在未来她将与天猫解锁多个身份,如 NFT 艺术家.数字策展人.潮牌主理人.顶流数字 ...
- 云上创新，阿里云视频云分享全场景音视频服务背后的场景探索与技术实践
5 月 28 日 - 29 日,2021 阿里云峰会在北京国家会议中心隆重召开,从 "全面上云" 到 "云上创新",标志着阿里云在 2021 年的全新重磅升级! ...
- 阿里云视频云 Retina 多媒体 AI 体验馆开张啦！
简介:带你体验视频更多可能 带你体验视频更多可能 海量视频管理难度大?翻库检索特定人物费时费力?视频内容剪辑效率低?您的得力助手"Retina多媒体AI"体验馆已上线.带你感受视频 ...
最新文章
- 面试官吐槽：面试了一个三本的学渣，开口就要一万六！
- 通过 SpringBoot 中使用 lombok 实现自动创建JavaBean的get/set方法、全参/无参构造方法、toString()、equals()、hashCode()
- JMS与Spring之二（用message listener container异步收发消息）
- a12处理器和骁龙855_【性能】骁龙855最新跑分曝光 多核竟超苹果A12？
- 代数学笔记2: 域扩张(二)
- 95-190-544-源码-window-清除器(Evictors)-DeltaEvitor简介
- SharePoint：扩展DVWP - 第34部分：使用图标形式的表单操作链接
- vue+node多条件查询 分页_SpringBoot+JPA框架分页、带条件查询等操作
- SQL SERVER 卸载清除步骤
- Hilbert 变换
- H5页面，华为手机打开不加载JS的问题
- 新手入门：Spring的一些学习方法及意见
- java int short区别_Java基础之数据比较Integer、Short、int、short
- 用计算机上的图画画一幅画,计算机画图——初识画图程序
- 什么是索引覆盖？什么是索引下推？
- 【计算机视觉】深度相机（八）--OpenNI及与Kinect for windows SDK的比较
- 045:魔兽世界三(开战) 程序设计实习MOOC / 程序设计与算法（三）测验题汇总(2020春季) 已经结束
- 推荐10个Vue 3.0开发的开源前端项目
- 2018四川高考数学(全国卷3)理科21题以泰勒公式为命题背景(同时深挖去年高考题)和它的另类解法的瞎谈...
- ie浏览器读取本地文件并上传