网易云信的音频共享技术 | 体验共享专题
导读：随着现代社会生活方式变化，社交娱乐的方式也在逐渐改变。传统面对面的社交娱乐活动正在逐步变革，越来越多的交互行为逐渐转移到网络上。RTC 技术的进步也推动了网络娱乐形式的变化，单方向信息传递方式如电影、听歌、看视频为主的娱乐方式占比在下降，互动性更强的方式如互动直播、语音通话、在线 KTV 歌等却在逐步崛起。
音频处理的必要性
作为人类最重要的交流方式之一，声音的处理至关重要。一方面是因为人类对于声音极其敏感，声音的传播受人体生理结构特点的影响，由于视觉受限于光照和方位，不是时刻可以依赖的信息获取来源，很多情况下听觉成为人类对环境信息感知的最重要通道。另一方面声音脱离画面单独存在的交流方式也有独立应用的场景。
RTC 互动交流功能作为极其重要的功能，对音频通话的处理提出了以下要求：
超低延时。实时互动零距离
超高的通话质量。回声、噪声等影响听感的因素需妥善处理，使通话过程无干扰
而社交娱乐的特点对音频处理又提出了新的要求。如用户希望得到高质量的音乐、好的临场感、趣味性强的音频效果、高质量音频内容共享等方面。因此，这就要求我们需要从不同的方面去优化音频，以达到最优效果。今天我们分享的就是音频共享。
音频共享的概念
音频共享一般是指将设备中音频声音共享给其他参与者，使双方能够听到同一种声音，如一起听歌等。
通话中的用户听到相同的声音，在某些情况下对于用户的临场感提升很重要。有一种直接的方式是可以从麦克风通道让对面的用户听见本端的声音，但很多时候这样的效果不会太好。采集播放环节的失真，麦克风通道针对人声的特定处理都可能会破坏高质量音频的效果。
提供一个绕过前端处理环节并且灵活方便应对各种场景的音频共享功能就变成了现实需求。
网易云信音频共享的实现方案
为了满足用户多个场景下对音频共享的需求，网易云信实现了使用灵活的音频共享方案。
这里提供了多种共享声音来源。可以使用源文件，当然也包括网络音频源。
通过内置解码器解码后混音，可以兼容常见的 Mp3，AAC 等多种格式数据文件，这是最简单常见的一种方式。
当用户对第三方软件播放的声音很喜欢时怎么办？我们基于系统接口提供了播放数据的抓取和处理，让用户不用苦于无法获取数据源，使得音频共享的来源更加多样化。
这里的架构和常见的 RTC 架构似乎有些许不同之处，不光增加了一个回声消除模块，参考信号的来源似乎也有变化。这就是这个架构特殊的地方，下面一个回声消除模块用于基本通话，由于共享的声音同时要被自己和对方听到，麦克风采集到的声音里也可能会包含这部分信号，需要消除的部分不仅要包括对端的声音，还要包括本端播放的声音。
这里取用实际播出的信号作为参考输入，可以保证本端人声输入更干净。另外一个额外的回声消除用于消除对端的人声。在使用第三方播放声音作为共享源的时候，我们拿到的信号包含了播放的全部内容。这样的处理可以在共享源中消除掉对端声音，使得共享过程中仍能保证高质量的音频通话。
音频共享的应用场景
上述音频共享方案是一个统一架构，可以用于游戏开黑、音频分享、线上 KTV 等场景。涵盖了娱乐办公的多个场景。
有了这个基本处理框架以后，就可以通过灵活设置内部流程，配合适当的外部逻辑实现各项功能。以下图为例：
把上面的第三方音频内容换成游戏、音乐播放器或者浏览器，就可以通过简单操作实现游戏开黑、一起听歌、会议等音频共享场景了。
如果觉得这个例子有些简单，那么以下是一个在线 KTV 合唱实现的例子。
左侧是主唱端，提供伴奏音乐，在本地的人声加入后，通过 RTC 音频流传给副唱。
右侧的演唱者的声音会通过 RTC 流传给主唱，以供两人合唱同步，同时将副唱的人声和主唱侧传过来的包含主唱人声的歌曲混合，形成完整的合唱，推送给直播观众。
以上是一个在线 KTV 的场景实现。当然，在线 KTV 场景的实现涉及多个方面，遇到的问题远远不止音频共享这部分。歌词的传递、各端的同步、音频端到端的延时等问题都是需要克服的障碍，解决好这些问题才能提供更好的体验
总结
网易云信的 SDK 产品提供完整的音频共享解决方案，支持双声道全频道，可以覆盖包括游戏开黑、一起听歌，在线 KTV 等一系列场景。如有兴趣可以登录网易云信官网下载 Demo 进行体验。
网易云信的音频共享技术 | 体验共享专题相关推荐
- 网易云信实时音频框架背后：算法优化带来产品体验全面提升
2018年10月19日,LiveVideoStackCon音视频技术大会在北京召开.本届会议以"技术开启新'视'界"为主题,汇集资深的音视频技术工程师,探讨在音频.视频.图像等技术 ...
- 网易云信AI音频最新研究成果获世界顶级学术会议 ICASSP 2022 认可
近日,全球顶级音频技术会议 ICASSP 2022 公布了论文入选名单.网易云信音频实验室论文--<一种针对实时通信的基于神经网络的啸叫检测方法>(A Neural Network-bas ...
- 来自开发者的点赞 · 网易云信揽获三大技术奖项
日前,由中国领先的新一代开发者社区SegmentFault思否发起的2021"中国技术先锋"年度评选落下帷幕.网易云信凭借领先的技术实力和影响力,入选「中国技术品牌影响力企业榜」和 ...
- 高清音质背后：网易云信音乐教学方案技术解密
近日,网易云信推出全球首个音乐教学解决方案,该方案依托网易云信18年的音视频技术和经验,可以全方位支持在线音乐教学场景.实时音视频的应用市场随着基础技术的不断成熟,基础设施(如网络)的不断升级,以及用 ...
- 网易云信吴桐：直播体验深度优化方案——连麦互动直播
一.前言 移动直播这把火从2015年一直烧到2016年,毫无疑问直播是当前移动互联网最热门的领域之一,在超大热度的引导下直播领域也吸引了大量的商业资本.在这各大直播应用万花齐放的时刻,也正是直播应用面 ...
- 艾媒咨询：泛娱乐「体验共享」报告发布，网易云信多个案例领衔
近日,<2021年中国泛娱乐行业体验共享专题报告>正式发布.该报告由国内知名咨询机构艾媒咨询(iiMedia Research)深入国内众多家互联网平台调研后发布,聚焦在泛娱乐平台未来发展 ...
- 音视频技术“塔尖”之争，网易云信如何C位出道？
社交+美颜.抖音短视频.在线狼人杀.直播竞答.子弹短信--,过往两三年间,互联网新产品和新玩法层出不穷,风口不断切换.这些爆红的网络应用背后,都有一些共同的特征,例如音视频与社交功能的融合. 近期,网 ...
- 体验共享已“上头”，娱乐社交咋“追风”？
文 | 曾响铃 来源 | 科技向令说(xiangling0815) 继体验经济.共享经济火了后,在泛娱乐行业,体验共享经济正成为新风口. 据艾媒咨询发布的<2021年中国泛娱乐行业体验共享专题报 ...
- 来自开发者的点赞！网易云信揽获3大技术奖项
日前,由中国领先的新一代开发者社区SegmentFault思否发起的2021"中国技术先锋"年度评选落下帷幕.网易云信凭借领先的技术实力和影响力,入选「中国技术品牌影响力企业榜」和 ...
最新文章
- SLAM、3D vision求职经历
- （已解决）AttributeError: ‘PrecisionRecallDisplay‘ has no attribute ‘from_predictions‘以及查看sklearn版本
- Python_第一堂课
- 模式识别，计算机视觉，计算机图形学，智能控制，信号处理，语音识别，知识处理，机器学习，数据挖掘领域区别
- linux安装zookeeper+使用命令
- 解读ImageView的wrap_content和adjustViewBounds的工作原理
- 用户认证-什么是认证
- ajax是宏任务还是微任务,(滴滴面试)事件循环Event Loop及微任务和宏任务的执行过程详解...
- 学习 shell —— 条件判断 if 的参数
- 解释HTTP中Get和Post。它们有什么区别，哪个使用时更加安全？
- Fiddler 4 - 抓包工作，只抓手机app的请求-转过来备忘
- office visio 替代_5款替代微软Visio的开源免费软件
- ACM算法竞赛入门 概述
- efm32芯片电压_Silicon Labs超低功耗32位 MCU EFM32HG系列成功应用在大华股份无线烟感...
- ipv4 pxe 联想start_PC开机出现Start pxe over ipv4解决办法 PC重启后显示start pxe over IPv4...
- 【第27篇】MobileNetV2：倒置残差和线性瓶颈
- 微信公众号--生成带参数的二维码 {“errcode“:48001,“errmsg“:“api unauthorized rid: 60520af9-71ff2283-63d36e0d“}
- Python 爬取QQ飞车手游赛道 or 宠物 图片
- 电工基础笔记01 - 认识简单电路和画图方法
- python学习笔记 存储爬到的数据