无论是什么形式的VR内容,如果能够在体验的时候听到有距离和层次的声音,将会大大增加沉浸感体验。

当我们观看VR视频时,往往会有种错觉,听得到耳机里有声音,但是却搞不清声音从哪里传来;或者是偏个头换了观看视角,但是声音并没有随着我们的视角“转过来”,它仍然在原来的地方。确实,如果VR内容里的音频处理不好,沉浸式体验效果将会大打折扣。比如小编之前玩过一个VR射箭游戏,虽然人是在虚拟环境里,但是耳朵里听到的都是外面嘈杂的环境声。

什么是VR音频

VR音频的概念,其实可以和3D音频挂钩。简而言之,VR音频,就是通过耳机或者音箱,结合头部追踪等技术,让体验者在转动头部等动作的时候可以听到自己各个方向不同距离和强度的声音。

通俗来说,就是用户在现场实际能听到,能带来临场感的声音。有做VR音频的业内人士介绍道,“比如说在酒馆里的一个场景,大家在讨论、喝酒以及各种聊天的声音,你在那儿听的声音就应该是你觉得在现场的声音,而且要和视频无缝对接。”

但是相比较现在VR体验上的一些眩晕、视觉上的问题,声音其实被很多人忽视了。不过随着越来越多的公司进入到VR视频内容创作领域中,VR音频正在成为大家攻坚的一个新方向。

在VR音频中,这些公司在行动

传统的音频技术公司杜比实验室,和专注于VR视频拍摄制作的Jaunt展开合作,在Jaunt的VR内容融入了杜比全景声,用户通过Jaunt VR应用可以轻松访问到所有支持杜比全景声的虚拟现实体验。

2015年4月,谷歌收购了专门为VR打造现实音效的初创公司Thrive Audio,THRIVE Audio是一家诞生于都柏林大学圣三一学院(Trinity College Dublin)工程系的公司,它专注于设计可以体验3D音频的耳机。

2016年5月份,Facebook收购VR音频公司Two Big Ears。Two Big Ears是一家位于苏格兰的初创型企业,专门为全景视频等内容打造空间音效。Two Big Ears把其音频软件免费提供给感兴趣的VR内容制作人,而Facebook借此机会来吸引更多的人打造VR内容。

英伟达推出专门用于虚拟现实场景的“VRWorks Audio”音频技术,VRWorks Audio利用英伟达OptiX光迹追踪引擎,能够即时追踪环境中的多个声音路径,真实的反映出周围环境中物体的大小、形状和材料。

Oculus授权VisiSonic的音频技术,并最终将其融入Oculus Audio SDK 中。这项技术经过定制的HRTF算法,可以实时计算出游戏世界中声源的方位与距离信息。

2017年,Valve收购了一家叫Impulsonic的VR音频公司,该公司为游戏开发者创建了基于物理原理的空间音频定位软件。他们的产品Phonon 3D可以让开发者为他们的3D环境及VR体验增加双声道3D音频。

对于普通消费者来说,或许会疑惑,如何在只有双声道立体声输出的耳机上听到来自各个方向的声音呢?其实,如果想要得到理想的VR音频,从音频的采集到编辑制作以及最后的合成输出,整个流程需要攻克很多技术难题。目前业内比较成熟的解决方案也不少,但是大部分都还停留在理论的层面,实际应用的案例少之又少。

VR音频如何采集录制?

HRTF(人头传递函数)

首先我们科普一下一种叫做双耳录音(Binaural recording)的技术。这个技术能够逼真的模拟人耳对声音定位以及频率的响应。HRTF就是基于这个技术用数学模型来建模的一种音频定位算法。通过HRTF的算法,能够在最终输出的音频中还原出音源的方向和距离。

在实际运用中,HRTF可以想象成是一个滤波器,对原始声音进行频段上的调整,使其接近人耳接收到的听感效果。

Waves的Nx技术

Waves的Nx技术核心是用算法将传统录音中缺失的信息插入到信号中,以此来让大脑在聆听音乐时获得空间感。为了增强现场感,Nx技术还允许用户键入个人头部及耳朵的尺寸信息,算法可以根据这些信息进行实时调整。

它提供了一个叫Head Tracker 硬件,这个集成了陀螺仪的硬件可以绑定到耳机上,然后电脑实时计算陀螺仪变化后声像的变化,再配合英特尔的Real Sense摄像头,Waves提供的软件就能追踪头部移动,在耳机中获得具有沉浸感的声音体验。

Ambisonics

Ambisonics是一种研发于上个世界70年代的球形环绕声技术。它既是一种录音制式,也是一种编解码算法。

从录音制式来看,Ambisonics可以理解为是M/S立体声录音制式的三维扩展,以一定方式组合的四个振膜阵列记录了具有高度和深度信息的四轨声音信号。

从编解码方式来看,采用 Ambisonics 方式录制得到的声音信号可以通过计算变换后,以双声道立体声、5.1、7.1,甚至是11.1、22.2等各种多声道环绕声格式来输出。另外,Ambisonics可以作为一种音频文件格式用于保存和流通,YouTube在去年推出的支持全景视频的音频格式就采用了Ambisonics技术。

无论是采取哪种形式采集录制VR音频,最终的目的都是能够在VR中感受到真正具有沉浸感的声音。总的来说,相比较2016年前半段时间,现在已经有越来越多的大公司开始布局VR音频。不过想要真正实现虚拟现实中的临场音频效果,还需要面对采集成本、现场干扰等等因素,路漫漫其修远兮,VR音频还需要“上下求索”。

原文发布时间: 2017-01-15 17:11
本文作者: 巫盼
本文来自云栖社区合作伙伴镁客网,了解相关信息可以关注镁客网。

VR音频,内容制作背后不可忽视的关键相关推荐

  1. 「观察」我国网络音频内容建设情况分析

    导读 在媒体深度融合的进程中,声音广播正在发生重要变革,我国主流媒体的网络音频平台加快建设,商业音频平台持续发力移动端,催生内容新兴形态,广播发展呈现场景化.交互化.智能化趋势. 一.主流媒体重视音频 ...

  2. ar vr内容制作_AR和VR品牌内容:探索与观众建立联系的新方式

    ar vr内容制作 We recently hosted a webinar showcasing why and how brands are using technologies such as ...

  3. 学习VR技术要学哪些内容?VR全景如何制作?

    提起VR相当大家而言都不陌生,VR伴随着科技的发展,进入到人们的日常生活中,不少人都对VR技术很关注,不少公司或者企业也开始逐渐发展VR的技术,如果现在对VR技术能够有所了解的话,那么在后期便能够掌握 ...

  4. 音频内容理解的关键技术

    导读: 为什么要使用机器来理解音频内容呢?一个重要的出发点就是在大量数据存在的情况下,由人来完成音频内容的理解是一件较为困难的事情,在图片和文本处理方面,快速理解尚有一定实现的可能,古代有一个形容人记 ...

  5. 联想与张艺谋联手布局VR/AR内容,VR界的“水果忍者”就要诞生了?

    VR市场一边是冰水一边是火焰.不久之前国内比较激进的VR公司宣布大幅裁员,而在天猫双11晚会现场,阿里为600多家媒体人手配置一套VR头盔,让大家可以在虚拟世界中逛街购物,在场记者纷纷惊叹,VR时代真 ...

  6. 好声方可入人心,数美科技智能音频审核方案为音频内容消费保驾护航

    语音,是人天然的沟通形式.相比起文字,语音所包含的顿挫.情感.语气.音量能够传递出更加直接和真切的信息.在历史中,人对传输语音也充满了渴望,从书信到电话.电台.唱片.磁带.光盘,人总是在用更前沿的技术 ...

  7. UWA助力小米VR打造内容生态

    今年6月,小米VR一体机正式发布,国内小米商城开售仅4分钟全部备货就被抢购一空.用户市场的狂热让更多开发者加入到小米VR平台,UWA也在今年和小米VR携手,开始为众多小米VR开发者提供高效快捷的性能优 ...

  8. VR的内容荒漠,字节救不了

    文|智能相对论 作者|Kinki 去年以来,"元宇宙"概念大火,掀起了新一轮的产业布局和科技博弈,脸书Facebook更直接改名Meta,展示其看好元宇宙未来的决心,国内大厂如腾讯 ...

  9. 利用 iPhone X 的脸部识别能力为内容制作工作服务

    洛杉矶具有开创性的VR创业公司 Kite & Lightning 其中一位联合创始人星期六收到了他的新 iPhone X .于是,在一天后的星期天晚上,他就用iPhone里程碑式的实时脸部识别 ...

最新文章

  1. LSTM UEBA异常检测——deeplog里其实提到了,就是多分类LSTM算法,结合LSTM预测误差来检测异常参数...
  2. LeetCode2:Add Two Numbers
  3. Linux 命令行输入
  4. Android Studio 导入 AOSP 源码
  5. Visual Studio 2019 16.2.2 发布
  6. 在ARMSYS(S3C44B0X开发板)上进行uClinux内核移植的总结
  7. 火星人敏捷接开发手册 2011-09-12
  8. php修改mysql排序_php – 自定义MySQL排序
  9. informix安装教程以及创建一个实例(详细)(系列1,informix安装篇)
  10. 爬取cloudmusic歌单
  11. linux 同步utc时间吗,中国时区utc在服务器上同步的办法
  12. vue3的抽离封装方法
  13. python代替按键精灵 游戏内失灵_按键精灵是如何做到不被程序屏蔽的?python34中如何将命令行传递给python脚 节流参数转换为unicode字符串...
  14. conda创建环境并下载d2l软件包
  15. Windows - 百度网盘限速下载慢解决方案(官方提速方法)
  16. FPGA基础知识----第三章 第2节 综合和仿真
  17. 农村环境保护之平时作业三
  18. 年终报告 20PPPT模板
  19. 做恒生指数需要入金多少怎么能可以做?
  20. 怎样共享windows和linux之间的文件

热门文章

  1. 用C语言计算各色油墨的灰度、色偏、色效率
  2. 闲鱼架构如何一招提效 30% ?
  3. python量化需要什么基础_干货|python量化的基础知识,你是否真的了解
  4. 基于Vue的后台选择推荐
  5. 学习笔记:Controllable Artistic Text Style Transfer via Shape-Matching GAN 基于形状匹配生成对抗网络的可控艺术文本风格迁移
  6. python字符串的基本处理_python 字符串处理
  7. Matlab/Cplex代码:基于消纳责任权重的两级电力市场优化运行模型
  8. 十八项新的世界纪录背后……
  9. 八年英语学习路及后序
  10. 基于TP3.2的发送邮箱做找回密码