You are on page 1of 7

第56卷第2期 复旦学报(自然科学版) V01.56 NO.2

2017年4月 Journal of Fudan University(Natural Science) Apr.2017

文章编号:0427—7104(2017)02—0215—07

从Ambisonics到双耳听觉
——VR电影声音制作方案研究
张莹1,沈希辰2
(1.上海大学上海电影学院,上海200072;2.SounDoer.com,上海200233)

摘要:根据VR电影的听感理念,研究Ambisonics和双耳听觉技术在VR电影声音制作中的运用,阐述其制
作流程和思路,并提出该方案在不同条件下的拓展性运用.
关键词:VR电影声音;制作方案;Ambisonics;双耳听觉
中图分类号:J933 文献标志码:A

自2012年虚拟现实(Virtual Reality,VR)电影首次在圣丹斯电影节亮相以来[1],其新颖的观影模式
和精彩纷呈的感官体验,使之无论在技术实现还是艺术展现方面都获得了广泛的关注.之后短短几年间,
随着VR设备产品、内容产业和技术支撑日渐成熟,整个VR行业都进入了爆发成长期[2],因此2016年被
称为VR元年‘3|.
VR时代的到来使人们看到了电影世界更多的可能,同时也对其实现方式,尤其对视觉影像的实现
方式投入了大量的研究,包括以Oculus、Sony和HTC为代表的呈现设备的开发,以及在VR电影拍摄
设备、技术和流程等方面的研究[4].而在VR电影声音技术方面,虽有广泛的探讨,却始终没有形成一
个明确的方案.主要原因在于,作为VR电影最重要的特征之一——空间化,声音在这方面早就超前于
影像发展起来了,在过去的几十年间形成了种类繁多、特点各异的录音、处理和还音技术与方式,而这
些方式如何同当下VR电影相融合,尚未有清晰的梳理.基于以上现状,本文从VR电影的听感理念出
发,结合目前主流的观影方式和未来可能的发展方向,提出了一种从Ambisonics到双耳听觉的VR电
影声音制作方案.

1 VR电影的听感理念
1.1作为电影的Vll内容
VR作为一种新兴的数字媒体技术,同诸多领域发生了结合,催生了大量与VR相关的内容.这些内
容在呈现技术和手段上有相似之处,但是在核心内涵上又有所不同.VR技术对于电影的意义,正如
Penrose Studios公司出品的VR电影《火柴》(Allumette)的编剧兼导演Eugene Chung所提到的:“VR
是一种新生代的叙事手段”[5【.由此可见,作为电影的VR内容的核心内涵是叙事,虽然在呈现过程中有交
互的部分,但是这种交互仍然是为故事剧情线索服务的.这也是VR电影同其他VR相关内容(比如以娱
乐为核心内涵的VR游戏)的区别所在.因此,VR电影是以虚拟现实技术为手段,以叙事为核心,追求沉
浸式体验的电影形式.
1.2 Vii电影中的声音表现
基于以上对VR电影的界定,以及VR技术所能实现的虚拟世界对感官世界的重构,VR电影中的声
音特征主要体现在空间化、沉浸感和临场感,即通过声音的手段形成一个逼真的“外在世界的幻象”[6],使
观众能够真正地置身于电影故事之中。
从传统的“观看”电影到通过VR技术“进入”电影,电影声音内容从原来的矩形空间扩展到了一个以

收稿日期:2016—12—08
作者简介:张莹(1977一),女,硕士,副教授,E-mail:luciez@163.com.

万方数据
216 复旦学报(自然科学版) 第56卷

观众为中心的球形空间中,并且观众能够自主地选择观看的方向(即视线方向),由此带来的声画体验的
变化是非常明显的.观众可以听到来自各个方向的声音,并且声音能实时地跟随视线方向而变化,这就和
现实世界中人们对声音的感知一样,能够动态地判断声音的方位、强弱和移动等特征和行为.

2 VR电影声音的实现技术
2.1传统电影声音技术的局限性
以5.1、7.1为代表的基于音箱/声道(channel—based)的多声道环绕声技术是传统电影实现空间声的
主流技术.其在数十年的发展过程中,一直致力于通过不断增加声道数的方式,追求与理想声场近似的空
间感知.但是这种空间声技术在VR电影中的局限性也是非常明显的.首先,使用扬声器组进行声场重现
的方法对原始声场只能近似还原,无法精确重构,存在着最佳的听音区,即“甜点区”或“皇帝位”,而在此
区域外的听音感受会有所下降.其次,由于传统电影是有固定观看方向的,因此观众前后的音箱设置是有
主次之分的,这种设置对于没有所谓的“正前方”的VR电影而言显然不太适用.最后,在还音方式上,无
法实现头部追踪,无法将人耳对于声源空间的主观感觉进行量化处理.
关于空间声技术的其他研究,虽然基于扬声器阵列的声场重现技术(如波场合成技术(Wave Field

Synthesis,WFS))能够产生真实、自然的空间听觉效果,聆听区域也比较宽,但重放系统非常复杂[7],考
虑其声学建设投入、重放环境和制式兼容、实现难度等因素,在VR技术发展的现阶段,无法很快地适用
于VR电影声音的实现.
2.2 VIi电影声音技术的基本要求
从上述对传统电影声音技术局限性的分析中可以看到,VR电影声音的实现需要考虑几方面的问题:
一是对原始物理声场较为精确的还原以及对聆听区域的优化;二是在确保整体空间一致性的前提下,能
够对观众个体进行头部追踪,使每个观众个体听到的内容能够根据观众视线的变化实现自适应;三是还
音方式能够被迅速移植到当前的VR技术中,适应当前以VR眼镜或头盔为主流的观影方式,同时在VR
技术发展到新阶段后,有相当的拓展性.基于这些考虑,从Ambisonics到双耳听觉的VR电影声音制作方
案是一个可探索的方向.
2.3从Ambisonics到双耳听觉
Ambisonics技术开发于20世纪70年代,它是一种基于空间谐波展开而逐级逼近水平面或空间声
场的方法[8].该技术能够记录下以听者/话筒为中心的整个球形空间的声场信息,将信息以Ambisonics
B-Format的音频文件格式进行保存,并且能够基本实现精确重放.与5.1、7.1等多声道环绕声系统不
同的是,Ambisonics格式中的音轨并非对应到实际的扬声器通道,而是包含了声场方向信息的独立编
码信号[9|,它可以通过解码转换,以双声道立体声、5.1、7.1,甚至是更多数量的扬声器阵列形式来输出
重放.
正是基于这样的特点,Ambisonics在VR电影声音制作中就有了自身的优势:一是在声音的拾取和
重放上能够包含来自各个方向的声音信息,在声场还原方面更为精确;二是能够以一种确定的音频文件
格式保存和交换这些声音信息;三是能够根据实际情况,通过对音频文件的进一步计算处理,实现多种形
式的输出重放.
在VR技术发展的现阶段,以双耳听觉为基础的立体声耳机输出仍然是主流.那么如何使
Ambisonics声音适应双耳耳机输出,并且能够实现头部追踪,对声源空间进行主观化处理,基于头相关传
输函数(Head Related Transfer Functions,HRTF)的虚拟声技术是一个可利用的方案.HRTF表述了头
部及耳廓等对声波的散射作用以及由此产生的双耳差[10|,它相当于一个滤波器,通过对来自某个方向的
声音进行频段上的处理来模拟声音从该方向传来的效果,并且使用普通的立体声耳机就能听到这种
效果.
由此可见,将使用Ambisonics技术获取的音频文件,通过实时的HRTF处理,实现双耳重放,是一种
既可满足现行VR电影声音要求,又具有相当拓展性的方案.以下将详细论述其制作流程.

万方数据
第2期 张莹等:从Ambisonics到双耳听觉——vR电影声音制作方案研究 217

3 VR电影声音的制作流程和思路
3.1流程概览
图1是基于Ambisonics和双耳听觉技术来实现的VR电影声音制作的流程,大致分为Ambisonics
音频文件的制作、Ambisonics音频同VR视频整合、VR头显设备方位数据的接收、Ambisonics虚拟扬声
器、HRTF处理和双耳音频输出等步骤.

来自头显设备
的方位数据 ____——

制作Ambisonics音频文件
Ambisonics话筒采集
数字音频工作站
游戏引擎和音频中间件 一匿 虚拟扬声器
区画——回
制作 实时处理 回放输出

图1 VR电影声音制作流程
Fig.1 Work flow of VR film sound

3.2 Ambisonics音频文件的制作
首先要获取和制作Ambisonics音频文件,这是VR电影声音设计中非常重要的一步工作.基于目前
已有的工具,大致有以下3种途径:使用Ambisonics话筒拾取同期声;使用数字音频工作站(digital
audio workstation)制作;使用游戏引擎(game engine)和音频中间件(audio middleware)制作.
3.2.1使用Ambisonics话筒拾取同期声
与传统电影不同的是,VR电影拍摄需要使用特制的摄像机阵列或全景摄像机来采集以摄像机为中
心的、各个方向的影像,并通过后期拼接来合成360。空间的影像.针对这样的拍摄方式,最直接的同期声
录制方法是,将Ambisonics话筒与摄像机放置在同一位置,利用Ambisonics的特性直接记录下以摄像
机/话筒为中心的所涉空间的声场信息.
这种拾音方式的优点在于,录制得到的音频文件可以直接与视频文件在时间线和空间位置上相匹
配,一步到位,简单快捷.而缺点在于,无法进一步对录音素材中的各个声音元素做单独的处理.该拾音方
式对拍摄现场的声音环境有较高的要求,更适合于以VR方式拍摄的新闻纪录和直播等无需对声音做艺
术加工处理的场合.
当然,这并不是说Ambisonics话筒拾音在
VR电影声音制作中就毫无用武之地了.作为一种
拾音方式,使用Ambisonics话筒拾取获得的环境
声素材,可以被更直接地运用到VR电影声音制作
中去.
目前在技术上比较成熟的Ambisonics话筒
有:CoreSound的TetraMic、TSL的SoundField
SPS200,以及可进行高阶Ambisonics(High Order
图2 Ambisonics话筒
Ambisonics,HOA)录制的Eigenmike Microphone Fig.2 Ambisonies microphones

球形话筒,如图2所示En-la].

3.2.2使用数字音频工作站制作
对于VR电影来说,对对白、音效和音乐等各个声音元素做单独的技术处理和艺术加工是必不可少

万方数据
218 复旦学报(自然科学版) 第56卷

的.因此,一种较为成熟的制作方式是,在数字音频工作站中对声音素材进行剪辑和混音,然后导出
Ambisonics格式的音频文件.
与传统电影声音制作稍有不同的是,用于VR电影声音制作的数字音频工作站必须支持至少4声道
的多声道音轨(multichannel),需要使用插件工具对声音进行空间定位(spatialization/panning),能够实
现实时的立体声耳机回放监听(binaural playback),以及能够同VR视频同步播放.
以数字音频工作站Reaper和插件工具FB360 Spatial Workstation为例,其制作界面如图3所示.
Reaper支持创建最多64个声道的音轨,而且相较于其他支持多声道音轨的工作站软件来说,价格优势也
非常明显.FB360 Spatial Workstation是一套支持多种音频工作站、功能齐全的插件工具,其中包括了对
每一轨声音进行空间定位的空间化(spatialiser)插件、设定房间模型参数和控制双耳监听的控制(contr01)
插件、VR视频播放器、将从音频工作站中生成的音频文件转换成适配各个平台的Ambisonics编码器等.
利用上述这些工具,声音设计师可以像以往做传统线性媒体那样,在音频工作站软件中完成声音后期制
作并导出音频文件.

图3 Reaper和FB360 Spatial Workstation的制作界面

Fig.3 Interface of reaper and FB360 spatial workstation

3.2.3使用游戏引擎和音频中间件制作
除了实景拍摄之外,现在越来越多的电影开始使用CG技术来构建虚拟角色和场景.对于声音而言,
同样可以借助游戏引擎搭建一个虚拟的三维空间来模拟VR影片中的声场环境.
在游戏引擎中,具有空间坐标信息的声源可以被放置在三维空间的各个位置,引擎中的摄像机
(camera)就相当于实际拍摄时的摄像机.我们可以根据影片中的内容来绘制引擎中相对应的声源的方
位、运动轨迹等行为,以及镜头的行为.这样就相当于把VR电影中与声音相关的信息和镜头同声源之间
的相对关系,以一种更为可控的方式还原到了游戏引擎中.然后可以借助引擎或者音频中间件中的功能
来生成得到Ambisonics文件,用于与视频文件合成.
以音频中间件Audiokinetic Wwise为例,其制作界面如图4所示.Wwise在2016.1版本中更新了
Ambisonics管线(pipeline),支持最高至三阶的Ambisonics音频素材导人和播放,支持将Ambisonics转
换至双耳监听,支持多种插件效果处理,以及可以利用内置的录音机(recorder)-l-_具来录制出Ambisonics
格式的音频文件r1 4I.
另外,对于主要依靠CG技术制作的动画片来说,采用基于游戏引擎的声音制作方式会更为可控和快

万方数据
第2期 张莹等:从Ambisonics到双耳听觉——VR电影声音制作方案研究 219

图4 Wwise制作界面
Fig.4 Interface of Wwise

捷.以Oculus Story Studio出品的VR动画短片《亨利》(Henry)为例,影片的声音制作除了使用


ProTools、Reaper等数字音频工作站之外,还用到了音频中间件Wwise来与引擎Unreal配合,短片最终
的渲染也是在引擎Unreal中完成的.由此可见,在VR技术普及之后,电影和游戏两大媒体之间所谓的界
限变得越来越模糊了.
3.2.4 Ambisonics音频同VR视频整合
在Ambisonics音频文件的拾取和制作过程中,可以得到以Ambisonics方式编码的多声道WAV文
件,所以直接在视频剪辑软件中将该音频文件与VR视频在时间轴上对齐并导出即可.至此,声音设计师
的工作就告一段落了.
需要注意的是,目前有两种主要的Ambisonies B-Format格式:FuMaEl5]和ambiXEl6],其技术参数稍
有不同,不同的设备或平台可能会采用不同的格式.因此,在制作和导出Ambisonics音频文件时需要针
对不同设备或平台做出相应的调整.
3.3实时处理
3.3.1头显设备方位数据的接收
合成出包含了Ambisonics音频的VR视频文件之后,就可以在支持VR视频播放的VR头显等设备
或者视频平台上观看了.VR视频播放器会对视频文件进行解码,并实时地接受来自检测观众头部运动的
传感器的数据.
3.3.2虚拟扬声器
在播放过程中,Ambisonics音频文件经过解码之后再次还原成一个空间声场,其中包含的声音相当
于是从球形空间中各个方位的虚拟扬声器(virtual speakers)上发出来的,如图5所示[1 7I.
3.3.3 HRTF处理
在上述Ambisonics虚拟扬声器的基础上,当
观众转动头部变换视角时,虚拟扬声器与人耳之
间的相对关系也会随之发生变化,同时相对应的
HRTF也会实时地对来自各个虚拟扬声器的声音
做处理,来模拟从该方位发出的声音效果.各个虚
拟扬声器处理之后的声音会被合并成双声道立体
声信号来输出.整个Ambisonics到双耳实时信号
的过程如图6(见第220页)所示.
3.4输出 图5 Ambisonics虚拟扬声器
通过双耳音频输出的信号,直接用双声道立 Fig.5 Ambisonics virtuaI speakers

万方数据
复旦学报(自然科学版) 第56卷

l燃l巨回
的方位数据 I::!:::竺!l

区亟至亘圣圜旦
图6 Ambisonics到双耳信号的实时处理
Fig.6 Ambisonics to binaural real time processing

体声的耳机就可以聆听效果.值得一提的是,双耳音频的听感效果对声音的音质有一定要求,所以建议佩
戴频率响应和隔音性能较好的封闭式耳机,而不是小型的入耳式耳塞.

4系统拓展

正如上文所提到的,Ambisonics是一种与声音重放系统设置相独立的空间声技术,因此它可以通过
进一步的编解码,同目前常用的多声道环绕声系统的扬声器设置相兼容,也可以通过扬声器阵列形式实
现更精确的重放,如图7所示.

制作Ambisonics音频文件
Ambisonics话筒采集
数字音频工作站
游戏引擎和音频中间件
.1 Ambisonics音频l
——I奎竺兰望塑墨查l j
区囹——回
f一丽一0一一二、

制作 实时处理 回放输出

图7 VR电影声音制作系统拓展
Fig.7 Development of VR film sound production system

5结语
通过对VR电影声音制作方案的研究可以看到,运用Ambisonics和双耳听觉技术,可以基本满足

万方数据
第2期 张莹等:从Ambisonics到双耳听觉——VR电影声音制作方案研究 221

VR电影对声音听感的要求,实现声音的空间化、沉浸感和临场感.同时,该方案能够运用现有的相关软/
硬件设备进行声音的前/后期处理,能够通过目前主流的VR设备实现重放.并且,随着VR技术的不断发
展,该方案也能够适用于各类非耳机的扬声器重放格式,无论在以多声道环绕声为主的传统电影院,还是
在可实现理想空间声场的VR电影院,都具有相当大的适应性和拓展性.

致谢:本论文为2016年度上海大学电影学高峰学科成果!

参考文献:
[1]王岩明.试论VR电影还音制式的未来发展趋势——从电影声音的空间定位方式谈起EJ].现代电影技
术,2016(5):29.
[2]艾瑞咨询.2016年中国虚拟现实(VR)行业研究报告ER/OL].(2016—03—04).http,//www.iresearck corl.L on/

report/reportlist.aspx?searchkey=%DO 0AE9%C4%E2#&
[3]孙略.VR、AR与电影EJ].北京电影学院学报,2016(3):13.
[4]李金辉.隐蔽在现实中的虚拟——虚拟现实VR视觉影像创作谈[J].北京电影学院学报,2016(3):
22—27.

[5]Penrose Studios.Introducing allumette[髓/0明.(2016—06—21).http:∥ivr.baidu.com/o堍inal/s576905786a06.


hunl.

[6]安德烈・巴赞.电影是什么?[凡妇。崔君衍译。北京:文化艺术出版社,2008:17.
[7]谢菠荪,管善群.空间声的研究与应用——历史、发展与现状EJ3.应用声学,2012,31(1):19.
[8]GERZON M A Ambisonics in multiehannel broadcasting and video[J].Journal of the Audio Engineering

Society,1985,33(11):859—871.

[9]刘阳,谢菠荪.Ambisonics声捡拾与重放音色的双耳听觉模型分析与实验D].声学学报,2015,10(5):718.
Elo]谢菠荪,管善群.虚拟声技术及其应用(上)[J].应用声学,2004,23(4):44.
[11]TetraMic官网.Introduction:TetraMic single point stereo&surround sound microphone[EB/OL].

[-2016—09—29]。http:}}Ⅷ、醐.core-sound.com/TetraMic/1.php.
[12]SoundField官网.Freedman electronics group breaks ground into ambisonic audio-purchases 360一degree

surrOund microphone market leader,SoundField,from TSL products[-EB/OL].[-2016—10一05].http:∥


www.tslproducts.com/soundfield/soundfield-sps200一software-controlled-microphone/.
[13]Eigenmike官网.Digital signal processing,acoustics and product design[EB/OL].[-2016—10一05].https://
mhacoustics.corn/products.

[143 Wwise官网.Ambisonics in Wwise:Overview[-EB/OL].[2016一10一05].http:ffinfo.audiokinetic.eom/


ambisonics-in-wwise-overview.

E1 5]MALHAM D.Higher order Ambisonic systems[D].UK:University of York,2003.

[16-1 NACHAR C,ZOTTER F,DELEFLIE E,et a1.Ambix--Suggesting an Ambisonics format[C]∥3rd

International Symposium on Ambisonics and Spherical Acoustics.Lexington,KY:ISASA,2011.

[17]Google VR.Spatial audio:Overview[EB/OL].[-2016—10一053.https:∥developers.googl己com/vr/concepts/


spatial-audio.

From Ambisonics to Binaural:Research of

VR Film Sound Production Method

ZHANG Yin91,SHEN Xichen2

(1.Shanghai Film Academy,Shanghai University,Shanghai 200072,China;2.,sIyunDoer.com,Shanghai 200233,China)

Abstract:According tO the sense of hearing of VR(Virtual Reality)film,the application of Ambisonics and binaural

technology in VR film sound production is studied,the idea and work flow of VR film sound production&re explained,and
reveal that this method could be developed in different conditions.

Keywords:VR Film sound;production method;Ambisonics;binaural

万方数据

You might also like