伴隨著近幾年AR與VR市場(chǎng)的大爆發(fā)，許多與之關(guān)聯(lián)的影音技術(shù)亦逐漸受到各方關(guān)注。伴隨著VR技術(shù)的發(fā)展，其相關(guān)的模擬環(huán)境、感知、自然技能和傳感設(shè)備等方面的技術(shù)亦隨之得到極大的發(fā)展。如何增加VR使用者的沉浸感使得整個(gè)虛擬環(huán)境表現(xiàn)更加真實(shí)？VR全景聲效能夠幫助到廣大的影音愛(ài)好者。
VR全景聲是什么?為什么會(huì)出現(xiàn)這種技術(shù)？
在現(xiàn)實(shí)生活中，人一般會(huì)有五感：觸覺(jué)、味覺(jué)、嗅覺(jué)、視覺(jué)和聽(tīng)覺(jué)。然而在VR使用者體驗(yàn)虛擬現(xiàn)實(shí)環(huán)境時(shí)，所能運(yùn)用到的往往只有兩種：視覺(jué)和聽(tīng)覺(jué)。伴隨著現(xiàn)代顯示技術(shù)的提升，聲效技術(shù)如何才能緊跟其步伐共，同發(fā)展創(chuàng)造出最完美的VR技術(shù)呢？在VR的世界里，視覺(jué)和聽(tīng)覺(jué)的比例各50%，因?yàn)楝F(xiàn)代的顯示技術(shù)已經(jīng)提升到一個(gè)較高的層次了，VR生產(chǎn)與技術(shù)商想要繼續(xù)提升VR的沉浸感就只能從聽(tīng)感方面入手，因此VR全景聲就開(kāi)始逐漸被廣大技術(shù)廠商留意。
聲音在很多媒介中都屬于從屬的地位，從電影到游戲等等的娛樂(lè)媒體，聲音似乎都是以一種配合畫(huà)面的形式出現(xiàn)到大眾心目中。為了增強(qiáng)音效所處的地位，增加試聽(tīng)者的感受，由此VR全景聲，3D音效，沉浸式音頻等等的理念逐漸被影音業(yè)界提出并且被開(kāi)發(fā)出來(lái)。
最簡(jiǎn)單的理解，當(dāng)我們處在環(huán)境中，從不同的角度聽(tīng)同一個(gè)聲源所得到的聲音是不同的。在整個(gè)環(huán)境中，聲源和其所在的位置、時(shí)間信息共同構(gòu)成一個(gè)聲場(chǎng)。記錄了聲場(chǎng)數(shù)據(jù)，也就知道了整個(gè)環(huán)境的聲音狀態(tài)，VR全景聲正是解決如何還原視頻場(chǎng)景聲的問(wèn)題。全景聲場(chǎng)不僅可以模擬VR里面的音場(chǎng)，還原視頻中場(chǎng)景的聲音，增加沉浸感，更能引導(dǎo)觀眾的注意力。
伴隨著VR技術(shù)的發(fā)展
2016年被稱為VR的發(fā)展元年，從產(chǎn)業(yè)的生態(tài)角度看，VR產(chǎn)業(yè)已經(jīng)將從技術(shù)到硬件內(nèi)容全部變成可以使用的現(xiàn)實(shí)，而不僅僅是一個(gè)概念。由于VR系列的產(chǎn)品擁有巨大的潛在市場(chǎng)，各大商家紛紛投資涌入這片VR技術(shù)的浪潮。
2014年6月網(wǎng)絡(luò)巨頭谷歌率先推出Google Carboard——一款以紙盒制造的可折疊智能手機(jī)頭戴式顯示器，可以使用手機(jī)提供虛擬實(shí)境體驗(yàn)。
2014年7月，F(xiàn)acebook宣布以20億美元的價(jià)格收購(gòu)VR技術(shù)商O(píng)culus，在外界看來(lái)無(wú)疑是一場(chǎng)為未來(lái)買(mǎi)單的措舉。另一方面，國(guó)內(nèi)企業(yè)也紛紛將視線聚焦到VR技術(shù)，阿里巴巴、百度、小米、騰訊等國(guó)內(nèi)互聯(lián)網(wǎng)巨頭亦希望能夠構(gòu)建國(guó)內(nèi)的VR產(chǎn)業(yè)。即便是沒(méi)有VR技術(shù)的知名網(wǎng)絡(luò)企業(yè)如華誼兄弟、迅雷科技、樂(lè)視、暴風(fēng)科技等等亦通過(guò)資本投入涉足到VR產(chǎn)業(yè)中。對(duì)VR產(chǎn)業(yè)的投資無(wú)疑是直接對(duì)VR行業(yè)打了一劑強(qiáng)心針，伴隨著VR技術(shù)的發(fā)展，VR全景聲也在其中分到了發(fā)展投資的一杯羹。
其實(shí)全景聲的概念早已經(jīng)在影音界為大眾所知，2012年杜比實(shí)驗(yàn)室研發(fā)了杜比全景聲。它突破了傳統(tǒng)意義上5.1、7.1聲道的概念，能夠結(jié)合影片內(nèi)容，呈現(xiàn)出動(dòng)態(tài)的聲音效果。不同于以往一路音頻信號(hào)控制影院中一側(cè)音箱發(fā)出相同的聲音，它可以使一側(cè)的多個(gè)音箱逐個(gè)發(fā)出不同聲響，更真實(shí)的營(yíng)造出由遠(yuǎn)及近的音效；配合頂棚加設(shè)音箱，實(shí)現(xiàn)聲場(chǎng)包圍，展現(xiàn)更多聲音細(xì)節(jié)，提升觀眾的觀影感受。之后，杜比實(shí)驗(yàn)室和在線全景視頻資源網(wǎng)站Littlstar宣布，Littlstar的VR觀影應(yīng)用將會(huì)在今年秋季開(kāi)始支持杜比全景聲，帶來(lái)沉浸式聲效體驗(yàn)。
今年5月Nvidia推出了VR Work開(kāi)發(fā)包，能夠基于物理聲音技術(shù)，使用光線追蹤對(duì)環(huán)境進(jìn)行渲染，之后該技術(shù)也被運(yùn)用于聲音渲染中，旨在創(chuàng)建精確的物理聲波反饋。之后，AMD也順應(yīng)潮流，開(kāi)發(fā)了一個(gè)TrueAudio Next。
獨(dú)特的聲音制作過(guò)程
目前，VR全景聲場(chǎng)的制作方式為兩種，一是現(xiàn)場(chǎng)收聲，二是后期制作。VR視頻中加入配合全景視頻制作聲音是一個(gè)新的挑戰(zhàn)，雖然可以借鑒傳統(tǒng)音頻制作的經(jīng)驗(yàn)，但是全新的錄制方式與完全不同的后期合成處理方式，帶來(lái)了新的需求和新的技術(shù)難點(diǎn)?，F(xiàn)場(chǎng)收聲時(shí)，因?yàn)榄h(huán)境因素的影響，采集商可能收集不到完美的聲音，而且干擾源不能自行控制，采集者亦不好控制那些聲音需要增強(qiáng)那些聲音要弱一些。
但若是后期制作，聲音會(huì)很純凈，但是后期制作聲音的工作量會(huì)非常大，而且成本高。全景聲錄制之后還需要后期加工，比如需要將音軌的相位和VR視頻畫(huà)面相位進(jìn)行匹配，以使得具體的某個(gè)徑向來(lái)源的聲音和對(duì)應(yīng)的畫(huà)面在觀看時(shí)，來(lái)自同一個(gè)源。在VR影視中，專(zhuān)業(yè)人員需要能夠精準(zhǔn)還原全景聲場(chǎng)中所有聲源的位置、方向、距離和運(yùn)動(dòng)軌跡，這需要大量音軌來(lái)支撐VR所需的聲音細(xì)節(jié)。
高質(zhì)素的音效離不開(kāi)高素質(zhì)的技術(shù)，時(shí)代拓靈,國(guó)內(nèi)唯一一家能夠?qū)⑷耙曨l和全景聲音打包制作的公司。推出了拓靈VR360聲場(chǎng)錄制機(jī)，和拓靈VR全景聲引擎（Twirling VR Audio SDK）這兩大核心產(chǎn)品。為了滿足立體聲被動(dòng)式接收的不同，VR全景聲將需要滿足觀眾頭部旋轉(zhuǎn)和經(jīng)常改變角度的需要，最大程度創(chuàng)造沉浸式的體驗(yàn)。利用獨(dú)有的全景聲場(chǎng)模擬算法，將環(huán)境聲和虛擬聲源精確的還原在三維空間里。
支持頭部旋轉(zhuǎn)和移動(dòng)下的聲場(chǎng)重建。特別適合對(duì)運(yùn)算復(fù)雜度有較高要求的移動(dòng)端應(yīng)用。也是真正的跨平臺(tái)引擎，可以靈活的用于Android/iOS/Windows/Mac OS以及unity等各個(gè)平臺(tái)。產(chǎn)品的架構(gòu)十分高效，理論上可以同時(shí)提供128軌的音頻，并根據(jù)陀螺儀給出的頭部旋轉(zhuǎn)和位置等信息，隨時(shí)加入音源，并“實(shí)時(shí)渲染” 。
剛獲得數(shù)百萬(wàn)天使投資的森聲科技，主要的研發(fā)產(chǎn)品為基于雙耳錄音（Binaural recording）技術(shù)的VR音頻采集設(shè)備，以及基于人頭傳遞函數(shù)（HRTF）的聲場(chǎng)模擬軟件，可應(yīng)用于VR影視、游戲、新聞、娛樂(lè)和體育現(xiàn)場(chǎng)直播。首先用他們的采集設(shè)備錄制聲音，之后把音軌導(dǎo)入視頻軟件對(duì)位和編輯視頻，成片輸出后，在播放中調(diào)用森聲的SDK，以便能正常播放出全景聲。
之所以說(shuō)簡(jiǎn)便，是因?yàn)樯暤姆桨钢?，采集設(shè)備輸出的是正常的音軌，唯一的區(qū)別就是數(shù)量比較多，成片也是H.264壓縮格式的“.mp4”視頻文件，整個(gè)流程不會(huì)打破原有的視頻制作流程。
VR全景聲帶來(lái)的聽(tīng)覺(jué)革新
VR全景聲為廣大的VR和影音愛(ài)好者提供了一個(gè)擴(kuò)展的虛擬現(xiàn)實(shí)，它超越了原有游戲設(shè)備在視覺(jué)上的局限，為使用者提供了360°無(wú)死角的聽(tīng)感體驗(yàn)。聲音往往可以引導(dǎo)人的注意力，有了VR全景聲效之后，用戶的注意力會(huì)大大提高，增加用戶的沉浸體感。
對(duì)于許多VR游戲玩家來(lái)說(shuō)一個(gè)沒(méi)有VR全景聲的VR游戲是失敗的，VR設(shè)備的畫(huà)面往往可以將玩家?guī)胗螒虻氖澜绮⑶页两渲?。然而，失敗的音效表現(xiàn)卻將他們生生拉回到現(xiàn)實(shí)世界，因?yàn)樗械穆曇舳际菑耐粋€(gè)聲源發(fā)出的，而且音效的表現(xiàn)非常僵硬。絲毫沒(méi)有體現(xiàn)諸如物體由遠(yuǎn)到近飛過(guò)，走進(jìn)建筑物時(shí)的附近的聲音變化等等的細(xì)節(jié)音效。
使得一款制作精美，情節(jié)優(yōu)良的游戲總是差這么一點(diǎn)“火候”。另外，聲音往往是營(yíng)造環(huán)境氛圍的必要成分，但僅僅止步于營(yíng)造氛圍嗎？能否在VR游戲中實(shí)現(xiàn)聲控人物角色,讓玩家更融合到游戲世界中，顯然，使用語(yǔ)言數(shù)據(jù)庫(kù)是個(gè)解決的方法。其實(shí)在VR里，VR聲效所表現(xiàn)的最重要的是位置信息，VR全景聲所表現(xiàn)的是聲音在VR空間的運(yùn)用與作用。
舉個(gè)例子，倘若使用VR設(shè)備玩反恐精英，你帶著游戲外設(shè)模擬的槍支，忽然附近傳來(lái)軍靴踩踏地面的腳步聲。找一個(gè)藏身之所！這是引起玩家行動(dòng)的第一反應(yīng)。這樣的游戲是不是會(huì)讓你感覺(jué)到真正的身臨其境，緊張刺激猶如一個(gè)真正持槍者？由VR技術(shù)帶來(lái)的VR全景聲，無(wú)論是聲效的音質(zhì)還是聲距感都需要能夠完美表現(xiàn)出來(lái)，用戶在使用時(shí)能夠輕易“聽(tīng)”到自身所處的位置。
VR全景聲的真實(shí)感受
在VR游戲里就有一個(gè)主題先天就有VR聲音指令的優(yōu)勢(shì)，即VR恐怖。每當(dāng)夜幕降臨的時(shí)候，氣氛及詭異的聲音渲染之下，鬼這個(gè)詞就會(huì)在心底按捺不住的滋生。當(dāng)人類(lèi)對(duì)于未知的恐懼在VR環(huán)境中被無(wú)限放大時(shí)，你是否還會(huì)認(rèn)為這只是一個(gè)游戲？VR全景聲可以帶給你在空蕩蕩的房子里卻傳出樓上有腳步踩踏木質(zhì)地板的咯吱聲的感受。
VR全景聲效所帶來(lái)的其實(shí)就是視覺(jué)+聽(tīng)覺(jué)的組合，區(qū)別于傳統(tǒng)的3D環(huán)繞聲效，全景聲可以打造出不同層次的聲音效果，體驗(yàn)者甚至可以在其中感覺(jué)到超越耳朵靈敏度的體驗(yàn)。筆者曾經(jīng)體驗(yàn)過(guò)貞子紀(jì)念版本的VR電影，臨場(chǎng)驚悚！在VR中竟然可以聽(tīng)到這種令人毛骨悚然的鬼聲，不僅近在眼前，更“近在耳前”。
