HoloLens自面世以來(lái)，我們一方面利用混合現(xiàn)實(shí)的技術(shù)特性，與垂直行業(yè)客戶一道進(jìn)行定制化方案的開(kāi)發(fā)；另一方面也在努力提升HoloLens的內(nèi)容拍攝及展現(xiàn)形式。尤其隨著Spectator View這樣的第三方視角方案趨于成熟，我們可以預(yù)見(jiàn)國(guó)內(nèi)電視媒體甚至泛娛樂(lè)行業(yè)在未來(lái)利用混合現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)制作創(chuàng)新的廣闊前景。

微軟HoloLens參加了國(guó)內(nèi)某知名電視臺(tái)的節(jié)目錄制，并在其中嘗試了混合現(xiàn)實(shí)畫(huà)面搭載傳統(tǒng)音視訊技術(shù)。這次實(shí)踐的意義，代表著通過(guò)本地團(tuán)隊(duì)的二次開(kāi)發(fā)，已經(jīng)可以基本達(dá)到目前國(guó)際上先進(jìn)的HoloLens展示播出能力。這次的技術(shù)突破，解決了以往面對(duì)大量觀眾無(wú)法佩戴HoloLens時(shí)，如何通過(guò)高質(zhì)量的畫(huà)面將全息影像、人和物的交互完美展現(xiàn)的挑戰(zhàn)。

再談第三方視角 Spectator View

其實(shí)，HoloLens在國(guó)內(nèi)并非首次與傳媒業(yè)結(jié)合，這次的合作與之前的最大不同，就是首次加入了擁有高畫(huà)質(zhì)輸出的Spectator View-第三方視角方案，并且非常關(guān)鍵的一點(diǎn)是本次錄制時(shí)HoloLens的拍攝機(jī)位可移動(dòng)！

那么，什么是HoloLens第三方視角呢？簡(jiǎn)單來(lái)說(shuō)，你看過(guò)的所有HoloLens官方視頻案例或者廣告，都是通過(guò)第三方視角拍攝展現(xiàn)的。這項(xiàng)技術(shù)的優(yōu)點(diǎn)在于，即使觀眾沒(méi)有佩戴HoloLens，也能看到佩戴HoloLens的操作者及其交互操作的全息畫(huà)面內(nèi)容。針對(duì)本次拍攝，我們將混合現(xiàn)實(shí)畫(huà)面信號(hào)接入專業(yè)的拍攝系統(tǒng)，展示出廣播級(jí)畫(huà)質(zhì)，可以讓現(xiàn)場(chǎng)觀眾感受到全息影響與真實(shí)物理空間交互融合帶來(lái)的真實(shí)感。 

錄制過(guò)程

大型節(jié)目錄制通常是一項(xiàng)復(fù)雜的系統(tǒng)工程，需要多個(gè)部門(mén)緊密配合才能保證節(jié)目順利播出。此次節(jié)目加入全息影像的信號(hào)輸入，技術(shù)難度進(jìn)一步加深。能否讓全息影像畫(huà)面帶給觀眾身臨其境的效果，對(duì)現(xiàn)場(chǎng)技術(shù)人員是一個(gè)高難度挑戰(zhàn)。

在錄制現(xiàn)場(chǎng)，我們需要將攝像機(jī)所拍攝的畫(huà)面和HoloLens識(shí)別的空間坐標(biāo)，傳回主機(jī)，與全息影像實(shí)時(shí)結(jié)合，再通過(guò)視頻輸出，最后將混合現(xiàn)實(shí)畫(huà)面投射到屏幕之上。為了保證不同距離且多角度呈現(xiàn)混合現(xiàn)實(shí)畫(huà)面與舞臺(tái)空間的融合效果，Spectator View在節(jié)目現(xiàn)場(chǎng)的站位極其關(guān)鍵。

我們?cè)诠?jié)目現(xiàn)場(chǎng)設(shè)置了三臺(tái)搭載Spectator View的攝像機(jī)，用于捕捉HoloLens的全息影像畫(huà)面。它們分別是：

• 一臺(tái)固定機(jī)位：在舞臺(tái)中央用于現(xiàn)場(chǎng)全景畫(huà)面拍攝；
• 兩臺(tái)移動(dòng)機(jī)位（游機(jī)位）：一臺(tái)軌道半徑90度的軌道攝像機(jī)位，負(fù)責(zé)舞臺(tái)部分畫(huà)面的拍攝；一臺(tái)搭載斯坦尼康的移動(dòng)攝像機(jī)，負(fù)責(zé)近景及特寫(xiě)畫(huà)面拍攝；

三臺(tái)攝像機(jī)的視頻信號(hào)通過(guò)專用SDI線纜接入導(dǎo)播系統(tǒng)，再由導(dǎo)播系統(tǒng)分出三路信號(hào)連入用于合成混合現(xiàn)實(shí)畫(huà)面的圖形工作站，合成后的視頻信號(hào)繼續(xù)通過(guò)SDI線纜反饋回導(dǎo)播系統(tǒng)。這樣，導(dǎo)播系統(tǒng)便可隨時(shí)切換三個(gè)機(jī)位的混合現(xiàn)實(shí)畫(huà)面了。

技術(shù)難點(diǎn)

經(jīng)過(guò)現(xiàn)場(chǎng)前期測(cè)試，我們發(fā)現(xiàn)混合現(xiàn)實(shí)畫(huà)面對(duì)接數(shù)字信號(hào)系統(tǒng)時(shí)，有可能遇到以下三方面挑戰(zhàn)，因此需要提早合理規(guī)劃。

1. 空間識(shí)別精確度

為了播出效果，節(jié)目舞臺(tái)的設(shè)計(jì)有可能出現(xiàn)大面積黑色空間或反光鏡面，并且錄制現(xiàn)場(chǎng)的燈光顏色，明亮度也會(huì)隨時(shí)劇烈切換。我們知道HoloLens的空間定位精度對(duì)環(huán)境和光線有一定的要求，當(dāng)需要識(shí)別的空間較大時(shí)，邊界識(shí)別會(huì)變得模糊，從而可能導(dǎo)致空間錨抖動(dòng)。為了解決這些潛在的干擾因素，我們從三個(gè)不同角度，各設(shè)置了一套Spectator View對(duì)現(xiàn)場(chǎng)混合現(xiàn)實(shí)畫(huà)面進(jìn)行拍攝。同時(shí)，在舞臺(tái)上做好相應(yīng)標(biāo)記，以此幫助三個(gè)角度的HoloLens進(jìn)行精確的空間識(shí)別。

2. 輸出畫(huà)面質(zhì)量

節(jié)目錄制的全過(guò)程大概需要7小時(shí)，除了設(shè)備本身續(xù)航能力需要有充分預(yù)案外，如何保證Spectator View圖形工作站的穩(wěn)定運(yùn)行至關(guān)重要。為了解決這個(gè)問(wèn)題，在接入SpectatorView時(shí)，我們需要進(jìn)行后端軟件防抖參數(shù)設(shè)置，及實(shí)時(shí)物體校準(zhǔn)功能設(shè)置，從而結(jié)合現(xiàn)場(chǎng)實(shí)景，保證節(jié)目現(xiàn)場(chǎng)混合現(xiàn)實(shí)畫(huà)面能夠穩(wěn)定輸出。

3. 多臺(tái)設(shè)備協(xié)同

多臺(tái)設(shè)備協(xié)調(diào)是確保現(xiàn)場(chǎng)拍攝畫(huà)面與導(dǎo)播系統(tǒng)無(wú)縫銜接的關(guān)鍵。由于每一套Spectator View都有自己獨(dú)立的同步系統(tǒng)，為了保證現(xiàn)場(chǎng)三臺(tái)SpectatorView和多名嘉賓佩戴的HoloLens中的空間錨進(jìn)行實(shí)時(shí)同步及對(duì)應(yīng)的畫(huà)面輸出，我們另外配置了一臺(tái)服務(wù)器進(jìn)行信號(hào)調(diào)配。從下圖顯示屏幕，可以監(jiān)控現(xiàn)場(chǎng)每臺(tái)HoloLens中的全息影像，調(diào)整它們?cè)谡鎸?shí)空間中的位置，并查看對(duì)應(yīng)操作后觸發(fā)的效果。

另外，為了保證錄制現(xiàn)場(chǎng)的無(wú)線網(wǎng)絡(luò)信號(hào)質(zhì)量，技術(shù)團(tuán)隊(duì)還在舞臺(tái)周邊安裝了三個(gè)無(wú)線路由器進(jìn)行信號(hào)橋接，確保現(xiàn)場(chǎng)任意一臺(tái)HoloLens都能輕松接入無(wú)線網(wǎng)絡(luò)。