什么是MR混合現(xiàn)實(shí)視頻？

Mixed Reality視頻是VR場(chǎng)景影像+人的影像合成的視頻。相比普通方法錄制的VR視頻，Mixed Reality視頻更適合用來(lái)做宣傳視頻和直播。

MR視頻的制作原理

普通的VR視頻是第一人稱視角錄制，是將體驗(yàn)者眼睛看到的影像錄制下來(lái)，在這種視頻里是看不到體驗(yàn)者的全身的，要想拍攝拍攝虛擬場(chǎng)景與體驗(yàn)者合二為一的MR視頻，需要三個(gè)步驟：

• 切換成第三人稱視角；
• 將體驗(yàn)者的影像也錄制下來(lái)；
• 將體驗(yàn)畫面和攝像機(jī)影像合成。

硬件設(shè)備需求：

• 虛擬相機(jī)：定位在手柄上，錄制虛擬場(chǎng)景；
• 實(shí)體相機(jī)：拍攝體驗(yàn)者活動(dòng)；
• 視頻處理 ：將實(shí)體相機(jī)拍攝的體驗(yàn)者形象從實(shí)際場(chǎng)景這個(gè)摳出，合成到虛擬相機(jī)錄制的虛擬場(chǎng)景中；在合成過(guò)程中，體驗(yàn)者在虛擬場(chǎng)景中的位置通過(guò)追蹤頭盔的位置確定。

虛擬相機(jī)和實(shí)體相機(jī)的相對(duì)位置和朝向固定。

軟件需求：

• Uinty 3D：目前只有Uinty 3D 制作的程序支持MR模式；
• 視頻合成軟件：OBS或者其他。

MR視頻的制作過(guò)程

1.為游戲開啟MR模式

• Uinty SteamVR插件版本升級(jí)到v1.0.8或以上；
• 在游戲的根目錄下extemalcamera.cfg新建一個(gè)空白文件，重命名為extemalcamera.cfg ，在其中加上乳腺內(nèi)容：x=0 y=0 z=0 rx=0 ry=0 rz=0 fov=60 near=0.1 far=100 sceneResolutionScale=0.5；
• 連接第三個(gè)手柄：通過(guò)USB連接第三個(gè)手柄。

2.安裝攝像機(jī)和第三個(gè)手柄

• 硬件安裝如果有相機(jī)肩架或者手架，將攝像機(jī)和手柄都安裝在架子上。如果沒(méi)有架子，就把手柄綁在相機(jī)上，確保在移動(dòng)架子上或者相機(jī)的時(shí)候，相機(jī)和手柄相對(duì)應(yīng)位置和相對(duì)應(yīng)朝向不變；
• 計(jì)算出攝像機(jī)和手柄之間的偏移，也就是得出extemalcamera.cfg 的參數(shù)，x,y,z是攝像機(jī)和手柄的相對(duì)位置，rx,ry,rz是相對(duì)朝向，比較方便的做法是通過(guò)特制的校準(zhǔn)軟件來(lái)實(shí)現(xiàn)，另外也可以手動(dòng)調(diào)extemalcamera.cfg 中的數(shù)值；
  

3.用OBS合成視頻或視頻流

如果準(zhǔn)備好Mixed Reality視頻所需要的條件，PC上的體驗(yàn)畫面可分為4部分：

• Foreground：合成視頻的前景；
• Foreground alpha：前景的alpha；
• Background：合成視頻的背景；
• Gameview：正常體驗(yàn)畫面，不用于合成mixed Reality視頻 。

最終輸出的影像是由三個(gè)影像合成的：攝像機(jī)捕捉人的影像，覆蓋在背景上，前景覆蓋人和背景上。因此要在OBS中添加以下三個(gè)視頻源：

• 前景：視頻來(lái)源選擇裁剪體驗(yàn)窗口，裁剪區(qū)域和4分畫面的左上角畫面重合；設(shè)置黑色為色鍵，摳出前景畫面；
• 攝像機(jī)捕捉：視頻來(lái)源選擇webcamera或者視頻采集卡；設(shè)置綠色為色鍵，摳出人像；
• 背景：視頻來(lái)源選擇裁剪體驗(yàn)窗口，裁剪區(qū)域和4分畫面的左下角畫面重合。