超擬真混合現(xiàn)實（Hyper-Realistic Mixed Reality）是在混合現(xiàn)實（MR）技術(shù)基礎(chǔ)上進一步發(fā)展而來?；旌犀F(xiàn)實是將真實世界圖層與虛擬世界圖層進行疊加之后產(chǎn)生的新的可視化環(huán)境，主要用于體驗與互動；而 “超擬真混合現(xiàn)實” 則更強調(diào)對現(xiàn)實世界和虛擬世界融合高度逼真的融合與呈現(xiàn)，虛擬元素與現(xiàn)實場景的結(jié)合達(dá)到幾乎難以區(qū)分的程度，使用戶獲得極其真實的體驗。主要應(yīng)用在商業(yè)拍攝、商業(yè)直播、婚紗寫真等對超擬真視覺感有訴求的應(yīng)用賽道。

原理

1、數(shù)字空間制作

數(shù)字空間一般是超擬真混合現(xiàn)實技術(shù)方案執(zhí)行的背景部分，可以通過AIGC來制作完成，也可以通過3D建模渲染來獲得。這些3D空間，需要準(zhǔn)確地理解現(xiàn)實環(huán)境的幾何結(jié)構(gòu)、光照條件、物體材質(zhì)等信息，為虛擬元素的融合提供基礎(chǔ)。 根據(jù)應(yīng)用的需要，數(shù)字空間可以是靜止的圖片、動態(tài)的視頻、無限循環(huán)的實時渲染的時空這三類。

2、實物前景層

前景層一般是指真實人物（如主播），真實物理道具（如桌子）等，他們作為前景層需要與數(shù)字空間作為的背景層進行融合。為了獲得最佳的視覺體驗，前景人物的服化道與前景素材的風(fēng)格、樣式、顏色選擇，需要跟數(shù)字空間相匹配，以獲得最佳的視覺效果。

3、超擬真融合

將前景真實層與背景虛擬層在比例尺與透視關(guān)系、光影與光場關(guān)系、視角與縮放關(guān)系、虛實互動關(guān)系上進行逼近現(xiàn)實的處理，通過渲染引擎進行合成，即可獲得超擬真融合之后的實時畫面。

超擬真融合將就的是對真實世界的復(fù)刻，因此需要在物理規(guī)律、審美原則、感知原則等方面進行擬真化，讓最終的輸出內(nèi)容有與真實世界媲美的視覺等級，以達(dá)到商業(yè)用途。

4、實時跟蹤與定位

為了確保前景真實元素能夠準(zhǔn)確地疊加在數(shù)字場景中，并且隨著用戶的視角和位置變化而實時更新場景，需要強大的跟蹤與定位技術(shù)，這些定位技術(shù)可以通過算法或物理元件實現(xiàn)。這包括對用戶頭部、手部、身體等部位的運動跟蹤，以及對設(shè)備在空間中的位置和方向的定位，從而實現(xiàn)前景元素與虛擬背景世界的精準(zhǔn)匹配和互動。

5、實時渲染

根據(jù)商業(yè)目標(biāo)的需要，需要對最終的超擬真混合現(xiàn)實的產(chǎn)物進行實時輸出渲染，他們包含大分辨率圖片、高幀率視頻流兩部分，因此需要搭建匹配渲染算力的本地計算設(shè)備套件，并且對渲染的產(chǎn)物進行存儲與發(fā)送。

應(yīng)用

1、數(shù)字直播間

通過超擬真混合現(xiàn)實技術(shù)來實現(xiàn)商用的數(shù)字直播間的搭建，可降低運營建設(shè)成本，提升品牌的視覺競爭力與差異化，還可以基于平臺的訴求深度運營。

2、平面制作

在商業(yè)拍攝，婚紗寫真拍攝的時候也可以使用到超擬真混合現(xiàn)實技術(shù)，以降低實景拍攝的綜合成本，規(guī)避優(yōu)質(zhì)場景資源的缺乏。

3、實時演播

基于超擬真混合現(xiàn)實的跟蹤定位技術(shù)，可以進行商業(yè)走秀、影視作品的拍攝，以降低制作成本，提升制作內(nèi)容的品質(zhì)與差異化。