混合現(xiàn)實(MR)的工作原理

混合現(xiàn)實在云計算和人工智能的幫助下得以實現(xiàn)。MR設(shè)備使用強大的AI傳感器、鏡頭、圖形處理單元(GPU)以及顯卡或核心芯片在三個軸或維度上處理和存儲數(shù)據(jù)。設(shè)備功能越強大,混合現(xiàn)實體驗就越出色。例如智能眼鏡、手套、連體衣和智能手機。

MR設(shè)備可將消費者連接到無線或有線計算機、控制臺或PC以訪問軟件。程序可以添加、復(fù)制或重新定位虛擬物品以創(chuàng)建沉浸式環(huán)境。現(xiàn)代混合現(xiàn)實耳機(例如Hololens)可生成高保真設(shè)置,讓用戶參與虛擬活動,從而消除界限并將現(xiàn)實與技術(shù)分開。

除耳機外,以下是其他四種使用MR的設(shè)備:

1.智能手機和其他移動設(shè)備

平板電腦和智能手機等移動設(shè)備的計算能力和移動性隨著時間的推移不斷提高。許多現(xiàn)代移動設(shè)備都開發(fā)了用于MR應(yīng)用的工具包。這些工具使開發(fā)人員能夠?qū)⒂嬎銠C圖像疊加在現(xiàn)實世界的鏡頭之上。

雖然基于AR的娛樂應(yīng)用已被證明是有效的,但專業(yè)和實用應(yīng)用也開始包含MR元素。由于移動設(shè)備無處不在,其顯示技術(shù)是MR增長和接受的關(guān)鍵因素。

2.平視顯示器(HUD)

平視顯示器(HUD)可將3D圖形直接投射到用戶面前,而不會明顯遮擋周圍環(huán)境。標準HUD由三個組件組成:

屏幕——負責疊加HUD的圖形,

組合器——圖形投射到其上的表面

計算機——結(jié)合其他兩個組件,執(zhí)行必要的實時計算或調(diào)整

最初,原型HUD被用于軍隊協(xié)助戰(zhàn)斗機飛行員作戰(zhàn)。然而,它們最終發(fā)展到協(xié)助航空業(yè)的所有元素?;旌犀F(xiàn)實HUD可以將3D圖像和數(shù)據(jù)可視化與交通和移動車輛相結(jié)合。

3.360度沉浸式環(huán)境(CAVE)

360度沉浸式環(huán)境(CAVE)是一種環(huán)境,在這種環(huán)境中,人被四面八方(上下)投影屏幕包圍。除了投影,3D眼鏡以及環(huán)繞聲還能為用戶提供一種透視感,旨在復(fù)制實際環(huán)境。自開發(fā)以來,工程師們一直采用CAVE系統(tǒng),創(chuàng)建和測試混合現(xiàn)實產(chǎn)品原型。

4.頭戴式顯示器或MR眼鏡

頭戴式顯示器(HMD)戴在整個頭部或眼睛旁邊,是一種使用一個或兩個鏡片將圖像立即投射到用戶眼前的設(shè)備。它廣泛應(yīng)用于醫(yī)療、休閑、航空航天和工程領(lǐng)域,并提供傳統(tǒng)顯示器無法實現(xiàn)的視覺互動水平。

頭戴式顯示器在MR娛樂客戶中非常受歡迎。盡管如此,大多數(shù)頭戴式顯示器仍然是虛擬現(xiàn)實顯示器,不包括實際環(huán)境。微軟的HoloLens是一款MR頭戴式顯示器(HMD),可應(yīng)用于醫(yī)學(xué)和工程領(lǐng)域。它讓臨床醫(yī)生實時更深入地了解物理世界。

除了構(gòu)成前端體驗的顯示器之外,環(huán)境感知和高級用戶輸入也為混合現(xiàn)實提供了動力。近幾十年來,輸入技術(shù)一直在塑造人與計算機之間的界面。

人機交互(HCI)是一個新的研究領(lǐng)域,涵蓋鍵盤、鼠標、觸摸、筆甚至語音識別。傳感器技術(shù)和處理能力的進步正在創(chuàng)造基于HCI輸入技術(shù)的全新計算機感知。這就是為什么MR使用應(yīng)用程序編程接口(API)來記錄人在真實環(huán)境中的身體位置、表面和限制、環(huán)境照明和物理位置。

創(chuàng)造真實的混合現(xiàn)實體驗需要整合三個基本要素:由云驅(qū)動的計算機處理、改進的輸入技術(shù)和環(huán)境意識。我們在物理世界中的運動在數(shù)字空間中得到跟蹤。在制造工廠中,物理邊界會影響混合現(xiàn)實體驗,例如游戲和基于任務(wù)的協(xié)助。通過情境輸入和感知,物理世界和數(shù)字世界開始融合。