還記得今年2月份（MWC2019）上微軟發(fā)布新品HoloLens2時(shí)展示的虛擬彈鋼琴的功能嗎，該項(xiàng)技術(shù)實(shí)現(xiàn)了單手關(guān)節(jié)25個(gè)立體坐標(biāo)精準(zhǔn)識別，在技術(shù)圈轟動一時(shí)。

8月20日谷歌也發(fā)布全新的手勢識別技術(shù)，該技術(shù)集成于開源跨平臺框架MediaPipe（可為多種類型的感知數(shù)據(jù)構(gòu)建處理流程），特點(diǎn)是采用機(jī)器學(xué)習(xí)技術(shù)，支持高準(zhǔn)確性手勢和五指追蹤，可根據(jù)一幀圖像推斷出單手的21個(gè)立體節(jié)點(diǎn)。與目前市面上較先進(jìn)的手勢識別技術(shù)相比，不需要依賴臺式機(jī)來計(jì)算，而是在手機(jī)上就能進(jìn)行實(shí)時(shí)追蹤，并且還能同時(shí)追蹤多只手，可識別遮擋。

據(jù)稱，該手勢識別技術(shù)可形成對基礎(chǔ)手語的理解，以及對手勢操控的支持，還可用于AR。而為了訓(xùn)練識別手勢的機(jī)器學(xué)習(xí)算法，谷歌采用了一個(gè)由3個(gè)模型組成的框架，包括：手掌識別模型BlazePalm（用于識別手的整體框架和方向）、Landmark模型（識別立體手部節(jié)點(diǎn)）、手勢識別模型（將識別到的節(jié)點(diǎn)分類成一系列手勢）。其中BlazePalm可為Landmark模型提供準(zhǔn)確建材的手掌圖像，這大大降低了對旋轉(zhuǎn)、轉(zhuǎn)化和縮放等數(shù)據(jù)增強(qiáng)方式的依賴，讓算法將更多計(jì)算能力用在提高預(yù)測準(zhǔn)確性上。

BlazePalm：這是一個(gè)可識別單幀圖像的模型，主要用于識別手掌初始位置，與用于識別面部的BlazeFace模型相似，都對移動端的實(shí)時(shí)識別進(jìn)行了優(yōu)化。BlazePalm可識別多種不同手掌大小，具備較大的縮放范圍（~20倍），還能識別手部遮擋，并且能通過對手臂、軀干或個(gè)人特征等的識別來準(zhǔn)確定位手部，彌補(bǔ)手部對于高對比度紋理特征的缺失。在經(jīng)過訓(xùn)練后，BlazePalm對于手掌識別的準(zhǔn)確率可達(dá)95.7%。

Landmark模型：這一模型根據(jù)回歸的方式，在BlazePalm識別到的手掌范圍內(nèi)可識別到21個(gè)立體節(jié)點(diǎn)坐標(biāo)，它的識別效果足夠好，甚至可以識別部分可見或自我遮擋的手部。為了訓(xùn)練Landmark模型，谷歌還在真實(shí)數(shù)據(jù)中混合額外的人工合成手掌模型數(shù)據(jù)。在經(jīng)過訓(xùn)練后，算法的平均回歸誤差可降低到13.4%。

手勢識別模型：該算法模型可根據(jù)關(guān)節(jié)的的角度識別每根手指的狀態(tài)，如：彎曲或伸直。接著，它會將每根手指的狀態(tài)映射到的預(yù)定義的手勢上，并通過這種方法來預(yù)測基礎(chǔ)的靜態(tài)手勢。據(jù)悉，谷歌現(xiàn)有的預(yù)定義手勢包括美國、歐洲和中國三個(gè)國家的不同數(shù)數(shù)手勢，以及豎大拇指、握拳、OK、“蜘蛛俠”等手勢。

目前，谷歌的這款全新手勢識別算法將通過MediaPipe框架進(jìn)行開源，并希望通過這種方法讓研究人員和開發(fā)者創(chuàng)作出有創(chuàng)意的應(yīng)用場景和研究途徑。而接下來，谷歌將繼續(xù)提高這項(xiàng)手勢識別技術(shù)，增加可識別的手勢，并將增加對動態(tài)手勢的識別。