來源：映維網(wǎng)  作者 映華

構(gòu)建能夠幫助大家保持聯(lián)結(jié)的產(chǎn)品是FacebookReality Labs（FRL）的一個(gè)重要宗旨。在過去數(shù)年間，團(tuán)隊(duì)分享了在機(jī)器感知，逼真虛擬化身，甚至是腦機(jī)接口方面的進(jìn)展。在上個(gè)月，F(xiàn)RL Research的首席科學(xué)家邁克爾·亞伯拉什在Facebook Connect大會(huì)談到了AR眼鏡的發(fā)展之路。

在下面這篇博文中，這家公司將介紹研究人員是如何為Quest“解鎖”同類產(chǎn)品中的首款手部追蹤解決方案，并分享關(guān)于文本輸入的研究進(jìn)展。下面是映維網(wǎng)的具體整理：

手部追蹤是FRL Research眾多旨在提升技術(shù)交互親民都的研究課題之一。從VR頭顯到AR眼鏡，我們正在構(gòu)建下一個(gè)能夠讓更多人受益的計(jì)算平臺(tái)。手部追蹤技術(shù)提供了最為熟悉自然的人機(jī)交互方式，從而為更多的人打開了沉浸式計(jì)算的大門。

當(dāng)Oculus Touch控制器于2016年底面世時(shí)，它通過手部臨在開創(chuàng)了一個(gè)消費(fèi)虛擬現(xiàn)實(shí)的新時(shí)代：在虛擬環(huán)境中，你的雙手與你同在。

手部追蹤是FRL Research眾多旨在提升技術(shù)交互親民度的研究課題之一。

為了構(gòu)建更為自然的交互設(shè)備，F(xiàn)RL將Touch控制器作為基礎(chǔ)。這款設(shè)備操作舒適，并且配備了先進(jìn)的傳感器，可提供逼真的雙手臨場(chǎng)感，能夠使虛擬現(xiàn)實(shí)中最基本的交互（如抓住門把手）感覺更為真實(shí)。然而，盡管Touch控制器存在大量的優(yōu)點(diǎn)，但它無法復(fù)刻V字手勢(shì)或鍵盤操作的效率。對(duì)于自然地做事，目前沒有任何其他方式能夠比擬人手。與生俱來的本能，強(qiáng)大的適應(yīng)性，以及被億萬人理解，雙手一直都在幫助我們完成日常任務(wù)、創(chuàng)造性工作、以及介于兩者之間的所有事情?？梢哉f，雙手是大多數(shù)活動(dòng)的理想輸入。但當(dāng)FRL Research于五年多前開始為VR探索手部追蹤的時(shí)候，業(yè)內(nèi)尚未出現(xiàn)消費(fèi)者質(zhì)量的裸手追蹤。團(tuán)隊(duì)面臨的挑戰(zhàn)是從零開發(fā)這項(xiàng)技術(shù)，并通過創(chuàng)建一個(gè)基于人手的新界面來讓虛擬現(xiàn)實(shí)變得更加親民。令人感到欣慰的是，我們?nèi)〉昧顺晒Α?/p>

我們將通過兩篇論文來介紹具體的實(shí)現(xiàn)過程，以及手部追蹤的進(jìn)一步潛力。在本周舉行的UIST 2020大會(huì)中（一個(gè)關(guān)于用戶界面軟件和技術(shù)的研討會(huì)），F(xiàn)RL Research首次提出了一種不使用物理鍵盤進(jìn)行接觸式文本鍵入的新方法。我們演示了可以作用于任何表面的手部追蹤提供了媲美傳統(tǒng)鍵盤打字的效率和熟悉度。在SIGGRAPH 2020（一個(gè)關(guān)于計(jì)算機(jī)圖形學(xué)的年度大會(huì)），F(xiàn)RL的研究人員分享了他們是如何通過移動(dòng)計(jì)算的眾多突破為Quest實(shí)現(xiàn)手部追蹤。今天，每一臺(tái)Quest頭顯都搭載了現(xiàn)成的手部追蹤功能。

使用基于標(biāo)記的手部追蹤系統(tǒng)，F(xiàn)RL Research演示了如何在平面實(shí)現(xiàn)接觸式文本鍵入。這向我們展示了將手部追蹤用于文本輸入的潛力。

1. 無需鍵盤的自然文本鍵入

作為正在進(jìn)行的手部追蹤研究的其中一環(huán)，F(xiàn)RL Research不斷探索新的實(shí)驗(yàn)性文本輸入形式，因?yàn)檫@對(duì)交流和生產(chǎn)力而言都是一項(xiàng)關(guān)鍵任務(wù)。在本周舉行的UIST 2020大會(huì)中，團(tuán)隊(duì)提出了一種不使用物理鍵盤進(jìn)行接觸式文本鍵入的新方法。這種解決方案使用了基于標(biāo)記的手部追蹤系統(tǒng)，把相關(guān)的手部追蹤數(shù)據(jù)作為輸入，并將其直接解碼為用戶希望輸入的文本。盡管項(xiàng)目尚處于研究階段的早期，但這次演示說明了手部追蹤在生產(chǎn)力場(chǎng)景中的潛力。

相關(guān)論文：Decoding Surface Touch Typing from Hand-Tracking

相關(guān)論文：Online Optical Marker-based Hand Tracking with Deep Labels 

為了支持無需物理鍵盤的接觸式文本鍵入，并考慮無法從單個(gè)物理按鍵獲得觸覺反饋的缺點(diǎn)，研究小組必須合理化于隨機(jī)平面發(fā)生的非明確文本鍵入模式。團(tuán)隊(duì)采用了來自自動(dòng)語音識(shí)別的統(tǒng)計(jì)解碼技術(shù)。語音識(shí)別主要使用聲學(xué)模型來預(yù)測(cè)音頻幀中的音素，而團(tuán)隊(duì)則使用運(yùn)動(dòng)模型來預(yù)測(cè)手部運(yùn)動(dòng)中的鍵入行為。

當(dāng)在純平面使用雙手進(jìn)行接觸式本文鍵入操作時(shí)，被試平均每分鐘能夠輸入73個(gè)字詞，未糾錯(cuò)誤率為2.4%。這實(shí)現(xiàn)了同一被試操作物理鍵盤的類似速度和精度。

結(jié)合語言模型，系統(tǒng)能夠判斷理解用戶的非明確文本鍵入，并預(yù)測(cè)用戶希望輸入的內(nèi)容。利用這種新方法，當(dāng)在純平面使用雙手進(jìn)行接觸式本文鍵入操作時(shí)，被試平均每分鐘能夠輸入73個(gè)字詞，未糾錯(cuò)誤率為2.4%。這實(shí)現(xiàn)了同一被試操作物理鍵盤類似的速度和精度。

這一令人驚訝的結(jié)果促使研究人員探究為什么手部追蹤比其他物理方法更為有效，比如說沒有物理鍵盤的平板電腦或智能手機(jī)的文本鍵入。研究小組發(fā)現(xiàn)，手部追蹤技術(shù)在分離手指和手指移動(dòng)軌跡方面有著獨(dú)特的優(yōu)勢(shì)，而這正是當(dāng)今平板電腦和智能手機(jī)的電容式感應(yīng)系統(tǒng)所缺失的信息。

盡管在平面進(jìn)行接觸式文本鍵入的行為動(dòng)作并不明確，但研究人員使用一個(gè)運(yùn)動(dòng)模型來預(yù)測(cè)人們希望鍵入的內(nèi)容。手部追蹤可以分離手指和手指移向虛擬按鍵的軌跡。對(duì)于這種信息，今天的智能手機(jī)和平板電腦無法追蹤捕獲。

2. Oculus Quest的手部追蹤

盡管手部追蹤的潛力巨大，但要虛擬空間中實(shí)現(xiàn)如同現(xiàn)實(shí)世界一樣的雙手操作令人望而生畏。在SIGGRAPH 2020的的分享中，研究人員描述了在Oculus Quest中實(shí)現(xiàn)雙手臨在的眾多問題。

相關(guān)論文：MEgATrack: Monochrome Egocentric Articulated Hand-Tracking for Virtual Reality

延伸閱讀：Facebook論文詳細(xì)分享Oculus Quest手部追蹤技術(shù)細(xì)節(jié)

第一個(gè)問題是“有效量積”，亦即能夠追蹤雙手的容積范圍。如果沒有足夠的有效量積，你的雙手會(huì)在視場(chǎng)中消失，并中斷用戶交互。第二個(gè)問題是追蹤卡頓，它會(huì)產(chǎn)生不自然的手部運(yùn)動(dòng)?？D是目前一個(gè)未被充分研究的手部追蹤領(lǐng)域。目前大多數(shù)基準(zhǔn)數(shù)據(jù)集都基于靜止幀，而不是流體運(yùn)動(dòng)。第三個(gè)問題是硬件資源需求。過去的研究主要集中在具有強(qiáng)大GPU的高端PC。但初代Quest的性能要比常見的高端PC低兩個(gè)數(shù)量級(jí)。

早期的實(shí)驗(yàn)只使用兩個(gè)前置攝像頭的重疊覆蓋區(qū)間，但Quest會(huì)丟失用戶雙手。四個(gè)攝像頭通過增加區(qū)間（或有效量積）來實(shí)現(xiàn)雙手的流暢追蹤。在四個(gè)攝像頭視覺覆蓋的范圍內(nèi)，Quest可以“看到”并處理視覺信息。

FRL的手部追蹤解決方案利用了Oculus Quest的四個(gè)攝像頭來提供最大的有效量積。最初的計(jì)劃只是使用兩個(gè)攝像頭，但研究人員注意到，即便在顯示屏的視場(chǎng)內(nèi)，雙手都有可能會(huì)消失。使用四個(gè)攝像頭能夠大大增加追蹤容積，但這同時(shí)帶來了一個(gè)新的計(jì)算機(jī)視覺挑戰(zhàn)：從四個(gè)不同的來源獲取視覺數(shù)據(jù)并實(shí)時(shí)拼接在一起。在任何給定的時(shí)間，你的雙手都可能位于一個(gè)或多個(gè)攝像頭的視場(chǎng)內(nèi)。當(dāng)你的手移動(dòng)時(shí)，它可以離開一個(gè)攝像頭的視場(chǎng)并進(jìn)入另一個(gè)攝像頭的視場(chǎng)。FRL的研究人員不得不建立一個(gè)當(dāng)雙手游離于攝像頭視場(chǎng)之間時(shí)依然能夠?qū)崿F(xiàn)追蹤的框架，并建立一個(gè)新的框架將它們拼合在一起。

流暢的和無卡頓的手部追蹤取決于所有四個(gè)Quest前置攝像頭的視覺數(shù)據(jù)。研究人員開發(fā)了一個(gè)框架來整合所有數(shù)據(jù)，而它甚至能應(yīng)對(duì)手從一個(gè)攝像頭視場(chǎng)切換到另一個(gè)攝像頭視場(chǎng)的情況。

最后一個(gè)技術(shù)障礙是Quest的移動(dòng)處理器，而它需要將有限的性能資源分給游戲和應(yīng)用的運(yùn)行。問題的答案來自于建立高效的神經(jīng)網(wǎng)絡(luò)架構(gòu)。多年來，研究團(tuán)隊(duì)在根據(jù)特定移動(dòng)處理器（如驍龍835和Hexagon DSP）定制神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)方面取得了重大進(jìn)展。研究小組同時(shí)利用手部運(yùn)動(dòng)的規(guī)律性來預(yù)測(cè)手部接下來的移動(dòng)位置，從而減少了神經(jīng)網(wǎng)絡(luò)的評(píng)估?？偟膩碚f，這一系列的優(yōu)化意味著初代Quest的手部追蹤在日常使用中只消耗7%的電池電量。

為了保持手部運(yùn)動(dòng)的流暢性和真實(shí)性，研究人員另外開發(fā)了一個(gè)手部關(guān)鍵點(diǎn)估計(jì)網(wǎng)絡(luò)。傳統(tǒng)的系統(tǒng)是從一系列靜止圖像中預(yù)測(cè)關(guān)鍵點(diǎn)，比如指尖。但根據(jù)單一靜態(tài)圖像預(yù)測(cè)手部會(huì)導(dǎo)致攝像頭之間的卡頓和非一致結(jié)果。所以，研究人員提出不如允許網(wǎng)絡(luò)訪問先前預(yù)測(cè)的關(guān)鍵點(diǎn)。對(duì)于這種設(shè)計(jì)方面的改變，研究人員證明了他們的網(wǎng)絡(luò)能夠成功地追蹤在圖像邊界部分可見的手部。通過使用這些新的、暫時(shí)的信息來調(diào)節(jié)網(wǎng)絡(luò)，研究小組在不犧牲準(zhǔn)確性的前提下顯著減少了卡頓（這兩者都是構(gòu)建逼真手部追蹤的基本要素）。

3. 今天的手部追蹤

我們?nèi)蕴幱跇?gòu)建更自然的設(shè)備交互方式的早期階段。但在今年，我們已經(jīng)看到開發(fā)者利用Quest的裸手追蹤，并為社區(qū)帶來了一系列不可思議的體驗(yàn)。《Waltz of the Wizard》允許玩家用手指快速釋放魔法和釀造魔藥。對(duì)于榮獲艾美獎(jiǎng)的交互式體驗(yàn)《The Line》，用戶可以通過使用雙手操縱旋鈕、開關(guān)等物件來增強(qiáng)故事感。

我們一直致力于幫助人們進(jìn)一步利用技術(shù)的力量，而手部追蹤只是我們正在探索的其中一種方法。盡管我們已經(jīng)取得了進(jìn)展，但我們?nèi)蕴幱诼L道路的開始。尋找更好的做事方式需要進(jìn)一步的研究和創(chuàng)造性的靈感。所以，我們對(duì)FRL Research已經(jīng)取得的里程碑感到興奮，但我們對(duì)未來的發(fā)展更為興奮。

原文鏈接：https://yivian.com/news/79194.html