來源：映維網(wǎng) 作者 映華
構(gòu)建能夠幫助大家保持聯(lián)結(jié)的產(chǎn)品是FacebookReality Labs（FRL）的一個重要宗旨。在過去數(shù)年間，團(tuán)隊分享了在機器感知，逼真虛擬化身，甚至是腦機接口方面的進(jìn)展。在上個月，F(xiàn)RL Research的首席科學(xué)家邁克爾·亞伯拉什在Facebook Connect大會談到了AR眼鏡的發(fā)展之路。
在下面這篇博文中，這家公司將介紹研究人員是如何為Quest“解鎖”同類產(chǎn)品中的首款手部追蹤解決方案，并分享關(guān)于文本輸入的研究進(jìn)展。下面是映維網(wǎng)的具體整理：
手部追蹤是FRL Research眾多旨在提升技術(shù)交互親民都的研究課題之一。從VR頭顯到AR眼鏡，我們正在構(gòu)建下一個能夠讓更多人受益的計算平臺。手部追蹤技術(shù)提供了最為熟悉自然的人機交互方式，從而為更多的人打開了沉浸式計算的大門。
當(dāng)Oculus Touch控制器于2016年底面世時，它通過手部臨在開創(chuàng)了一個消費虛擬現(xiàn)實的新時代：在虛擬環(huán)境中，你的雙手與你同在。
手部追蹤是FRL Research眾多旨在提升技術(shù)交互親民度的研究課題之一。
為了構(gòu)建更為自然的交互設(shè)備，F(xiàn)RL將Touch控制器作為基礎(chǔ)。這款設(shè)備操作舒適，并且配備了先進(jìn)的傳感器，可提供逼真的雙手臨場感，能夠使虛擬現(xiàn)實中最基本的交互（如抓住門把手）感覺更為真實。然而，盡管Touch控制器存在大量的優(yōu)點，但它無法復(fù)刻V字手勢或鍵盤操作的效率。對于自然地做事，目前沒有任何其他方式能夠比擬人手。與生俱來的本能，強大的適應(yīng)性，以及被億萬人理解，雙手一直都在幫助我們完成日常任務(wù)、創(chuàng)造性工作、以及介于兩者之間的所有事情?？梢哉f，雙手是大多數(shù)活動的理想輸入。但當(dāng)FRL Research于五年多前開始為VR探索手部追蹤的時候，業(yè)內(nèi)尚未出現(xiàn)消費者質(zhì)量的裸手追蹤。團(tuán)隊面臨的挑戰(zhàn)是從零開發(fā)這項技術(shù)，并通過創(chuàng)建一個基于人手的新界面來讓虛擬現(xiàn)實變得更加親民。令人感到欣慰的是，我們?nèi)〉昧顺晒Α?/p>
我們將通過兩篇論文來介紹具體的實現(xiàn)過程，以及手部追蹤的進(jìn)一步潛力。在本周舉行的UIST 2020大會中（一個關(guān)于用戶界面軟件和技術(shù)的研討會），F(xiàn)RL Research首次提出了一種不使用物理鍵盤進(jìn)行接觸式文本鍵入的新方法。我們演示了可以作用于任何表面的手部追蹤提供了媲美傳統(tǒng)鍵盤打字的效率和熟悉度。在SIGGRAPH 2020（一個關(guān)于計算機圖形學(xué)的年度大會），F(xiàn)RL的研究人員分享了他們是如何通過移動計算的眾多突破為Quest實現(xiàn)手部追蹤。今天，每一臺Quest頭顯都搭載了現(xiàn)成的手部追蹤功能。
使用基于標(biāo)記的手部追蹤系統(tǒng)，F(xiàn)RL Research演示了如何在平面實現(xiàn)接觸式文本鍵入。這向我們展示了將手部追蹤用于文本輸入的潛力。
1. 無需鍵盤的自然文本鍵入
作為正在進(jìn)行的手部追蹤研究的其中一環(huán)，F(xiàn)RL Research不斷探索新的實驗性文本輸入形式，因為這對交流和生產(chǎn)力而言都是一項關(guān)鍵任務(wù)。在本周舉行的UIST 2020大會中，團(tuán)隊提出了一種不使用物理鍵盤進(jìn)行接觸式文本鍵入的新方法。這種解決方案使用了基于標(biāo)記的手部追蹤系統(tǒng)，把相關(guān)的手部追蹤數(shù)據(jù)作為輸入，并將其直接解碼為用戶希望輸入的文本。盡管項目尚處于研究階段的早期，但這次演示說明了手部追蹤在生產(chǎn)力場景中的潛力。
相關(guān)論文：Decoding Surface Touch Typing from Hand-Tracking
相關(guān)論文：Online Optical Marker-based Hand Tracking with Deep Labels
為了支持無需物理鍵盤的接觸式文本鍵入，并考慮無法從單個物理按鍵獲得觸覺反饋的缺點，研究小組必須合理化于隨機平面發(fā)生的非明確文本鍵入模式。團(tuán)隊采用了來自自動語音識別的統(tǒng)計解碼技術(shù)。語音識別主要使用聲學(xué)模型來預(yù)測音頻幀中的音素，而團(tuán)隊則使用運動模型來預(yù)測手部運動中的鍵入行為。
當(dāng)在純平面使用雙手進(jìn)行接觸式本文鍵入操作時，被試平均每分鐘能夠輸入73個字詞，未糾錯誤率為2.4%。這實現(xiàn)了同一被試操作物理鍵盤的類似速度和精度。
結(jié)合語言模型，系統(tǒng)能夠判斷理解用戶的非明確文本鍵入，并預(yù)測用戶希望輸入的內(nèi)容。利用這種新方法，當(dāng)在純平面使用雙手進(jìn)行接觸式本文鍵入操作時，被試平均每分鐘能夠輸入73個字詞，未糾錯誤率為2.4%。這實現(xiàn)了同一被試操作物理鍵盤類似的速度和精度。
這一令人驚訝的結(jié)果促使研究人員探究為什么手部追蹤比其他物理方法更為有效，比如說沒有物理鍵盤的平板電腦或智能手機的文本鍵入。研究小組發(fā)現(xiàn)，手部追蹤技術(shù)在分離手指和手指移動軌跡方面有著獨特的優(yōu)勢，而這正是當(dāng)今平板電腦和智能手機的電容式感應(yīng)系統(tǒng)所缺失的信息。
盡管在平面進(jìn)行接觸式文本鍵入的行為動作并不明確，但研究人員使用一個運動模型來預(yù)測人們希望鍵入的內(nèi)容。手部追蹤可以分離手指和手指移向虛擬按鍵的軌跡。對于這種信息，今天的智能手機和平板電腦無法追蹤捕獲。
2. Oculus Quest的手部追蹤
盡管手部追蹤的潛力巨大，但要虛擬空間中實現(xiàn)如同現(xiàn)實世界一樣的雙手操作令人望而生畏。在SIGGRAPH 2020的的分享中，研究人員描述了在Oculus Quest中實現(xiàn)雙手臨在的眾多問題。
相關(guān)論文：MEgATrack: Monochrome Egocentric Articulated Hand-Tracking for Virtual Reality
延伸閱讀：Facebook論文詳細(xì)分享Oculus Quest手部追蹤技術(shù)細(xì)節(jié)
第一個問題是“有效量積”，亦即能夠追蹤雙手的容積范圍。如果沒有足夠的有效量積，你的雙手會在視場中消失，并中斷用戶交互。第二個問題是追蹤卡頓，它會產(chǎn)生不自然的手部運動。卡頓是目前一個未被充分研究的手部追蹤領(lǐng)域。目前大多數(shù)基準(zhǔn)數(shù)據(jù)集都基于靜止幀，而不是流體運動。第三個問題是硬件資源需求。過去的研究主要集中在具有強大GPU的高端PC。但初代Quest的性能要比常見的高端PC低兩個數(shù)量級。
早期的實驗只使用兩個前置攝像頭的重疊覆蓋區(qū)間，但Quest會丟失用戶雙手。四個攝像頭通過增加區(qū)間（或有效量積）來實現(xiàn)雙手的流暢追蹤。在四個攝像頭視覺覆蓋的范圍內(nèi)，Quest可以“看到”并處理視覺信息。
FRL的手部追蹤解決方案利用了Oculus Quest的四個攝像頭來提供最大的有效量積。最初的計劃只是使用兩個攝像頭，但研究人員注意到，即便在顯示屏的視場內(nèi)，雙手都有可能會消失。使用四個攝像頭能夠大大增加追蹤容積，但這同時帶來了一個新的計算機視覺挑戰(zhàn)：從四個不同的來源獲取視覺數(shù)據(jù)并實時拼接在一起。在任何給定的時間，你的雙手都可能位于一個或多個攝像頭的視場內(nèi)。當(dāng)你的手移動時，它可以離開一個攝像頭的視場并進(jìn)入另一個攝像頭的視場。FRL的研究人員不得不建立一個當(dāng)雙手游離于攝像頭視場之間時依然能夠?qū)崿F(xiàn)追蹤的框架，并建立一個新的框架將它們拼合在一起。
流暢的和無卡頓的手部追蹤取決于所有四個Quest前置攝像頭的視覺數(shù)據(jù)。研究人員開發(fā)了一個框架來整合所有數(shù)據(jù)，而它甚至能應(yīng)對手從一個攝像頭視場切換到另一個攝像頭視場的情況。
最后一個技術(shù)障礙是Quest的移動處理器，而它需要將有限的性能資源分給游戲和應(yīng)用的運行。問題的答案來自于建立高效的神經(jīng)網(wǎng)絡(luò)架構(gòu)。多年來，研究團(tuán)隊在根據(jù)特定移動處理器（如驍龍835和Hexagon DSP）定制神經(jīng)網(wǎng)絡(luò)設(shè)計方面取得了重大進(jìn)展。研究小組同時利用手部運動的規(guī)律性來預(yù)測手部接下來的移動位置，從而減少了神經(jīng)網(wǎng)絡(luò)的評估?？偟膩碚f，這一系列的優(yōu)化意味著初代Quest的手部追蹤在日常使用中只消耗7%的電池電量。
為了保持手部運動的流暢性和真實性，研究人員另外開發(fā)了一個手部關(guān)鍵點估計網(wǎng)絡(luò)。傳統(tǒng)的系統(tǒng)是從一系列靜止圖像中預(yù)測關(guān)鍵點，比如指尖。但根據(jù)單一靜態(tài)圖像預(yù)測手部會導(dǎo)致攝像頭之間的卡頓和非一致結(jié)果。所以，研究人員提出不如允許網(wǎng)絡(luò)訪問先前預(yù)測的關(guān)鍵點。對于這種設(shè)計方面的改變，研究人員證明了他們的網(wǎng)絡(luò)能夠成功地追蹤在圖像邊界部分可見的手部。通過使用這些新的、暫時的信息來調(diào)節(jié)網(wǎng)絡(luò)，研究小組在不犧牲準(zhǔn)確性的前提下顯著減少了卡頓（這兩者都是構(gòu)建逼真手部追蹤的基本要素）。
3. 今天的手部追蹤
我們?nèi)蕴幱跇?gòu)建更自然的設(shè)備交互方式的早期階段。但在今年，我們已經(jīng)看到開發(fā)者利用Quest的裸手追蹤，并為社區(qū)帶來了一系列不可思議的體驗?！禬altz of the Wizard》允許玩家用手指快速釋放魔法和釀造魔藥。對于榮獲艾美獎的交互式體驗《The Line》，用戶可以通過使用雙手操縱旋鈕、開關(guān)等物件來增強故事感。
我們一直致力于幫助人們進(jìn)一步利用技術(shù)的力量，而手部追蹤只是我們正在探索的其中一種方法。盡管我們已經(jīng)取得了進(jìn)展，但我們?nèi)蕴幱诼L道路的開始。尋找更好的做事方式需要進(jìn)一步的研究和創(chuàng)造性的靈感。所以，我們對FRL Research已經(jīng)取得的里程碑感到興奮，但我們對未來的發(fā)展更為興奮。
原文鏈接：https://yivian.com/news/79194.html
