在穿戴VR頭顯后，用戶一般無法看到雙手的存在。為了支持用戶通過雙手與虛擬環(huán)境交互，有必要渲染所述肢體的臨在。VR系統(tǒng)可以利用手部追蹤系統(tǒng)來追蹤雙手的運(yùn)動(dòng)和位置，進(jìn)而在虛擬環(huán)境中渲染它們。
但根據(jù)美國專利商標(biāo)局日前公布的一份授權(quán)專利，F(xiàn)acebook認(rèn)為傳統(tǒng)的系統(tǒng)無法精確追蹤用戶手指和拇指的位置，因此無法精確描述手部的狀態(tài)。所以，這家公司提出了一種用以高精度追蹤和響應(yīng)用戶手勢的圓柱形追蹤設(shè)備。
專利文件概述道：“專利描述的系統(tǒng)包括：電子顯示器，其配置為根據(jù)顯示指令顯示一個(gè)或多個(gè)模擬對象；成像傳感器，配置為捕獲用戶手部圖像；以及控制臺(tái)。控制臺(tái)配置為根據(jù)捕獲圖像提取用戶的手部關(guān)節(jié)信息，并根據(jù)所述關(guān)節(jié)信息確定一個(gè)或多個(gè)姿勢。根據(jù)確定的姿勢，控制臺(tái)更新顯示指令。”
Facebook進(jìn)一步解釋說，為了實(shí)現(xiàn)精確的捕獲，成像設(shè)備可以通過各種方法來捕獲環(huán)境的深度數(shù)據(jù)，如利用發(fā)射網(wǎng)格圖形的發(fā)射器，以及先進(jìn)的計(jì)算機(jī)視覺算法。
所述的控制臺(tái)（圓柱形設(shè)備）可以包含應(yīng)用儲(chǔ)存，追蹤模塊，以及執(zhí)行引擎。其中所述的應(yīng)用包括游戲應(yīng)用，視頻播放應(yīng)用或其他合適的應(yīng)用程序等等。由應(yīng)用程序生成的內(nèi)容可以響應(yīng)于從用戶接收的輸入。
控制臺(tái)中的追蹤模塊可以利用一個(gè)或多個(gè)校準(zhǔn)參數(shù)校準(zhǔn)系統(tǒng)環(huán)境，并調(diào)整一個(gè)或多個(gè)校準(zhǔn)參數(shù)，從而減少判斷姿勢判斷誤差。另外，系統(tǒng)可以結(jié)合IMU組件的信息來幫助校準(zhǔn)。
追蹤模塊可以利用深度學(xué)習(xí)模型來判斷用戶手勢姿態(tài)。這一深度學(xué)習(xí)模型可以是神經(jīng)網(wǎng)絡(luò)，如卷積神經(jīng)網(wǎng)絡(luò)，更具體來說是殘差神經(jīng)網(wǎng)絡(luò)。因此，控制臺(tái)可以根據(jù)捕獲圖像提取用戶的手部關(guān)節(jié)信息，從而幫助精確判斷手部姿態(tài)。
Facebook進(jìn)一步指出，利用這樣的系統(tǒng)，“用戶將能執(zhí)行導(dǎo)致模擬虛擬現(xiàn)實(shí)，增強(qiáng)現(xiàn)實(shí)，和/或混合現(xiàn)實(shí)環(huán)境中出現(xiàn)各種變化的手勢。”
相關(guān)專利：High Resolution Tracking And Response To Hand Gestures Through Three Dimensions
名為“High Resolution Tracking And Response To Hand Gestures Through Three Dimensions（三維手勢的高分辨率追蹤與響應(yīng)）”的專利是于2017年5月提交，并于日前由美國專利商標(biāo)局獲批公布。另外，這僅僅只是一份專利，僅代表Facebook朝這一方向進(jìn)行了探索，尚不確定他們是否會(huì)或?qū)⒂诤螘r(shí)商業(yè)化具體的發(fā)明。
原文鏈接：https://yivian.com/news/59893.html
來源：映維網(wǎng)
