谷歌新研究：讓失語者在視頻會議中自然使用手語

VR/AR

2020

10/10

14:34

新浪VR

評論

來源：新浪VR

視頻會議對所有人開放，那也應該包括使用手語進行交流的用戶，但由于大多數(shù)視頻會議系統(tǒng)會自動跟蹤講話人提示窗口，對于手語交流者而言，他們卻很難輕松有效地進行溝通。

因此，在視頻會議中采用實時手語檢測的場景變得十分有挑戰(zhàn)性，系統(tǒng)需要使用大量視頻反饋作為輸入進行分類，這使得任務計算變得十分繁重。某種程度上，這些挑戰(zhàn)的存在也導致有關(guān)手語檢測的研究很少。

近日在ECCV 2020和SLRTP 2020全球頂會上，谷歌的研究團隊提出了一個實時手語檢測模型，并詳述了該模型將如何用于視頻會議系統(tǒng)中識別“發(fā)言人”的過程。

1、設計思路

為了主動適配主流視頻會議系統(tǒng)所提供的會議解決方案，研究團隊采取了一種輕量型、即插即用的模型。該模型占用CPU小，以最大程度降低對客戶端通話質(zhì)量的影響。為了減少輸入的維度，采用從視頻中分離所需信息，對每個幀進行分類。

“由于手語涉及用戶的身體和手兩部分，我們先運行了人體姿態(tài)估計模型PoseNet，這樣可將輸入從整個高清圖像大幅分減到用戶身體上的一小部分，如眼睛、鼻子、肩膀、手等關(guān)鍵特征點（landmarks）。然后，我們再將這些關(guān)鍵特征點用于計算每一幀光流（Optical Flow），從而在不保留用戶特定信息的前提下就能量化用戶的姿態(tài)特征。每個姿態(tài)都通過人肩膀?qū)挾冗M行歸一化，以確保模型在距離攝像頭一定距離內(nèi)注意到用戶的手勢。最后，將光流通過視頻的幀速率進行歸一化，再傳遞給該模型。”

為了測試這種方法的有效性，研究團隊采用了德語手語語料庫（DGS），該語料庫包含人體手勢的長視頻（含跨度注釋）?；谟柧毢玫木€性回歸模型基線，使用光流數(shù)預測人體手勢何時發(fā)出。該模型基線可達到80%的準確度，每一幀僅需要約3μs（0.000003秒）的處理時間即可完成。通過將前50個幀的光流作為該模型的上下文，最終達到83.4%的準確度。

團隊使用了長短期記憶網(wǎng)絡（LSTM）架構(gòu)，該模型可實現(xiàn)的91.5%的準確度，每一幀的處理時間約為3.5毫秒（0.0035秒）。

2、概念驗證

在實際的場景中，有了運行完備的手語檢測模型僅是第一步，團隊還需要設計一種方法來出發(fā)視頻會議系統(tǒng)的主動式揚聲器功能。團隊開發(fā)了一款輕量級的在線手語檢測演示demo，可以連接到任何視頻會議系統(tǒng)上，并將手語交流者設置為“發(fā)言人”。

當手勢檢測模型確定用戶正在進行手語交流時，它會通過虛擬音頻電纜傳遞超聲音頻，任何視頻會議系統(tǒng)都可檢測到該音頻，就好像手語交流者正在“講話”一樣。音頻以20kHz傳輸，通常在人類聽覺范圍之外。因為視頻會議系統(tǒng)通常將音頻的音量作為檢測是否正在講話的標準，而不是檢測語音，所以應用程序會誤以為手語交流者正在講話。