來(lái)源：量子位

你是否也有過(guò)這樣的時(shí)候。

廚具清潔正水聲大作，手機(jī)突然響了起來(lái)。這時(shí)你滿(mǎn)手泡沫水漬，大腦瞬間空白：

sad。

那，語(yǔ)音控制？

Siri 表示周?chē)曁笪液孟癫幻靼啄阍谡f(shuō)什么。

至于手勢(shì)控制……我手要空著還會(huì)有這個(gè)問(wèn)題嗎！

那有沒(méi)有更 nice 的一種方式呢？

這個(gè)可以有——牙齒控制了解一下。

通過(guò)牙齒動(dòng)作 *（teeth gestures）* 來(lái)代替常規(guī)輸入方式。

這就是來(lái)自康奈爾大學(xué) SciFi 實(shí)驗(yàn)室的一項(xiàng)新研究——TeethTap。

效果展示

TeethTap 是一種可穿戴系統(tǒng)，主要由耳后佩戴的 IMU 和接觸式麥克風(fēng)組成。

已經(jīng)可以通過(guò)捕捉并識(shí)別耳朵周?chē)煌难例X動(dòng)作來(lái)實(shí)現(xiàn)一些簡(jiǎn)單功能。

而在最終的用戶(hù)測(cè)試階段里，TeethTap 成功識(shí)別了 11 位參與者的 1382 個(gè)牙齒動(dòng)作中的 1256 個(gè)，平均準(zhǔn)確度達(dá) 90.9％。

如果能將這套系統(tǒng)集成到相關(guān)設(shè)備，那么既不用動(dòng)手，也不用顧忌環(huán)境噪音的設(shè)備控制方式，或許就真的未來(lái)可期了。

那么，它到底是怎么實(shí)現(xiàn)的呢？

13 種基礎(chǔ)牙齒動(dòng)作

好，現(xiàn)在，先咬個(gè)牙。

注意到了嗎，你在活動(dòng)牙齒時(shí)，你的舌頭、下頜骨，以及口腔肌肉都會(huì)隨之運(yùn)動(dòng)。

而研究人員在設(shè)計(jì)基本牙齒動(dòng)作時(shí)，便是受此啟發(fā)。

對(duì)于牙齒接觸的范圍，以舌頭朝向（引申到下頜方向）為 y 軸，以側(cè)面運(yùn)動(dòng)方向?yàn)?x 軸，這里 x-y 平面的四個(gè)極限點(diǎn)就可以描述為現(xiàn)實(shí)動(dòng)作里的前、后、左、右。

對(duì)于牙齒接觸的方式，則類(lèi)比鼠標(biāo)動(dòng)作：?jiǎn)螕簦焖僖Ш喜⑨尫牛?、雙擊（兩次快速咬合并釋放）、長(zhǎng)按（保持咬合，延遲釋放）。

通過(guò)以上兩個(gè)維度，共設(shè)計(jì)了 13 種基礎(chǔ)的 " 牙齒動(dòng)作 "（teeth gestures）。

就像 26 個(gè)英語(yǔ)字母可以組成無(wú)數(shù)單詞一樣，這 13 個(gè) " 基本動(dòng)作 " 也可以組合成為各種生活中的常用指令。

" 動(dòng)聲結(jié)合 " 的硬件設(shè)備

在動(dòng)作（語(yǔ)音）與指令交互時(shí)，現(xiàn)有手段大多通過(guò)人體特定部位的復(fù)雜傳感器（如眼動(dòng)儀）來(lái)識(shí)別手勢(shì)，主要有運(yùn)動(dòng)感測(cè)（如 IMU）和聲音感測(cè)（如麥克風(fēng)）兩個(gè)方向。

而 TeethTap 則采用運(yùn)動(dòng)感測(cè)與聲音感測(cè)相結(jié)合的硬件設(shè)備，來(lái)探索面部手勢(shì)識(shí)別的可能性。

TeethTap 主要由兩個(gè)接觸式麥克風(fēng)（BU-30179-000）和兩個(gè)慣性測(cè)量單元（IMU）組成?？赐庑斡悬c(diǎn)像造型奇怪，設(shè)備繁多的運(yùn)動(dòng)耳機(jī)。

自然彎曲的 PLA 燈絲將 IMU 傳感器壓在耳朵下方的下頜骨處，并將麥克風(fēng)固定到耳后的顳骨上，而麥克風(fēng)則連接到可以放大和過(guò)濾聲音信號(hào)的定制 PCB 板上。

在運(yùn)動(dòng)時(shí)，來(lái)自麥克風(fēng)（聲傳感器）的濾波數(shù)據(jù)和來(lái)自 IMU 的陀螺儀數(shù)據(jù)，分別通過(guò)板載 12 位的 ADC 和 I2C 通信發(fā)送到微控制器（HUZZAH32）。

最后，HUZZAH32 將數(shù)據(jù)發(fā)送到計(jì)算機(jī)以使用 WiFi 進(jìn)行處理。

從去躁到識(shí)別

那么上述的數(shù)據(jù)分析及傳輸算法具體是怎么實(shí)現(xiàn)的呢？

流程圖是這樣：

首先從連續(xù)數(shù)據(jù)流中劃分一個(gè)以 2s 為單位的滑動(dòng)窗口，隨著數(shù)據(jù)不斷流入流出，滑動(dòng)窗口也進(jìn)行 20 次 /s 的移動(dòng)。

當(dāng)檢查到音頻數(shù)據(jù)出現(xiàn)足夠的尖峰時(shí)，再檢查陀螺儀的 y 軸絕對(duì)最大值是否超過(guò)預(yù)定的能量閾值，以此來(lái)判定是否有動(dòng)作發(fā)生。

而對(duì)于咀嚼或說(shuō)話(huà)等可行為能產(chǎn)生的噪聲干擾，研究人員也實(shí)現(xiàn)了帶有線性核的 SVM 模型分類(lèi)器，對(duì)接收數(shù)據(jù)里的噪聲段和動(dòng)作段進(jìn)行了區(qū)分。

在對(duì)數(shù)據(jù)進(jìn)行分割并過(guò)濾掉噪聲之后，再使用 K 近鄰算法（k = 1）對(duì)手勢(shì)進(jìn)行分類(lèi)。

再使用 DTW 距離函數(shù)在每次迭代中輸出一個(gè)值，最終將具有最小距離值的手勢(shì)確定為預(yù)測(cè)動(dòng)作。

團(tuán)隊(duì)介紹

SciFi 是位于康奈爾大學(xué)計(jì)算機(jī)與信息科學(xué)系的跨學(xué)科實(shí)驗(yàn)室。

目前已在活動(dòng)識(shí)別，健康感測(cè)和自然用戶(hù)界面等多個(gè)領(lǐng)域上進(jìn)行了新應(yīng)用的開(kāi)發(fā)。

而對(duì)于現(xiàn)在的這款 TeethTap，作者也坦然承認(rèn)只是概念性的展示，所以不管是在外表美觀程度還是功能性上都還有所欠缺。

而未來(lái)的整體思路是以足夠小的電子元件，將整個(gè)系統(tǒng)集成在耳機(jī)、聽(tīng)筒，甚至是一副眼鏡框架上。

等等？