[發(fā)明專利]一種基于聲波感知的手勢輸入方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110098030.0
• 申請日: 2021-01-25
• 公開（公告）號: CN112799509A
• 公開（公告）日: 2021-05-14
• 發(fā)明（設(shè)計）人: 鄒永攀;肖治鴻;洪史聰;伍楷舜
• 申請（專利權(quán)）人: 深圳大學(xué)
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/62;G06N3/04;G01S7/539;G01S15/88;G10L25/18
• 代理公司: 北京市誠輝律師事務(wù)所 11430
• 代理人: 耿慧敏

1.一種基于聲波感知的手勢輸入方法，包括以下步驟：

控制智能設(shè)備內(nèi)置的揚聲器以設(shè)定的調(diào)制方式和頻率產(chǎn)生聲波信號，用戶在揚聲器附近區(qū)域進行無速度要求和無區(qū)域要求地書寫；

利用智能設(shè)備內(nèi)置的麥克風(fēng)以設(shè)定的采樣頻率采集被用戶手指反射回的聲波信號，獲得音頻信號；

對所述音頻信號進行處理和時頻轉(zhuǎn)換，獲得時頻圖；

根據(jù)用戶書寫時手指相對麥克風(fēng)移動產(chǎn)生的多普勒頻移效應(yīng)檢測所述時頻圖中是否包含有效的書寫動作，如判斷為是，則將所述時頻圖輸入到分類器，識別出書寫內(nèi)容信息，其中所述分類器是采集一位實驗人員的樣本數(shù)據(jù)集經(jīng)預(yù)訓(xùn)練獲得。

2.根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)以下步驟訓(xùn)練所述分類器：

控制智能設(shè)備的揚聲器發(fā)出聲波信號，并設(shè)置智能設(shè)備的麥克風(fēng)錄制的采樣頻率，該采樣頻率至少是聲波信號頻率的兩倍；

按照一位實驗人員不同書寫速度和不同書寫區(qū)域進行場景組合，采集每種場景下的音頻數(shù)據(jù)進行處理，并轉(zhuǎn)換成對應(yīng)的時頻圖；

根據(jù)獲得的時頻圖構(gòu)建樣本數(shù)據(jù)集，每條樣本數(shù)據(jù)表征時頻圖與場景信息、書寫內(nèi)容標(biāo)簽之間的關(guān)聯(lián)關(guān)系；

基于所述樣本數(shù)據(jù)集訓(xùn)練深度學(xué)習(xí)分類器，以時頻圖作為輸入，以書寫內(nèi)容標(biāo)簽和場景信息作為輸出，獲得滿足優(yōu)化目標(biāo)的分類器。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述樣本數(shù)據(jù)集包含三種書寫速度，三種書寫區(qū)域，共9種場景的數(shù)據(jù)，書寫內(nèi)容包括26個字母、10個阿拉伯?dāng)?shù)字和5種手勢，該5種手勢是左滑、右滑、上滑、五指放大和五指縮小；

將每個手勢在這9種場景中的每種場景下，進行5次實驗，最終一共采集1845條樣本數(shù)據(jù)構(gòu)建為所述樣本數(shù)據(jù)集。

4.根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)以下步驟檢測所述時頻圖中是否包含有效的書寫動作：

對采集的音頻數(shù)據(jù)流進行窗口化處理；

對每一個窗口化的數(shù)據(jù)進行帶通濾波以去除干擾噪聲，并進行帶阻濾波以濾除揚聲器的主頻信息，獲得表征用戶書寫時手指移動過程的時序數(shù)據(jù)；

對時序數(shù)據(jù)利用短時傅里葉變換進行時頻轉(zhuǎn)換，獲得音頻數(shù)據(jù)的頻域特征；

根據(jù)用戶書寫時手指相對于揚聲器的移動產(chǎn)生所述的多普勒效應(yīng)，計算揚聲器主頻附近的頻率變化范圍是否超過設(shè)定閾值，進而判斷出是否存在有效的書寫動作發(fā)生。

5.根據(jù)權(quán)利要求4所述的方法，其中，用戶書寫時手指相對于揚聲器的移動所產(chǎn)生的多普勒效應(yīng)表示：

其中f′是觀察到的頻率，f為智能設(shè)備揚聲器空氣中的原始發(fā)射頻率，v為聲波在空氣中的行進速度，v₀為用戶手指移動速度，若接近發(fā)射源揚聲器，則前方運算符號為+號，否則為-號，v_s為揚聲器移動速度，若接近用戶手指，則前方運算符號為-，否則為+號。

6.根據(jù)權(quán)利要求3所述的方法，其中，訓(xùn)練所述分類器之前，還包括對所述樣本數(shù)據(jù)集根據(jù)以下過程進行增強處理：

在保留數(shù)據(jù)特征的前提下，對時頻圖進行放大、縮小、左右平移、上下平移、裁剪、扭曲、添加噪聲和對抗神經(jīng)網(wǎng)絡(luò)中的一種操作或多種操作，最終將所述樣本數(shù)據(jù)集中的數(shù)據(jù)量從1845條擴充到36900條。

7.根據(jù)權(quán)利要求3所述的方法，其中，在識別出書寫內(nèi)容信息之后還包括：

將識別出的書寫內(nèi)容細(xì)分為字母類型、數(shù)字類型和手勢類型；

按照英語單詞的使用頻率構(gòu)建包含日常使用單詞的字典；

針對字典中的單詞頻率信息和構(gòu)詞信息，利用貝葉斯概率論構(gòu)建語言模型；

在識別出的書寫內(nèi)容被劃分為字母類型的情況下，將識別結(jié)果傳給所述語言模型，得到字典中所有單詞的推薦概率；

將所有單詞按照推薦概率進行排序，進而根據(jù)應(yīng)用場景向用戶推薦設(shè)定數(shù)量的單詞數(shù)，供用戶進行選擇。

8.根據(jù)權(quán)利要求1所述的方法，其中，所述樣本數(shù)據(jù)集是由一位實驗人員從相對于智能設(shè)備的不同角度、不同距離以及在不同噪聲背景下進行書寫時所采集的數(shù)據(jù)。