[發(fā)明專利]一種基于聲波感知的手勢(shì)輸入方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110098030.0
• 申請(qǐng)日: 2021-01-25
• 公開（公告）號(hào): CN112799509A
• 公開（公告）日: 2021-05-14
• 發(fā)明（設(shè)計(jì)）人: 鄒永攀;肖治鴻;洪史聰;伍楷舜
• 申請(qǐng)（專利權(quán)）人: 深圳大學(xué)
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06K9/62;G06N3/04;G01S7/539;G01S15/88;G10L25/18
• 代理公司: 北京市誠(chéng)輝律師事務(wù)所 11430
• 代理人: 耿慧敏

本發(fā)明公開了一種基于聲波感知的手勢(shì)輸入方法和系統(tǒng)。該方法包括：控制智能設(shè)備內(nèi)置的揚(yáng)聲器以設(shè)定的調(diào)制方式和頻率產(chǎn)生聲波信號(hào)，用戶在揚(yáng)聲器附近區(qū)域進(jìn)行無速度要求和無區(qū)域要求地書寫；利用智能設(shè)備內(nèi)置的麥克風(fēng)以設(shè)定采樣頻率采集被用戶手指反射回的聲波信號(hào)，獲得音頻信號(hào)；對(duì)所述音頻信號(hào)進(jìn)行處理和時(shí)頻轉(zhuǎn)換，獲得時(shí)頻圖；根據(jù)用戶書寫書時(shí)手指相對(duì)麥克風(fēng)移動(dòng)產(chǎn)生的多普勒頻移效應(yīng)檢測(cè)所述時(shí)頻圖中是否包含有效的書寫動(dòng)作，如判斷為是，則將所述時(shí)頻圖輸入到分類器，識(shí)別出書寫內(nèi)容信息，其中所述分類器是采集一位實(shí)驗(yàn)人員的樣本數(shù)據(jù)集經(jīng)預(yù)訓(xùn)練獲得。本發(fā)明對(duì)新用戶而言，操作簡(jiǎn)單、無成本，更有利于商業(yè)推廣。

技術(shù)領(lǐng)域

本發(fā)明涉及電子設(shè)備交互技術(shù)領(lǐng)域，更具體地，涉及一種基于聲波感知的手勢(shì)輸入方法和系統(tǒng)。

背景技術(shù)

近年來，隨著科技的進(jìn)步，集成電路、高性能芯片、能量密集型電池等技術(shù)取得了一定程度上的進(jìn)步，使得可穿戴設(shè)備的發(fā)展突飛猛進(jìn)。因此可穿戴設(shè)備在生活中也越來越普及。據(jù)預(yù)測(cè)，越來越多的人傾向于使用至少一種可穿戴設(shè)備，如智能手表、智能眼鏡等。與其他傳統(tǒng)的移動(dòng)設(shè)備相比，可穿戴設(shè)備通常尺寸較小，主要用以確保用戶體驗(yàn)以及增強(qiáng)外表的美觀，但也給用戶和設(shè)備間的交互帶來很大的不便，尤其是在文本輸入方面。軟鍵盤輸入幾乎是現(xiàn)有智能手機(jī)，平板電腦和其他一些移動(dòng)設(shè)備中使用最多的輸入方式。這種方法具有低成本，高效率和便利的優(yōu)點(diǎn)。然而，對(duì)于屏幕尺寸較小的設(shè)備，如智能手表和智能眼鏡，用戶很難高效便捷的輸入文本。因此，如何更便捷的在這些設(shè)備上輸入文本，成為了很多研究者關(guān)注的話題。

目前市面上已經(jīng)存在文本輸入系統(tǒng)，用于解決可穿戴設(shè)備的文本輸入問題。其中一個(gè)有希望應(yīng)用的文本輸入技術(shù)是語音識(shí)別技術(shù)，它以高精度和良好的體驗(yàn)著稱。然而，語音識(shí)別并不是在所有情況下都是完美的。例如，在嘈雜的環(huán)境中，性能由于周圍環(huán)境的影響而降低。因此，手勢(shì)識(shí)別技術(shù)逐漸興起。許多工作提出了手勢(shì)識(shí)別系統(tǒng)，傳統(tǒng)方法包括使用可穿戴傳感器、攝像頭和射頻信號(hào)。但是這三種方式都有各自的局限性。首先，基于可穿戴傳感器的方法通常很麻煩，因?yàn)榕宕鱾鞲衅鲗?duì)于用戶來說非常不方便，而且有很多都需要用戶提供自身的數(shù)據(jù)才能有效地使用。其次，基于攝像頭的方法會(huì)受到惡劣的照明條件或光照效果的影響。最后，基于射頻的方法需要使用Wi-Fi或?qū)Ｓ迷O(shè)備，而Wi-Fi測(cè)量的粒度太粗，無法用其固有的長(zhǎng)波長(zhǎng)識(shí)別細(xì)微的手勢(shì)，并且由于成本問題這種方法顯得不劃算。

發(fā)明內(nèi)容

本發(fā)明的目的是克服上述現(xiàn)有技術(shù)的缺陷，提供一種基于聲波感知的手勢(shì)輸入方法和系統(tǒng)，用于降低成本并提高操作的便利性。

根據(jù)本發(fā)明的第一方面，提供一種基于聲波感知的手勢(shì)輸入方法。該方法包括以下步驟：

控制智能設(shè)備內(nèi)置的揚(yáng)聲器以設(shè)定的調(diào)制方式和頻率產(chǎn)生聲波信號(hào)，用戶在揚(yáng)聲器附近區(qū)域進(jìn)行無速度要求和無區(qū)域要求地書寫；

利用智能設(shè)備內(nèi)置的麥克風(fēng)以設(shè)定采樣頻率采集被用戶手指反射回的聲波信號(hào)，獲得音頻信號(hào)；

對(duì)所述音頻信號(hào)進(jìn)行處理和時(shí)頻轉(zhuǎn)換，獲得時(shí)頻圖；

根據(jù)用戶書寫書時(shí)手指相對(duì)麥克風(fēng)移動(dòng)產(chǎn)生的多普勒頻移效應(yīng)檢測(cè)所述時(shí)頻圖中是否包含有效的書寫動(dòng)作，如判斷為是，則將所述時(shí)頻圖輸入到分類器，識(shí)別出書寫內(nèi)容信息，其中所述分類器是采集一位實(shí)驗(yàn)人員的樣本數(shù)據(jù)集經(jīng)預(yù)訓(xùn)練獲得。

根據(jù)本發(fā)明的第二方面，提供一種基于聲波感知的手勢(shì)輸入系統(tǒng)。該系統(tǒng)包括：

信號(hào)采集單元：用于控制智能設(shè)備內(nèi)置的揚(yáng)聲器以設(shè)定的調(diào)制方式和頻率產(chǎn)生聲波信號(hào)，以及用戶在揚(yáng)聲器附近區(qū)域進(jìn)行無速度要求和無區(qū)域要求地書寫過程中，利用智能設(shè)備內(nèi)置的麥克風(fēng)以設(shè)定采樣頻率采集被用戶手指反射回的聲波信號(hào)，獲得音頻信號(hào)；

信號(hào)處理單元：用于對(duì)所述音頻信號(hào)進(jìn)行處理和時(shí)頻轉(zhuǎn)換，獲得時(shí)頻圖；