[發明專利]一種基于多維聲波特征的鍵擊識別方法

有效

• 申請號: 201711490437.8
• 申請日: 2017-12-30
• 公開（公告）號: CN108182418B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 郭斯佳;苗欣
• 申請（專利權）人: 儒安科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種基于多維聲波特征的鍵擊識別方法，其特征在于，包括如下步驟：

S101、利用智能手機的麥克風錄取周圍用戶在虛擬鍵盤上的敲擊輸入事件；其中，所述步驟S101包括：利用智能手機的兩個內嵌麥克風錄取周圍用戶在虛擬鍵盤上的敲擊輸入事件；

S102、根據麥克風錄取到的聲音信號，利用基于聲波的指紋匹配的鍵擊識別方法對錄取到的鍵擊進行匹配、識別即打上類標；其中，所述步驟S102中基于聲波的指紋匹配的鍵擊識別方法包括：基于麥克風錄取的聲音信號的能量在滑動窗口內累加獲得的能量和和預設能量閾值進行比較來探測鍵擊的開始；所述滑動窗口內累加的特征包括聲音信號時域內的原始信號、經過FFT處理后的頻域信號；所述基于麥克風錄取的聲音信號的能量在滑動窗口內累加獲得的能量和和預設能量閾值進行比較來探測鍵擊的開始，包括：預先根據鍵擊的聲波特征提取出時域內的特征即參考特征，將捕獲到的信號在以智能手機采樣頻率相符合并滿足Nyquist定律的時間窗口內，與參考特征進行cross-correlation，對cross-correlation的值的進行處理，根據處理結果探測鍵擊的開始；

S103、針對麥克風錄取到的聲音信號，利用基于鍵內時間信息的方法對鍵擊進行無監督聚類，交叉驗證輸出對應的鍵的侯選集；

S104、根據鍵間隔時間信息對鍵擊識別結果進行排除和更改；

S105、將最終的鍵擊識別結果以可視化的形式反饋給用戶；其中，所述步驟S105還包括：用戶根據真實的輸入意圖判斷所述鍵擊識別結果是否正確，從而更新類標，并依據更新的類標更新訓練集、訓練分類器；

所述步驟S102包括：在探測到鍵擊開始之后，對聲波特征進行分離和提取；在聲波特征提取之后，生成訓練集，并對新捕獲并分離的特征利用分類器進行分類、匹配；其中，聲波信號的聲波特征包括振幅譜密度(Amplitude Spectrum Density，ASD)；所述分類器采用K-NN分類器。

2.根據權利要求1所述的基于多維聲波特征的鍵擊識別方法，其特征在于，所述步驟S102包括：在探測鍵擊的開始之前，濾去智能手機的觸屏鍵盤上由于用戶在觸屏上的操作以及周圍人的說話聲或其噪音造成的麥克風感知到的聲波震動。

3.根據權利要求2所述的基于多維聲波特征的鍵擊識別方法，其特征在于，所述步驟S102包括：對窗口內的原始聲波信號利用低通濾波計算器振幅包絡之后，計算其振幅包絡的斜率值，將得到的斜率值與預設值進行比較，判斷是否是人的噪音，若不是，則進行鍵擊探測。

4.根據權利要求3所述的基于多維聲波特征的鍵擊識別方法，其特征在于，所述步驟S103中利用基于鍵內時間信息的方法對鍵擊進行無監督聚類，交叉驗證輸出對應的鍵的侯選集，包括：麥克風錄取到的聲音信號對應一組基于TDoA的雙曲線，一組基于TDoA的雙曲線對應一次敲擊輸入事件，一次敲擊事件產生的TDoA的測量結果將在對應的鍵盤上產生若干對應鍵即一個候選集；以能量差形成的圓與利用TDoA形成的雙曲線相交范圍對應的鍵為候選集，并對每個候選集集合中的每個鍵擊打上相應的鍵的類標。