[發明專利]多鍵盤混合按鍵聲音的識別方法、裝置、設備及存儲介質

在審

• 申請號: 202111628149.0
• 申請日: 2021-12-28
• 公開（公告）號: CN116415166A
• 公開（公告）日: 2023-07-11
• 發明（設計）人: 王璐;趙家怡;黃勇志;伍楷舜
• 申請（專利權）人: 深圳大學
• 主分類號: G06F18/24
• 分類號: G06F18/24;G06F18/10;G06F18/214;G06N3/0442
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 成丹;耿慧敏

1.一種多鍵盤混合按鍵聲音的識別方法，其特征在于，所述方法包括：

獲取鍵盤敲擊時發出的聲音信號；

對所述聲音信號進行擊鍵信號截取，確定擊鍵信號片段；

根據所述擊鍵信號片段，確定梅爾頻率倒譜系數；

所述梅爾頻率倒譜系數輸入預設單鍵識別模型，輸出每個鍵盤相應的鍵入內容。

2.根據權利要求1所述的方法，其特征在于，所述獲取鍵盤敲擊時發出的聲音信號，包括：

獲取終端的錄音元件發送的鍵盤敲擊時發出的聲音信號，所述終端包括至少一個錄音元件。

3.根據權利要求2所述的方法，其特征在于，所述對所述聲音信號進行擊鍵信號截取，確定擊鍵信號片段，包括：

每41.7ms計算所述聲音信號中信號片段的能量值；

若所述第一信號片段的能量值大于能量閾值，則截取所述第一信號片段的起始點前第一預設時長和后第二預設時長的信號片段，作為第二信號片段；

所述第二信號片段采用語音活動檢測方法，確定所述擊鍵信號片段。

4.根據權利要求3所述的方法，其特征在于，所述第二信號片段采用語音活動檢測方法，確定所述擊鍵信號片段，包括：

所述第二信號片段使用所述語音活動檢測方法，確定擊鍵動作的起始點和終止點，提取出擊鍵信號；

計算所述擊鍵信號的總能量、峰值和5次小波變換后的信號；

將所述擊鍵信號的總能量、峰值和5次小波變換后的信號，輸入預設支持向量機，判斷所述擊鍵信號是否僅包含一個擊鍵操作；

若所述擊鍵信號僅包含一個所述擊鍵操作，則從所述起始點開始向后截取長度為41.7ms的信號片段，作為所述擊鍵信號片段；

若所述擊鍵信號包含兩個所述擊鍵操作，則從所述起始點開始向后截取長度為41.7ms的信號片段，作為第一擊鍵信號片段；

通過回歸神經網絡計算第二個所述擊鍵操作開始發生的起始位置，從所述起始位置向后截取長度為41.7ms的信號片段，作為第二擊鍵信號片段；

所述第一擊鍵信號片段和所述第二擊鍵信號片段，作為所述擊鍵信號片段。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述根據所述擊鍵信號片段，確定梅爾頻率倒譜系數，包括：

根據所述擊鍵信號片段，采用低通濾波器去噪，得到去噪信號片段；

根據所述去噪信號片段，確定所述梅爾頻率倒譜系數。

6.根據權利要求1-4任一項所述的方法，其特征在于，所述預設單鍵識別模型通過下述步驟構建：

獲取每個鍵盤的按鍵敲擊時的聲音信號；

根據所述聲音信號，使用語音活動檢測方法從所聲音信號中截取持續時間為41.7ms的擊鍵信號訓練片段；

從所述聲音信號中隨機獲取與所述訓練擊鍵信號片段等長的聲音信號片段；

所述聲音信號片段與所述訓練擊鍵信號片段疊加，確定帶噪聲擊鍵信號訓練片段；

分別根據所有所述擊鍵信號訓練片段和所有所述帶噪聲擊鍵信號訓練片段，確定梅爾頻率倒譜系數訓練集；

所述梅爾頻率倒譜系數訓練集作為輸入數據，訓練得到所述預設單鍵識別模型。

7.一種多鍵盤混合按鍵聲音的識別裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取鍵盤敲擊時發出的聲音信號；

截取模塊，用于對所述聲音信號進行擊鍵信號截取，確定擊鍵信號片段；

確定模塊，用于根據所述擊鍵信號片段，確定梅爾頻率倒譜系數；

處理模塊，用于所述梅爾頻率倒譜系數輸入預設單鍵識別模型，輸出每個鍵盤相應的鍵入內容。

8.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-6中任一所述的多鍵盤混合按鍵聲音的識別方法。

9.一種可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-6中任一所述的多鍵盤混合按鍵聲音的識別方法。