[發明專利]多鍵盤混合按鍵聲音的識別方法、裝置、設備及存儲介質

在審

• 申請號: 202111628149.0
• 申請日: 2021-12-28
• 公開（公告）號: CN116415166A
• 公開（公告）日: 2023-07-11
• 發明（設計）人: 王璐;趙家怡;黃勇志;伍楷舜
• 申請（專利權）人: 深圳大學
• 主分類號: G06F18/24
• 分類號: G06F18/24;G06F18/10;G06F18/214;G06N3/0442
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 成丹;耿慧敏

本申請提供一種多鍵盤混合按鍵聲音的識別方法、裝置、設備及存儲介質，該方法包括：獲取鍵盤敲擊時發出的聲音信號；對聲音信號進行擊鍵信號截取，確定擊鍵信號片段；根據擊鍵信號片段，確定梅爾頻率倒譜系數；梅爾頻率倒譜系數輸入預設單鍵識別模型，輸出每個鍵盤相應的鍵入內容。該方案可以適用于多個鍵盤混合按鍵聲音的識別，且識別準確率高。

技術領域

本發明屬于信號識別技術領域，特別涉及一種多鍵盤混合按鍵聲音的識別方法、裝置、設備及存儲介質。

背景技術

如今，人們主要的辦公場景大多是在一個房間內利用鍵盤鼠標操作電腦進行內容輸入，工作人員輸入的內容有時候帶有涉及個人、客戶甚至是公司隱私的信息，如個人密碼、客戶資料以及公司投標合同等等，這些一旦被不法分子利用就會對相關關系人造成巨大損失的信息，如2018?Cost?of?Data?Breach?Study指出在信息泄漏事件中企業平均損失為386萬美元。所以，按鍵輸入信息安全至關重要。

通常外部竊聽者往往會采用侵入式竊聽的方式，對按鍵輸入進行竊聽，通過在電腦上植入惡意程序獲取被竊聽者的鍵入信息。隨著云安全等網絡安全計算的發展，通過防火墻等安全技術即可有效防止外部人員進行竊聽。但內部人員的竊聽行為仍對鍵入信息安全帶來巨大威脅。內部人員可以通過趁被竊聽者離開電腦(如去上廁所)的一小段時間，無需密碼即可使用被竊聽者的電腦，進行攻擊。針對這種竊聽場景，相關研究人員提出用戶連續認證的方式進行預防。根據電腦上記錄的飛行時間等用戶輸入信息訓練得到區分用戶與非法用戶的模型，然后在電腦運行期間連續運行該模型對用戶進行認證，一旦認為用戶是非法用戶，則采取相應行動(如鎖屏)。這種方式也能有效預防竊聽者直接使用被竊聽者電腦的情況。

隨著信號檢測系統的發展，鍵盤擊鍵識別成為關注熱點。鍵盤擊鍵識別問題成為保護辦公室信息安全的關鍵問題之一。

現有的鍵盤擊鍵識別主要分為兩大類，其一，是通過在電腦上植入惡意程序進行鍵盤擊鍵識別，目前可以通過防火墻等安全技術防止鍵入內容的泄露；其二，是利用聲音、WIFI、光等信號進行鍵盤擊鍵內容的識別，這類方法竊聽鍵入內容的形式多變，常常難以預防。第二種研究方法又可以主要分為以下幾類。(1)基于WIFI信號，采用CSI技術進行鍵盤敲擊內容的識別，如WiFinger，(2)基于光信號，根據視頻數據進行鍵盤敲擊內容的識別，如Blind?Recognition?of?Touched?Keys?on?Mobile?Devices(移動設備上觸摸按鍵的盲識別)，(3)基于聲音信號進行鍵盤敲擊內容的識別，如Accurate?Combined?KeystrokesDetection?Using?Acoustic?Signals(使用聲學信號進行準確的組合擊鍵檢測)，通過捕捉聲音信號進行按鍵敲擊組合(如Ctrl+C)的識別。

現有的鍵盤擊鍵識別技術都是針對單個鍵盤的單一按鍵或特定按鍵組合(如Ctrl+C)的識別，但是在辦公室場景中往往存在多個鍵盤同時敲擊的情況，錄音設備接收到的信號往往是多個鍵盤的混合聲音信號。所以，現有的按鍵聲音識別技術不具有普適性。

發明內容

本說明書實施例的目的是提供一種多鍵盤混合按鍵聲音的識別方法、裝置、設備及存儲介質。

為解決上述技術問題，本申請實施例通過以下方式實現的：

第一方面，本申請提供一種多鍵盤混合按鍵聲音的識別方法，該方法包括：

獲取鍵盤敲擊時發出的聲音信號；

對聲音信號進行擊鍵信號截取，確定擊鍵信號片段；

根據擊鍵信號片段，確定梅爾頻率倒譜系數；

梅爾頻率倒譜系數輸入預設單鍵識別模型，輸出每個鍵盤相應的鍵入內容。

在其中一個實施例中，獲取鍵盤敲擊時發出的聲音信號，包括：