[發明專利]一種基于CFCC空間梯度的鍵盤單鍵擊鍵內容識別方法

有效

• 申請號: 201911147998.7
• 申請日: 2019-11-21
• 公開（公告）號: CN111090337B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 劉影;石松寧;南敬昌
• 申請（專利權）人: 遼寧工程技術大學
• 主分類號: G06F3/023
• 分類號: G06F3/023;G06N3/08;G10L25/30;G10L25/51
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 李在川

本發明公開一種基于CFCC空間梯度的鍵盤單鍵擊鍵內容識別方法，屬于非接觸式識別技術領域，該方法分為初始識別階段及梯度識別階段，初始識別階段將提取的擊鍵聲音信號的CFCC值，通過BP神經網絡的方法進行擊鍵內容的識別，識別準確率低的鍵再通過梯度識別階段，計算與其他鍵之間的曼哈頓距離及CFCC差值構建CSG矩陣并構建新的訓練集和測試集，重新訓練BP神經網絡，得到最終的分類結果。本發明可以更好的緩解環境的干擾和測量設備多樣性帶來的影響，比采用原始的CFCC更具有魯棒性，使得聲音信號特征在空間上具有區分性，時間上更加穩定。

技術領域

本發明涉及非接觸式識別技術領域，尤其涉及一種基于CFCC空間梯度的鍵盤單鍵擊鍵內容識別方法。

背景技術

鍵盤作為日常生活辦公的重要輸入設備，在個人工作安全等方面具有重要的地位。研究人員嘗試對人們敲擊鍵盤的行為特征以及引起周圍電磁波信號的變化進行研究，進而來識別用戶敲擊鍵盤的內容，或根據鍵盤輸入識別其應用，利用這些應用促進上下文感知服務。

目前研究方案大多基于聲音信號的頻譜進行分析，通過對用戶敲擊鍵盤時的聲音信號進行分析，可以對用戶敲擊鍵盤輸入的內容進行有效的識別。在2004年，Asonov等人首次使用聲音信號來識別用戶擊鍵內容。研究基礎為，當用戶敲擊鍵盤時，不同的按鍵因位置的不同，振動的幅度和相位不盡相同，提出通過計算擊鍵信號頻譜圖，提取頻譜圖上信號峰值部分數據作為擊鍵聲音信號的擊鍵特征值用來訓練神經網絡，進而完成對擊鍵信號的識別。由于在實際環境中噪聲的影響很大，導致信噪比很小，因而準確率不是很高。Zhu等人使用不同的擊鍵聲音信號傳播到同一手機不同聽筒的時間差(Time?Difference?ofArrival)信息，來精確定位出所敲擊的按鍵位于鍵盤上的位置。利用雙曲線模型規劃出敲擊按鍵大致所在區域，當采用多臺智能設備進行定位時，擊鍵信號位置所處的區域便會不斷進行縮小，多個區域重疊的區域稱為“熱點區域”。但此定位技術需要智能設備具有兩個或者兩個以上的麥克風，且需要多個智能設備才能將區域壓縮至足夠小。此外擊鍵信號到達麥克風的時間提取較為困難，實現算法較為復雜。Ali提出一種基于WiFi信號的擊鍵識別方法，首次展示了WiFi信號也可以用來識別擊鍵內容。當用戶敲擊某個按鍵時，不同用戶的手腕和手指以自身獨有的方向和形式移動，從而在信道狀態信息(Channel?StateInformation,CSI)值的時間序列中生成獨特的模式，利用這種特性作為擊鍵信號的特征。然而，由于無線信號具有CSI不穩定特點以及信號在空間傳播時多徑效應的存在，所以信號的獲取，分析以及應用極其困難。

綜上所述，基于神經網絡的聲音擊鍵識別方法由于受實際環境中噪聲影響很大，導致信噪比很小，因而準確率不是很高。利用擊鍵聲音到達的不同時間來確定所敲擊按鍵的位置，此定位技術需要智能設備具有兩個以上的麥克風，且需要多個智能設備才能將區域壓縮至足夠小。基于電磁波的擊鍵識別，當多個電磁波信號同時存在時，不同電磁波信號之間存在著一定程度的干擾，人類活動等外部活動也會對無線信號產生較大的干擾。

發明內容

針對上述現有技術的不足，本發明提供一種基于CFCC空間梯度的鍵盤單鍵擊鍵內容識別方法，這種基于CFCC空間梯度(CFCC?Spatial?Grandient,CSG)的鍵盤單鍵擊鍵內容識別方法是現有CFCC特征的有效補充和替代，為未來實現即基于聲音的擊鍵識別提供幫助。

為解決上述技術問題，本發明所采取的技術方案是：一種基于CFCC空間梯度的鍵盤單鍵擊鍵內容識別方法，其簡化流程如圖1所示，包括如下步驟：

步驟1：采集多組敲擊鍵盤時每個字母的聲音信號，并給每組聲音信號加上類別標簽，形成樣本集；

步驟2：采用CFCC的方法提取每個樣本的特征參數，與樣本的類別標簽形成新的樣本集，并將其按一定比例劃分為訓練集和測試集；

步驟3：通過BP神經網絡對訓練集進行訓練，得到訓練好的BP神經網絡模型；