[發明專利]一種基于1D-CNN的智能手機按鍵檢測方法

在審

• 申請號: 202011430630.4
• 申請日: 2020-12-07
• 公開（公告）號: CN112560629A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 申興發;倪振賢
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊舟濤

本發明公開了一種基于1D?CNN的智能手機按鍵檢測方法，本發明使用WiFi信號結合深度學習模型1D?CNN。基于WiFi信號相比較于基于聲音識別而言，其獲取到數據更為精準，聲音容易受周圍噪聲的影響；而相比較于圖像和傳感器，基于WiFi不需要部署攝像頭或傳感器等昂貴的設備，只需要路由器和接收器就可以部署完成，成本低廉。對于1D?CNN模型，其相比較于其他經典的機器學習模型(如SVM、RF、KNN)，它對不同環境和噪聲等具有較強的適應性，只有訓練集數量足夠多，能夠準確檢測出按鍵信息，提高分類模型的魯棒性，同時提高了分類準確率。

技術領域

本發明涉及深度學習領域，涉及一種一維卷積神經網絡對智能手機按鍵的檢測進行檢測識別。

背景技術

按鍵隱私對于確保智能手機系統安全和用戶隱私至關重要。智能手機工廠用于執行對隱私敏感的交易，比如銀行轉賬、支付和社交應用等。此外，目前越來越多的應用，比如支付寶、微信等正在進入我們的生活。如果以某種方式獲取智能手機鍵盤上的一連串按鍵信息，那么對于用戶隱私而言就會變的非常不安全。

目前對于按鍵檢測的研究大致分為四類：基于聲音、基于圖像、基于傳感器以及基于WiFi信號。對于前三者存在許多的缺陷和不足，比如聲音需要考慮距離和噪聲；圖像和傳感器則需要額外的設備，對于成本而言頗高。基于WiFi信號識別是一個低成本，易部署的方法。

對于按鍵識別，提取有效的特征是十分重要的，同時選擇合適的分類模型也同樣重要。由于基于CSI的數據是一個時間序列，對于按鍵會產生特殊的變化。根據這種變化，就可以提取出合適的特征波形段進行訓練。傳統的訓練方式是基于時間規整算法(DTW)，它可以比較兩個不同長度的波形歐幾里得長度，越小說明兩種波形就越相似。由于不同的按鍵會產生獨一無二的波形，因此可以根據這種方式可以區別出不同的按鍵。但是由于環境，機器設備等影響，可能會產生噪聲影響。因此，引入一維卷積神經網絡。它可以適應不同的波形長度，而且對于環境的適應性也很強，對于有噪聲的環境也能有較好的效果，提升了按鍵分類的準確率。

發明內容

本發明所要解決的問題是克服傳統按鍵識別的技術不足，能夠適應不同環境以及噪聲的影響，在個別場景下也能有較好的魯棒性。

本發明應用系統開發方法主要如下步驟：

步驟1：數據采集。

使用CSI Tool工具從Intel 5300無線網卡采集CSI數據。此網卡對于每根接收天線可以收到30個子載波數據。讓若干名志愿者參與實驗，做若干次按鍵行為以此來收集當前環境下的不同按鍵的CSI數據信息。

步驟2：基于Hampel算法去除異常點；

由于WiFi設備和外部環境中的突發噪聲，會造成CSI幅值在某個時刻出現劇變，系統在這種情況下將CSI數據點標識為異常點，而這些異常點在后續可能會對按鍵檢測結果造成影響，因此應用Hampel去除異常點。

步驟3：基于巴特沃斯低通濾波去噪；

由步驟二得到了去除異常點之后的CSI數據，但是獲取到的CSI時間序列依然存在設備噪聲以及環境噪聲。由實驗發現，手指按鍵移動引起的頻率約為3-30Hz之間，位于低頻部分。因此，可以應用低通濾波去除高頻的噪聲部分。

步驟4：基于主成分分析去噪和降維；

由步驟二和三可以去除大部分的高頻噪聲，由于其阻頻帶逐漸下降為零的特點，CSI數據仍然存在部分造成。通過實驗觀察，手指按鍵會引起30個子載波之間存在相關性。因此，通過主成分分析可以保留CSI中最具有代表性的部分，去除冗余部分，實現了去噪和降維的效果。

步驟5：在完成CSI數據的預處理后，選出具有代表性的特征；