[發明專利]一種基于高頻聲波短時傅里葉變換的手寫字母識別方法

有效

• 申請號: 201910018087.8
• 申請日: 2019-01-09
• 公開（公告）號: CN109657739B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 湯戰勇;李青佩;翟雙姣;范天賜;王煥廷;房鼎益;龔曉慶;陳峰
• 申請（專利權）人: 西北大學
• 主分類號: G06F18/24
• 分類號: G06F18/24;G06F18/214;G06N3/0464;G06N3/08;G01S7/539
• 代理公司: 西安恒泰知識產權代理事務所 61216
• 代理人: 李婷

本發明涉及一種基于高頻聲波短時傅里葉變換的手寫字母識別方法，將高頻聲波信號的短時傅里葉變換得到的頻譜圖作為特征，通過裁剪、灰度處理以及歸一化處理之后訓練卷積神經網絡訓練模型，并使用該模型提取特征，最后使用SVM分類器識別用戶所寫的英文字母。本發明的識別方法，無需用戶佩戴額外的可穿戴設備或部署其他收發設備，同時不受環境中說話等其他噪音的影響，同時使用了深度學習與機器學習的方法建立用戶模型，而非定位的方法還原用戶手的移動軌跡，避免了其他方法要求用戶一筆完成手寫字母的缺陷。

技術領域

本發明涉及一種手寫英文字母識別方法，具體涉及一種基于高頻聲波短時傅里葉變換的手寫字母識別方法。

背景技術

隨著互聯網的發展以及電子硬件的發展，越來越多的人擁有手機以及手環，方便了人們的溝通、工作、學習以及日常生活。現在的輸入方式基本是在觸摸屏幕上輸入，屏幕太大不便于攜帶，屏幕太小不便于操作，比如很多年齡較大的老年人不習慣虛擬鍵盤輸入法，更傾向于使用手寫輸入，使用手寫輸入時，手機屏幕尺寸限制了書寫區域，必須在手機屏幕區域內寫字。由于人的手指比較粗，在較小的屏幕中輸入時會造成極大的不便，比如屏幕比較小的手機或者手環。

近年來，隨著AR(增強現實)和VR(虛擬現實)的發展，越來越多研究者開始關注在手機屏幕外實現人機交互。同時，有許多關于漢字識別以及英文字母識別的工作：

基于傳感器的字母識別：GyroPen提出一種基于手機內置傳感器的手寫字識別方法，用戶需要手持手機，將手機當作一個筆在桌子上寫字，獲取寫字過程中手機內置的加速度傳感器和陀螺儀數據識別用戶用手機在桌子上劃的字，對英文字母的識別錯誤率為18％。

基于無線信號的手寫字識別：利用WiFi、RF信號等識別用戶寫的字，用戶寫字區域的兩側部署一個無線信號的發射端和一個無線信號的接收端，用戶在發射端與接收端中間寫字，寫字過程中由于不同字的筆畫不同，在寫的過程中會對無線信號的反射產生影響，通過提取接收端信號的特征使用機器學習或者模式匹配的方法建立識別模型，在用戶使用過程中用訓練好的模型識別用戶所寫的字。雖然無需用戶攜帶任何設備，但是需要部署收發設備，而且用戶需要在規定的位置內寫字，并且周圍環境不能有太大的變換，否則會對信號的反射產生較大的影響，從而降低識別率。

基于聲音信號的英文字母識別：WritingHacker根據不同字母筆畫不同將26 個字母使用SVM分成筆畫相同的幾個大類，然后根據字典中的單詞推測每一個字母是什么，識別率可以達到50％-60％。同時使用加速度傳感器矯正。但是如果周圍不斷有突發噪聲，則無法正常使用，比如用戶不斷說話時該系統不能正常使用。WordRecorder是一種最新的英文手寫識別方法，用戶左手戴一個手環，右手在桌面上寫字，通過手環內置的麥克風錄寫字時筆尖與紙的摩擦產生的聲音，然后使用卷積神經網絡(CNN)訓練模型識別用戶所寫的英文字母，平均正確率為81％，當環境中的噪音達到60dB時，正確率降至50％左右。這兩種方法都不能在環境中噪聲較大的時候使用，尤其是說話時產生的爆破聲音。

基于聲音信號的手勢識別及定位：LLAP提出一種通過解調收到的信號來提取信號的相位的方法計算手移動的相對距離，這種方法只能識別一筆寫成的字母，而26個字母里很多字母都不是一筆可以寫成的，因此無法使用這種方法識別用戶所寫的英文字母。

發明內容

針對上述現有技術中存在的問題，本發明的目的在于提供一種基于高頻聲波短時傅里葉變換的手寫字母識別方法，在無需部署額外設備的前提下，降低環境噪聲對識別率的影響，同時有效提高識別正確率。

為了實現上述任務，本發明采用以下技術方案：

一種基于高頻聲波短時傅里葉變換的手寫字母識別方法，包括以下步驟：

步驟1，收集訓練數據

在手機上設置有訓練數據收集模塊，用于發射調制好的高頻聲音信號，同時收錄用戶書寫英文字母時所述高頻聲音信號的反射信號；高頻聲音信號的調制方法為：