[發明專利]一種多維手語識別方法

在審

• 申請號: 201811403415.8
• 申請日: 2018-11-23
• 公開（公告）號: CN109656358A
• 公開（公告）日: 2019-04-19
• 發明（設計）人: 狄長安;龍禮;陳昊飛
• 申請（專利權）人: 南京麥絲特精密儀器有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/62
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 張祥

1.一種多維手語識別方法，其特征在于，包括以下步驟：

步驟一：進行手語識別模板的創建并保存創建生成的模板，以作為手語識別系統的識別判斷依據；

步驟二：對實際手語進行數據采集，通過無線三維加速度傳感器采集三維加速度數據、通過無線三維角度傳感器采集三維角度數據、通過無線三維角速度傳感器采集三維角速度數據和通過肌電傳感器采集一維肌電數據信號在內的共10個數據為一組手語的數據，并將采集到的數據輸入手語識別系統；

步驟三：對采集到的數據進行預處理，包括對數據依次進行平滑濾波、歸一化、起止點判斷操作；

步驟四：對預處理后的數據進行數據類型分離、整句分割、單字識別和單字整合，數據類型分離是將預處理后的數據分為兩類：加速度數據、角度數據、角速度數據為姿態數據類，肌電數據自成一類，然后進行整句分割，檢測肌電數據密集出現的部分，將這些部分分別分離出來，保存為單獨的數據組，這些數據組為單字組，對單字組進行特征提取和算法識別，將單字組的識別結果按時間順序拼接起來，形成一個整體結果，該整體結果以文字顯示，表示手語所代表的字符；

步驟五：對以文字顯示的整體結果進行結果判斷，若結果不正確則修改模板，若結果正確則輸出結果。

2.根據權利要求1所述的多維手語識別方法，其特征在于，所述步驟一中通過多維傳感器采集多組手勢動作的數據，將所述多組手勢動作的數據輸入手語識別系統，識別系統將判斷輸入的數據對應的含義從而得到自身識別出的結果，再將所述多組手勢動作的數據對應的實際含義輸入識別系統，識別系統根據自身識別出的結果與實際含義的差別不斷修正自身識別出的結果，當識別結果趨于穩定時，形成手語識別模板。

3.根據權利要求2所述的多維手語識別方法，其特征在于，所述手語識別模板包括識別特征庫和算法識別模板，對采集到的數據進行預處理，包括對數據依次進行平滑濾波、歸一化、起止點判斷操作，對預處理后的數據按照特征庫提取具體特征，使用聚類算法將特征分類，將分類結果與輸入數據的實際含義比較，每個特征將單獨給出識別率，當識別率在k-means聚類算法、k-medoids聚類算法、k-medians聚類算法、高斯混合模型的聚類算法組成的四種算法中三種以上算法中分別超過70％時認為特征可用，保留特征，所有保留的特征組成識別特征庫，識別特征庫按加速度數據、角度數據、角速度數據和肌電數據分開保存；使用三層神經網絡對提取到的特征進行算法識別，三層神經網絡算法將數據的特征融合識別，并針對一組手語數據得到一個識別結果，三層神經網絡算法根據識別結果與輸入數據的實際含義的偏差修改三層神經網絡算法參數，在最終識別正確率大于70％時結束參數修改，保存此時的算法識別模板。

4.根據權利要求3所述的多維手語識別方法，其特征在于，所述步驟三中的起止點判斷操作為：對10個數據為一組手語的數據分組羅列對應分為10組數據，起始點判斷為某一時刻將10組數據中的對應的數據提出，將每組提出的數據的值與該組之前的第20個數據值做差值，如果有任一組的所述差值的絕對值大于0.3，則將該時刻判定為起始點，在起始點后，提取另一時刻10組數據中的對應的數據并將每組提出的數據的值與該組之后的第15個數據值做差值，如果所有組的差值的絕對值均大于0.12并在所述另一時刻后80個數據內均滿足數據值與該數據之后第15個數據值的差值的絕對值小于0.12，則判斷該時刻為結束點。

5.根據權利要求4所述的多維手語識別方法，其特征在于，所述步驟四中，對單字組進行特征提取包括載入手語識別模板后按照手語識別模板的識別特征庫提取具體特征，算法識別按照手語識別模板的算法識別模板使用三層神經網絡進行算法識別。

6.根據權利要求5所述的多維手語識別方法，其特征在于，所述步驟四中，密集出現指歸一化后的肌電數據在某時間點的數值絕對值超過0.12稱為有效點，若有效點在連續10個數據點中個數超過5個則稱該10個點為有效數據段，若多個有效數據段為不間斷相連，該多個有效數據段連接形成的數據段稱為密集出現。