[發明專利]基于CNN-BiGRU神經網絡融合的手語識別方法

有效

• 申請號: 202110304616.8
• 申請日: 2021-03-23
• 公開（公告）號: CN112883922B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 李楨旻;祝東疆;蘇彥博;賀子珊;魯杰;彭靖宇;杜高明;王曉蕾
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于CNN?BiGRU神經網絡融合的手語識別方法，包括：1采集手語數據并添加標簽制作手語數據集；2對手語數據集進行數據預處理；3將增強后的特征數據劃分為訓練數據集、驗證數據集和測試數據集；4建立一維CNN和BiGRU融合的CNN?BiGRU深度神經網絡模型；5實時采集手語數據并經過數據預處理后輸入最終模型后得到手語分類結果。本發明能充分利用手語特征序列的時空信息，提高整個模型的識別精度，從而能有效且準確的實現手語的識別和分類。

技術領域

本發明涉及手語識別領域，尤其涉及一種基于CNN-BiGRU神經網絡融合的手語識別方法。

背景技術

手語識別在當今智能人機交互的信息傳達方式日益多樣化的背景下，突出了手語交互的動態空間信息的語義重構化特點，并且直擊需求痛點：我國有超過兩千萬的聾啞人口，基數大且識字率較低，手語作為其日常生活中的交流方式，用途廣泛，翻譯需求大。但手語翻譯行業發展緩慢，社會培訓力量薄弱、基礎建設欠缺等原因導致高水平的手語翻譯人才供應稀缺。其次，在線手語翻譯運營成本高、普及難度大，因而針對手語的自動準確識別具有重要意義。

傳統的獨立手語狀態獲取方式有表皮肌電傳感器、可穿戴數據手套、普通攝像頭等。肌電傳感設備采集身體肌肉運動時產生的微弱神經電流，再通過模式識別算法識別并反饋出相應的手語動作；基于普通攝像頭的識別算法主要通過對目標進行背景分割以及構建局部描述因子來獲取手語較低維的數據并用于分類；增加攝像頭數量能幫助進一步提取手部空間軌跡信息。但拍攝圖像的背景信息復雜度增加了手語姿態和手部位置的辨識難度，難以從單一圖像中提取足夠有效的深度信息，影響手語識別精度。而肌電傳感器和可穿戴數據手套都有穿戴要求，使用不便，而且在疫情之下需考慮投放入公共場合的衛生防護問題，在實際使用的推廣中存在相當大的局限性。

目前，隨著人工智能興起，深度學習逐漸深入各個領域，手語識別技術方面也逐漸轉向深度學習領域，開始取得不錯的成績，但針對手語的識別技術依舊較少，并不成熟。傳統手語識別的深度學習方法主要包括卷積神經網絡(CNN)與長短期記憶網絡(LSTM)，基于CNN的手語識別系統多局限于局部特征，無法深度學習池化后的特征；LSTM網絡雖然考慮了過去的特征序列，但忽略了未來時序信息，且網絡結構復雜，訓練難度大。

發明內容

針對手語識別問題，為克服上述現有技術不足，本發明提出了一種基于CNN-BiGRU神經網絡融合的手語識別方法，以期能充分利用手語特征序列的時空信息，提高識別模型的識別精度，從而能有效且準確的實現手語的識別和分類。

本發明為達到上述發明目的，采用如下技術方案：

本發明一種基于CNN-BiGRU神經網絡融合的手語識別方法的特點在于，包括以下步驟：

步驟1：利用深度攝像頭設備獲取由拇指位置坐標F₁，食指位置坐標F₂，中指位置坐標F₃，無名指位置坐標F₄，小拇指位置坐標F₅，手掌中心位置P_C，手掌穩定位置P_S，手掌俯仰角Pitch，手掌偏航角Yaw，手掌滾動角Roll，手握球半徑r，手掌寬度P_W，掌心速度v所構成的多種手語數據；且每種手語數據設有相應的類別標簽；由多種手語數據及其類別標簽構成手語數據集；

步驟2：對手語數據集進行數據預處理；

步驟2.1、根據所述手語數據集計算得到手握球相對半徑S、指尖掌心距離D、掌心相對速度V、絕對三維手掌位置標準差P、指間距離L并作為特征數據集；

步驟2.2、采用零-均值規范化的方法，對所述特征數據集進行標準化處理，得到預處理后的特征數據集；

步驟2.3、對預處理后的特征數據集進行數據增強，得到增強后的特征數據集；