[發明專利]一種基于多源信息融合的手語識別方法

在審

• 申請號: 201811012934.1
• 申請日: 2018-08-31
• 公開（公告）號: CN109271901A
• 公開（公告）日: 2019-01-25
• 發明（設計）人: 王志波;趙騰達;陳鴻愷;馬金鑫;王騫
• 申請（專利權）人: 武漢大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G09B21/00
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魯力

本發明公開了一種基于多源信息融合的手語識別方法。包括：數據收集模型，數據預處理模型，神經網絡模型，實時識別模型。本發明采用多傳感器融合技術和深度學習的方法來對手語進行識別，并通過揚聲器發出手語動作對應的聲音。流程如下：1、通過表面肌肉電信號傳感器(sEMG)和慣性測量單元(IMU)來收集手語動作信息，并通過藍牙傳輸數據；2、通過特征提取和去噪算法對收集的數據進行數據清洗，并處理成可以輸入神經網絡的數據格式；3、構建雙向雙層LSTM神經網絡，并訓練保存模型；4、將模型移植到手機上，實時切割動作數據，將處理后的動作數據輸入模型得到手語動作對應的標簽，使用開源語言庫發出動作標號對應的語音。

技術領域

本發明屬于計算機科學時頻信號處理和循環神經網絡模型構建技術領域，尤其涉及到一種基于多源信息融合的手語識別方法。

背景技術

聾啞人是不容爭議的需要得到社會關注的弱勢群體。如今的聾啞人溝通手段大多數借助手語，這確實為聾啞人與聾啞人，聾啞人與懂得手語的人之間搭起了溝通的橋梁。但大多數普通人并不熟悉手語，也就造成了大多數人無法和聾啞人正常交流，這在一定程度上降低了社會對聾啞人群體的關注程度，甚至造成了對聾啞人群體的歧視。因此我們團隊萌生了幫助聾啞人與不懂得手語的多數人溝通的想法。

而目前的一項熱點技術：可穿戴技術，吸引了我們的注意?？纱┐骷夹g主要是指探索創造能直接穿在身上、或是整合進用戶的衣服或配件的設備的科學技術。利用該技術可以把多媒體、傳感器和無線通信等技術嵌入人們的衣著中，大大為人們提供便利。

聾啞人群與不懂得手語的多數人溝通急切的需求與可穿戴技術的無線、便利、益于集成等特性相結合，啟發了我們開發一款聾啞人群能夠獨立使用的、具有完善功能的、且能被市場普遍接受的手語識別系統。

在傳統實現手語識別方法中有：基于傳感感器的數據手套識別方法、基于攝像頭的圖像識別方法、基于雷達發射器的雷達波反射識別方法、基于PPG的光線反射識別方法，以上幾種手語識別方法存在各種不足，有如下缺陷：

1)數據手套過于笨重，便攜性差，同時會引起過多的關注，從而造成失語者的心理壓力；

2)手勢間的遮擋使得很難精確識別手指變化，佩戴者無法在較暗的場景(夜晚，室內光線不足)使用，對手部的準確檢測跟蹤切割較為困難，限制了手語識別的實時性；

3)距離太短，變化太小，無論是可移動方式還是不可移動方式識別，均難以精確檢測，同時便攜性很差；

4)難以保證手指語和手勢語識別的完整性，不能兼顧粗粒度和細粒度手語識別的結合。

由此，一種結合多傳感器融合、循環神經網絡構建、實時手語翻譯、兼顧粗粒度和細粒度手語識別方法顯得極其重要。

發明內容

本發明針對現有的手語識別方法的不足，提供了一種基于多源信息融合的手語識別方案，該方案目標是通過一種可穿戴設備來實現手語-語音的交互過程。系統應具有良好的可擴展性，能夠通過對手語的識別從而實現語音與手勢的交互以及信號與手勢的交互。

本發明的技術方案為一種基于多源信息融合的手語識別方法，包含以下4個步驟：

一種基于多源信息融合的手語識別方法，其特征在于包含以下步驟：

步驟1，通過8軸表面肌肉電信號傳感器sEMG和9軸慣性測量單元IMU來收集手語動作的原始信號，并通過藍牙傳輸數據；

步驟2，通過數據預處理算法對原始信號進行去噪和特征提取，并處理成神經網絡的輸入數據格式；

步驟3，構建雙向雙層LSTM神經網絡，并訓練保存模型；

步驟4，將模型移植到手機上，實時切割sEMG數據和IMU數據，用開源語言庫，將動作翻譯成相應聲音。