[發明專利]一種神經網絡實時手語翻譯系統設備

在審

• 申請號: 202110358848.1
• 申請日: 2021-04-02
• 公開（公告）號: CN112883935A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 蔡向東;朱思旭
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種神經網絡實時手語翻譯系統設備屬于手語翻譯技術領域，本發明能夠將設備使用者所做出的手語動作實時翻譯成書面文字并顯示在手機APP上，用來幫助聾啞人降低與人們交流的難度。本發明包括主控模塊、手勢模塊、通信模塊和終端模塊。主控模塊用于采集來自手勢模塊的信號，經神經網絡手語識別算法處理后，通過通信模塊將信號傳遞給終端模塊；手勢模塊用于采集設備使用者的手語動作數據，由采集手指彎曲時數據的彎曲傳感器和檢測手掌朝向的MPU6050芯片模塊兩部分組成，通過連接電路與主控模塊相連；通信模塊采用半雙工工作的HC?05藍牙模塊，通過UART接口與主控模塊的I/O口相連，作為數據傳輸通道；終端模塊采用具有藍牙功能的手機端App的形式，通過通信模塊接收經主控模塊處理過的信號，得到最終的識別翻譯結果以書面文字的形式顯示在手機屏幕上。

技術領域

本發明專利屬于手語翻譯技術領域，特別涉及一種神經網絡實時手語翻譯系統設備。

背景技術

據近些年統計，我國有超過2000萬人存在聽力障礙，放眼到全球這一數字則擴大到大約7000萬人，近些年來國內外相關科研工作者投入了大量時間來攻克手語識別技術領域所存在的不足與挑戰，科研工作者們曾研究過諸如數據手套或特殊攝像頭這樣的輸入傳感器潛在的發展空間，雖然前者在識別方面表現很好，但因為難以穿戴和過于昂貴很難投入廣泛使用。而網絡攝像頭或立體攝像頭雖然能夠保證追蹤手部運動的精度和速度，卻很難處理好復雜背景和光照。

發明內容

本發明提供一種神經網絡實時手語翻譯系統設備，能夠將設備使用者做出的手語動作實時翻譯成書面文字并顯示在手機APP上，用來幫助聾啞人降低與人們交流的難度。

本發明解決上述技術問題的技術方案如下：一種神經網絡實時手語翻譯系統設備，包括主控模塊、手勢模塊、通信模塊和終端模塊：

所述主控模塊用于采集來自手勢模塊的信號，經神經網絡手語識別算法處理后，通過通信模塊將信號傳遞給終端模塊；

所述手勢模塊用于采集手語動作數據，由采集手指彎曲時數據的彎曲傳感器和檢測手掌朝向的MPU6050芯片模塊兩部分組成，通過連接電路與主控模塊相連；

所述通信模塊采用半雙工工作的HC-05藍牙模塊，通過UART接口與主控模塊的I/O口相連，作為數據傳輸通道；

所述終端模塊采用手機端App的形式，通過通信模塊接收經主控模塊處理過的信號，得到最終的識別翻譯結果以書面文字的形式顯示在手機屏幕上；

所述神經網絡手語識別算法的設計過程，首先利用數據設備對設備使用者的手語動作進行數據采集，由不同的使用者在不同時段分批次完成采集，進而建立供訓練驗證的手語數據庫，然后對所有數據按不同類別進行預處理，最后根據數據的長度與類型確立神經網絡的結構與激活函數，在完成訓練并在驗證中得到穩定的結果后，確定將要移植到收據設備上的權值矩陣，除此之外還引入了動作代號避免靜態動作的重復識別。

本發明的優點：能夠實現實時識別設備穿戴者所做出的手語動作，并以文本的形式翻譯出來；手部姿勢動作各不相同的不同的設備使用者使用時，設備仍能保持很高的精度；信號傳輸速度快，數據設備與手機終端通信的過程中不受外界環境的影響；能耗較低研發成本適中。

附圖說明

圖1是本發明所述的一種神經網絡實時手語翻譯系統設備的系統總體設計圖；

圖2是本發明的數據設備到手機端的工作過程；

圖3是本發明的神經網絡訓練和識別的基本流程圖。

具體實施方式

為進一步了解本發明的內容，結合附圖及實施例對本發明作詳細描述。

如圖1所示，一種神經網絡實時手語翻譯系統設備，包括主控模塊、手勢模塊、通信模塊、終端模塊；