[發明專利]一種基于動態手勢識別的手語翻譯交流系統

有效

• 申請號: 201810373367.6
• 申請日: 2018-04-24
• 公開（公告）號: CN108615009B
• 公開（公告）日: 2019-07-23
• 發明（設計）人: 呂蕾;李燕;張凱;張桂娟;劉弘
• 申請（專利權）人: 山東師范大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G10L15/26
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 趙妍

本發明公開了一種基于動態手勢識別的手語翻譯交流系統，包括手語翻譯模塊和語音識別模塊，所述手語翻譯模塊包括依次連接的手語手勢獲取模塊、手語手勢識別模塊、第一文字顯示模塊和語音播放模塊，所述語音識別模塊包括依次連接語音獲取模塊、語音識別模塊、第二文字顯示模塊和手語動畫演示模塊。本發明可以解決聾啞人之間以及聾啞人和正常人之間的實時交流問題。

技術領域

本發明涉及一種手語翻譯交流系統，特別涉及一種基于動態手勢識別的手語翻譯交流系統。

背景技術

目前我國的聾啞人數量巨大，已達到了上千萬人，并且每年以一定的速度在快速增長。由于大多數正常人看不懂手語，所以使得聾啞人與正常人之間的交流存在很大的障礙。

我國目前手語翻譯領域仍然處于起步階段，一些有關手語翻譯的系統仍停留在實驗室階段甚至是概念階段。

目前手語翻譯相關的系統主要有手語翻譯數據手套、手語翻譯臂環以及基于Kinect的手語翻譯產品。人們使用基于數據手套的手語識別系統必須要穿戴復雜的數據手套，不具便攜性，并且該系統價格比較昂貴；手語翻譯臂環的識別不連貫并且要求使用人員的手語手勢十分規范，沒有達到很好的識別效果；基于Kinect的手語翻譯系統因設備體積太大，所以無法便攜。

發明內容

為了解決現有技術的不足，本發明提供了一種基于動態手勢識別的手語翻譯交流系統，該手語翻譯系統的翻譯精度更高、功能更加齊全、操作更加簡單且價格更加低廉。

為了實現上述目的，本發明的技術方案如下：

一種基于動態手勢識別的手語翻譯交流系統，包括手語翻譯模塊和語音識別模塊；

所述手語翻譯模塊，被配置為：

獲取動態手語手勢；

對手語手勢圖像進行特征提取與時序建模，并輸出手語標簽時序序列，完成對手語手勢的識別；

對手語標簽進行句子合成，并利用顯示屏對句子進行展示，同時將句子以語音形式進行播放；

所述語音識別模塊，被配置為：

獲取語音；

對語音數據進行識別處理，得到離散詞匯；

根據離散詞匯在手語手勢動畫數據庫中獲取對應手勢動畫進行拼接，并通過顯示屏進行演示。

進一步的，所述手語翻譯模塊包括依次連接的手語手勢獲取模塊、手語手勢識別模塊、第一文字顯示模塊和語音播放模塊，所述語音識別模塊包括依次連接語音獲取模塊、語音識別模塊、第二文字顯示模塊和手語動畫演示模塊。

進一步的，所述手語手勢獲取模塊通過攝像頭對動態手語手勢進行獲取，并對獲取到的每一幀圖像的大小進行統一調整后，以數組的形式存儲到內存隊列中。

進一步的，所述手語手勢識別模塊采用多層卷積神經網絡對內存隊列中的手語手勢圖像進行多次特征圖提取，并采用長短期記憶神經網絡對提取的特征圖進行時序建模，輸出手語標簽的時序序列，完成手語手勢的識別。

進一步的，所述第一文字顯示模塊采用循環神經網絡對手語手勢識別模塊的手語標簽進行句子合成，并利用顯示屏對句子進行展示。

進一步的，所述句子合成過程包括：

根據手語標簽形成離散詞匯，根據輸入的離散詞匯結合已有的中文語料數據庫，選取相似度最大的模板語料生成初始的句子；

通過循環神經網絡結構將該句子進行初始化，通過網絡迭代進行句子修正，在修正過程中，采用相似詞替換方式增加句子的準確性和連貫性。

進一步的，所述語音播放模塊用于將第一文字顯示模塊中生成的句子以語音形式進行播放。