[發明專利]一種基于動態手勢識別的手語翻譯交流系統

有效

• 申請號: 201810373367.6
• 申請日: 2018-04-24
• 公開（公告）號: CN108615009B
• 公開（公告）日: 2019-07-23
• 發明（設計）人: 呂蕾;李燕;張凱;張桂娟;劉弘
• 申請（專利權）人: 山東師范大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G10L15/26
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 趙妍

1.一種基于動態手勢識別的手語翻譯交流系統，其特征在于：包括手語翻譯模塊和語音識別模塊；

所述手語翻譯模塊，被配置為：

獲取動態手語手勢，以數組的形式存儲到內存隊列中；

采用多層卷積神經網絡對內存隊列中的手語手勢圖像進行多次特征圖提取，并采用長短期記憶神經網絡對提取的特征圖進行時序建模，輸出手語標簽的時序序列，完成手語手勢的識別；設置一個判斷函數，當連續10幀中檢測不到手勢運動時，判斷為一個句子的結束；

對手語標簽進行句子合成，并利用顯示屏對句子進行展示，同時將句子以語音形式進行播放；

所述語音識別模塊，被配置為：

獲取語音；

對語音數據進行識別處理，得到離散詞匯；

根據離散詞匯在手語手勢動畫數據庫中獲取對應手勢動畫進行拼接，并通過顯示屏進行演示；

所述手語翻譯模塊包括依次連接的手語手勢獲取模塊、手語手勢識別模塊、第一文字顯示模塊和語音播放模塊，所述語音識別模塊包括依次連接語音獲取模塊、語音識別模塊、第二文字顯示模塊和手語動畫演示模塊；

所述語音播放模塊在對文字和語音的轉換過程中構建與所述手語手勢識別模塊獨立的線程，在該線程中設置一個事件監聽函數進行監聽，每當所述第一文字顯示模塊輸出一個完整的句子時，該線程啟動進行轉換；

所述語音識別模塊采用端到端的循環神經網絡算法對采集到語音聲波數據進行處理識別，得到離散詞匯，并將離散詞匯通過第二文字顯示模塊進行顯示，所述語音識別模塊尾部，還添加有CTC語言模型；

所述手語動畫演示模塊根據語音識別模塊得到的離散詞匯在手語手勢動畫數據庫中進行檢索，檢索完畢后，根據之前的詞匯順序將檢索的動畫片段進行拼接，并通過顯示屏進行演示；

所述手語手勢動畫數據庫中每一個離散詞匯對應一個固定動畫。

2.如權利要求1所述的一種基于動態手勢識別的手語翻譯交流系統，其特征在于，所述手語手勢獲取模塊通過攝像頭對動態手語手勢進行獲取，并對獲取到的每一幀圖像的大小進行統一調整后，以數組的形式存儲到內存隊列中。

3.如權利要求1所述的一種基于動態手勢識別的手語翻譯交流系統，其特征在于，所述第一文字顯示模塊采用循環神經網絡對手語手勢識別模塊的手語標簽進行句子合成，并利用顯示屏對句子進行展示。

4.如權利要求3所述的一種基于動態手勢識別的手語翻譯交流系統，其特征在于，所述句子合成過程包括：

根據手語標簽形成離散詞匯，根據輸入的離散詞匯結合已有的中文語料數據庫，選取相似度最大的模板語料生成初始的句子；

通過循環神經網絡結構將該句子進行初始化，通過網絡迭代進行句子修正，在修正過程中，采用相似詞替換方式增加句子的準確性和連貫性。

5.如權利要求1所述的一種基于動態手勢識別的手語翻譯交流系統，其特征在于，所述語音播放模塊用于將第一文字顯示模塊中生成的句子以語音形式進行播放。

6.如權利要求1所述的一種基于動態手勢識別的手語翻譯交流系統，其特征在于，所述語音獲取模塊通過聲波方式采集語音數據，并以數組的形式存儲到內存中，所述數組在列維度上表示實時的聲波數組，在行維度上表示聲波的聲學特征。