[發明專利]一種基于深度學習的手勢識別輔助交流系統

在審

• 申請號: 202110079374.7
• 申請日: 2021-01-21
• 公開（公告）號: CN113158736A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 洪耀球
• 申請（專利權）人: 景德鎮學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G10L13/02;G10L15/16;G10L15/26
• 代理公司: 西安匯恩知識產權代理事務所(普通合伙) 61244
• 代理人: 張延長

1.一種基于深度學習的手勢識別輔助交流系統，其特征在于：包括：

胸針，內載單目視覺傳感器，用于實現手勢交流動作視頻和交流對象語音視頻數據的采集，并將采集到的手勢交流動作視頻和交流對象語音視頻數據傳輸至腕帶；

腕帶，內載智能處理終端，用于實現手勢交流動作視頻內載交流信息的識別，并將識別的交流信息轉換成音頻數據經語音播放模塊進行播放；還用于實現交流對象音頻視頻數據內載交流信息的識別，并將識別到的交流信息轉換成手語數據經視頻播放模塊進行播放。

2.如權利要求1所述的一種基于深度學習的手勢識別輔助交流系統，其特征在于：所述胸針呈紐扣狀，其上配置一用于控制單目視覺傳感器啟閉的按鈕和一用于為胸針內載的蓄電池充電的充電口。

3.如權利要求1所述的一種基于深度學習的手勢識別輔助交流系統，其特征在于：所述智能處理終端內載一數據處理系統，包括：

手勢交流信息識別模塊，用于基于DSSD_Xception_coco模型實現手勢交流動作視頻內載交流信息的識別，并將識別的交流信息轉換成音頻數據；

音頻交流信息識別模塊，用于基于Xception模型實現交流對象音頻視頻數據內載交流信息的識別，并將識別到的交流信息轉換成手語數據。

4.如權利要求3所述的一種基于深度學習的手勢識別輔助交流系統，其特征在于：所述DSSD_Xception_coco模型采用DSSD目標檢測算法，用coco數據集預訓練Xception深度神經網絡，然后用先前準備好的手語圖像及其對應的音頻數據集訓練該模型，微調深度神經網絡中的各項參數，最后得到合適的用于識別手勢交流動作視頻內載交流信息的目標檢測模型。

5.如權利要求3所述的一種基于深度學習的手勢識別輔助交流系統，其特征在于：所述腕帶上安裝有一觸控屏，用于輸入文字信息，TMS320DM6446處理器接收到數字信號后經過處理將信號傳輸給中文語音合成芯片，中文語音合成芯片將數字轉化成語音信號，再經語音播放模塊進行播放。

6.如權利要求1所述的一種基于深度學習的手勢識別輔助交流系統，其特征在于：所述數據處理系統內載：

數據分類模塊，用于基于無限深度網絡模型實現手勢交流動作視頻和交流對象語音視頻數據的分類。

7.如權利要求1所述的一種基于深度學習的手勢識別輔助交流系統，其特征在于：所述胸針和腕帶基于藍牙模塊實現通訊。

8.如權利要求1所述的一種基于深度學習的手勢識別輔助交流系統，其特征在于：所述胸針支持手機藍牙連接功能，對應的配置一手機APP系統，手機APP系統內載：

數據分類模塊，用于基于無限深度網絡模型實現手勢交流動作視頻和交流對象語音視頻數據的分類；

手勢交流信息識別模塊，用于基于DSSD_Xception_coco模型實現手勢交流動作視頻內載交流信息的識別，并將識別的交流信息轉換成音頻數據進行播放；

音頻交流信息識別模塊，用于基于Xception模型實現交流對象音頻視頻數據內載交流信息的識別，并將識別到的交流信息轉換成手語數據進行播放。