[發明專利]一種實時識別手勢的手語智能交互設備及其交互方法

在審

• 申請號: 201711184055.2
• 申請日: 2017-11-24
• 公開（公告）號: CN107798964A
• 公開（公告）日: 2018-03-13
• 發明（設計）人: 鄭軍;姜炎;徐向棋;孫少明;王友運;殷建
• 申請（專利權）人: 鄭軍
• 主分類號: G09B21/00
• 分類號: G09B21/00;G06K9/00;G06T13/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種實時識別手勢的手語智能交互設備，其特征在于，它包括網絡電視、處理器、顯示器和攝像頭，所述處理器分別與網絡電視、顯示器連接，它包括獲取單元、處理單元、編輯單元和解碼單元；

所述獲取單元用于獲取網絡電視的音頻信息和觀看者手語手勢的圖像信息與深度信息；

所述處理單元用于將所述音頻信息轉化為文本信息；

所述編輯單元用于區分所述音頻信息的不同聲源，并根據所述聲源利用虛擬人物手語編輯技術編輯相應的虛擬人物手語動畫；

所述解碼單元用于將所述圖像信息和深度信息進行解碼處理轉化為文本信息；

所述顯示器與處理器連接，用于顯示虛擬人物手語動畫；

所述網絡電視用于向處理器發送信息，接收和顯示處理器發送的信息；

所述攝像頭與處理器連接，用于獲取觀看者手語手勢的圖像信息和深度信息并將所述圖像信息和深度信息發送至處理器。

2.根據權利要求1所述的實時識別手勢的手語智能交互設備，其特征在于，所述聲源為音色或音調。

3.根據權利要求1所述的實時識別手勢的手語智能交互設備，其特征在于，

所述解碼單元采用卷積神經網絡算法進行處理和識別觀看者手語手勢的圖像信息和深度信息。

4.根據權利要求1所述的實時識別手勢的手語智能交互設備，其特征在于，所述攝像頭為Kinect攝像頭。

5.一種實時識別手勢的手語智能交互方法，其特征在于，所述手語智能交互方法包括：

獲取網絡電視的音頻信號并進行預處理；

對所述音頻信號根據信號特點進行截取劃分，得到有效聲源；

根據聲音特點對音頻信號進行不同聲源的區分，并判斷所屬聲源的人物性別和形體形象，進而在虛擬人物庫中選擇相應的虛擬人物；

利用虛擬人物編輯技術和動畫合成技術生成虛擬人物手語視頻；

將所述虛擬人物手語視頻在顯示器上顯示。

6.根據權利要求5所述的手語智能交互方法，其特征在于，所述手語智能交互方法還包括：

通過訓練大量的手語手勢圖像信息和深度信息得到卷積神經網絡模型；

獲取人的實時手語手勢圖像信息和深度信息；

根據卷積神經網絡模型將實時手語手勢圖像信息和深度信息解碼處理轉化為文本信息；

將所述文本信息并通過網絡電視連接上傳至網絡。