[發明專利]手語翻譯方法、基于MR的手語-語音交互方法及系統

在審

• 申請號: 201910869132.0
• 申請日: 2019-09-16
• 公開（公告）號: CN110728191A
• 公開（公告）日: 2020-01-24
• 發明（設計）人: 閆國啟;李驪
• 申請（專利權）人: 北京華捷艾米科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G10L15/22;G10L15/26
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種手語翻譯方法，其特征在于，包括如下步驟：

(1)獲取手語動作的RGB-D圖像；

(2)提取出RGB-D圖像中的手勢特征信息，所述手勢特征信息為手部各關節點在各時刻的特征旋轉矩陣；

(3)將手勢特征信息與預設的手勢特征翻譯模型進行匹配；

(4)將手勢特征翻譯模型匹配的手語釋義按照時間序列組合作為翻譯結果。

2.根據權利要求1所述的手語翻譯方法，其特征在于，步驟(3)中所述預設的手勢特征翻譯模型通過如下方法建立：

(3.1)獲取大量手語的RGB-D圖像樣本；

(3.2)提取出RGB-D圖像樣本中的手勢特征信息；

(3.3)標定手勢特征信息對應的手語釋義；

(3.4)使用深度學習算法訓練手勢特征信息與手語釋義對應的手勢特征翻譯模型。

3.一種基于MR的手語-語音交互方法，其特征在于，包括：

采集手語使用者手語的RGB-D圖像，使用權利要求1或2的手語翻譯方法進行翻譯；

采集語音使用者的語音并翻譯為文本信息；

構建虛擬場景，建立手語使用者及語音使用者的虛擬人物模型；

虛擬場景中手語使用者的虛擬人物模型將手語釋義朗讀為音頻，語音使用者的虛擬人物模型將語音釋義對應的手語動作進行演示。

4.根據權利要求3所述的基于MR的手語-語音交互方法，其特征在于，所述建立手語使用者及語音使用者的虛擬人物模型的方法為：

采集使用者的RGB-D圖像，建立使用者的彩色點云模型；

使用TSDF方法進行模型表面重建和平滑，完成虛擬人物的建立。

5.根據權利要求3所述的基于MR的手語-語音交互方法，其特征在于，所述構建虛擬場景為構建平面虛擬場景或構建3D虛擬場景；構建3D虛擬場景的方法為：采集選定場景的RGB-D圖像，獲取R GB-D圖像的3D點云信息，利用3D點云信息建立各使用者視角的MR虛擬場景。

6.根據權利要求3所述的基于MR的手語-語音交互方法，其特征在于，所述語音使用者的虛擬人物模型將語音釋義對應的手語動作進行演示的方法為：

制作各會話語句對應手語動作的視頻模型；

獲取虛擬人物模型的頭像模型并將其設置在手語動作的視頻模型中。

7.根據權利要求3所述的基于MR的手語-語音交互方法，其特征在于，語音使用者可選擇是否鍵入文字以校正由語音翻譯的文本信息；語音使用者可選擇是否直接鍵入文字以替代語音翻譯。

8.根據權利要求3所述的基于MR的手語-語音交互方法，其特征在于，還包括：采集交互過程中手語翻譯得到的手語釋義信息和語音翻譯得到的文本信息，標記各信息的發出者，并按照時間順序形成紀錄存儲。

9.一種基于MR的手語-語音交互系統，其特征在于，包括處理終端以及與之通信連接的手語使用者客戶端及語音使用者客戶端；

所述手語使用者客戶端包括用于獲取手語動作的RGB-D圖像的3D體感攝像頭、用于顯示的顯示器；

語音使用者客戶端包括用于采集語音的麥克風、用于播放語音的揚聲器、用于顯示的顯示器；

所述處理模塊用于構建虛擬場景，建立手語使用者及語音使用者的虛擬人物模型、翻譯手語使用者客戶端的手語動作并傳輸至語音使用者客戶端播放翻譯后朗讀的音頻、采集語音使用者的語音并翻譯為文本信息、生成語音使用者虛擬人物模型將語音釋義對應的手語動作進行演示的畫面并傳輸至語音使用者客戶端顯示。

10.根據權利要求9所述的基于MR的手語-語音交互系統，其特征在于，還包括3D場景攝像頭，用于為構建虛擬場景采集選定場景的RGB-D圖像。