[發明專利]一種手語翻譯方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202011122840.7
• 申請日: 2020-10-20
• 公開（公告）號: CN112256827A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 洪振厚;王健宗;瞿曉陽
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/635;G06F40/30;G06N3/04;G06N3/08;G06K9/00
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 程超

本發明公開了一種手語翻譯方法、裝置、計算機設備及存儲介質，涉及手語翻譯領域。本發明可對不同區域的聾啞人士的手語進行翻譯，通過獲取用戶發送的攜帶區域信息的手語數據，根據區域信息選擇與所述區域信息關聯的翻譯模型組，從而針對不同區域的聾啞人士，采用相應的翻譯模型，提高了翻譯結果的準確性；采用翻譯模型組對所述手語數據進行翻譯，并獲取翻譯數據，從而實現聾啞人士和普通人的無障礙交流。

技術領域

本發明涉及手語翻譯領域，尤其涉及一種手語翻譯方法、裝置、計算機設備及存儲介質。

背景技術

隨著我國殘疾人事業的發展，聾啞人參與社會的需求也在不斷增強。近些年，隨著語言學，計算機科學，圖形圖像學，機械精細化等各個學科的相關研究的不斷完善，國內外對手語翻譯系統的研究也在不斷深入，市場上也出現了許多便攜式手語語音互譯設備，比如手語讓不懂手語的人也能與使用手語的殘障人士順暢溝通，方便了聽障人士與普通人的日常溝通，這些研究主要集中在基于視覺手語翻譯器。

基于視覺手語翻譯器的主要工作過程是：通過圖像采集設備采集手部關鍵點動作，進而獲得手勢數據，再將手語成可視化的文字或通過語音軟件將朗讀出來，反之將正常人的語言轉化為文字就可以實現雙方溝通。現有的視覺手語翻譯器雖然將手語識別和手語合成結合起來，實現對手語數據的翻譯，然而不同國家或地區采用不同的手語標準，手語的姿勢也不是統一的，現有技術中的手語翻譯系統忽略用戶個體差異性和地區差異性的問題，導致在使用智能手語翻譯設備對手語進行識別的過程中出現誤識別的情況，干擾了聾啞人與正常人之間的交流。也會存在因為地區差異性導致的手語翻譯結果不準確的問題。

綜上所述，現有的手語翻譯裝置主要存在：不同區域的手語動作的差異性，導致手勢識別精度低、翻譯準確度不夠的問題。

發明內容

針對現有的手語翻譯設備存在的不同區域的手語動作的差異性，導致手勢識別精度低、翻譯準確度不夠的問題，現提供一種旨在提高針對不同區域的手語翻譯結果的精度的基于一種手語翻譯方法、裝置、計算機設備及存儲介質。

為實現上述目的，本發明提供一種手語翻譯方法，包括：

獲取用戶發送的攜帶區域信息的手語數據；

根據所述區域信息選擇與預設區域范圍關聯的翻譯模型組；

其中，每一所述翻譯模型組關聯一預設區域范圍，所述翻譯模型組包括至少兩個翻譯模型；

采用所述翻譯模型組中的所述翻譯模型對所述手語數據進行翻譯，獲取翻譯數據；

將所述翻譯數據轉換為音頻數據。

優選的，根據所述區域信息選擇與預設區域范圍關聯的翻譯模型組，包括：

將所述區域信息與多個預設區域范圍進行匹配，以獲取與所述區域信息匹配的所述預設區域范圍；

獲取與所述預設區域范圍關聯的所述翻譯模型組。

優選的，根據所述區域信息選擇與所述區域信息關聯的翻譯模型組，之前還包括：

獲取與所述區域信息關聯的訓練樣本集合和與區域信息關聯的測試樣本集合；

采用所述訓練樣本集合對初始分類模型組中的每一個初始分類模型分別進行訓練；

采用所述測試樣本集合對訓練后的每一個所述初始分類模型進行測試，若測試結果符合預設要求，則將訓練后的所述初始分類模型作為翻譯模型；

每一個與所述區域信息關聯的翻譯模型組包括多個所述翻譯模型。

優選的，采用所述翻譯模型組對所述手語數據進行翻譯，獲取翻譯數據，包括：

分別采用所述翻譯模型組中的每一個翻譯模型對所述手語數據進行翻譯，以獲取語義概率；