[發明專利]深層神經網絡AR手語翻譯學習方法、客戶端及服務器

有效

• 申請號: 201810089087.2
• 申請日: 2018-01-30
• 公開（公告）號: CN108427910B
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 秦路
• 申請（專利權）人: 浙江凡聚科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G10L15/24;G06F16/535
• 代理公司: 浙江永鼎律師事務所 33233
• 代理人: 陸永強;張建

本發明公開了一種深層神經網絡AR手語翻譯學習方法、客戶端及服務器，包括以下步驟：A：接收并識別終端設備上傳的手語動作數據，將手語動作轉換為自然語言發送給終端設備；或者，同時接收面部表情數據和/或外部環境數據，然后結合面部表情數據和/或外部環境數據將手語動作轉換為自然語言發送給終端設備；B：接收并識別終端設備上傳的自然語言數據，將自然語言數據轉換為手語動作數據并基于手語動作數據構建動態虛擬人物，將動態虛擬人物發送給終端設備以在終端設備上顯示手語動作。本發明的優點在于：將對手語動作的翻譯結合于用戶的面部表情和周圍環境，提高翻譯的準確率。

技術領域

本發明屬于手語翻譯領域，尤其是涉及一種深層神經網絡AR手語翻譯學習方法、客戶端及服務器。

背景技術

據最新資料統計說明，我國聽力語言殘疾居視力殘疾、肢殘、智殘等五大殘疾之首，為2057萬人，占中國人口總數的1.67%。他們無法像正常人一樣交流溝通，造成了他們工作、學習、娛樂、就醫、維權等生活狀態的混亂，許多低文化聾啞人甚至面臨生存的危機。曾經社會的忽略不僅讓他們在日益激烈的社會競爭中處于了被動、尷尬、自卑的角色里，更使一些人在困窘與寂寞中走上了違法犯罪的道路，聾啞人生存現狀堪憂。

聾啞人遇到的問題主要有以下幾個部分：

生活問題：缺乏對外界的感知，無法與不懂手語的普通人正常交流。

工作問題：因為生理原因會受到很多限制，很多類型的工作無法完成。

心理問題：因為所有生理缺陷，無法與正常人正常交流導致難以融入小團體造成心理上的孤單。

為了解決聾啞人的交流生活問題，人們進行了長期的探索，例如中國專利公開了一種聾啞人輔助方法、裝置以及電子設備[申請號：201680006924.X]，包括：接收聲音；對所述聲音進行識別并根據識別結果將所述聲音轉換為顯示信號；在所述顯示信號的驅動下進行顯示；所述對所述聲音進行識別并根據識別結果將所述聲音轉換為顯示信號，包括：對所述聲音的種類進行識別；當所述聲音為說話聲時，識別所述說話聲的內容，根據所述說話聲的內容將所述說話聲轉換為用于驅動顯示文字的顯示信號；當所述聲音為環境聲時，識別所述環境聲的類別，根據所述環境聲的類別將所述環境聲轉換為用于驅動顯示標識的顯示信號。

以及一種手語語音雙向翻譯系統[申請號：CN201010139012.4]，基于微慣導傳感的手語動作捕捉系統、微慣導信號處理與分析系統、一訓練完整的手語動作特征分類器、用來訓練手語動作分類器的手語動作特征數據庫、語音文字數據庫、視頻/動畫數據庫、語音信號采集系統、語音分析系統、發聲系統和顯示系統；其中：所述手語動作捕捉系統與所述微慣導信號處理與分析系統通信連接，所述手語動作分類器分別與所述手語動作特征數據庫、微慣導信號處理與分析系統、語音文字數據庫、視頻/動畫數據庫、顯示系統通信連接，所述語音文字數據庫還與所述語音分析系統和視頻/動畫數據庫通信連接，所述語音信號采集系統和發聲系統分別與所述語音分析系統通信連接。

上述方案能夠實現對自然語言與手語語言之間的轉換，為聾啞人與普通人之間的交流提供了中間橋梁，解決了聾啞人與普通人交流的問題，但是上述方案仍然存在缺陷，例如聾啞人使用的一些句子會使用相同的手語或者需要借助外部環境的物體，在自然情況下，兩個用手語交流的人都會結合對對方面部表情的觀察和外部環境理解對方的意思，但是上述兩個方案在進行翻譯的時候就會忽略面部表情和周圍環境，通常容易出現歪曲說話者意思的問題，導致交流受阻。

發明內容

本發明的目的是針對上述問題，提供一種深層神經網絡AR手語翻譯學習方法；

本發明的另一個目的是針對上述問題，提供一種用于深層神經網絡AR手語翻譯學習的客戶端；

本發明的另一個目的是針對上述問題，提供一種用于深層神經網絡AR手語翻譯學習的服務器。

為達到上述目的，本發明采用了下列技術方案：