[發明專利]頭戴式顯示設備

有效

• 申請號: 201410160794.8
• 申請日: 2014-04-21
• 公開（公告）號: CN103941870B
• 公開（公告）日: 2017-01-11
• 發明（設計）人: 吳先超
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F17/28;G10L15/26
• 代理公司: 北京銘碩知識產權代理有限公司11286
• 代理人: 魯恭誠

技術領域

本發明涉及一種能夠進行語言、文字翻譯的頭戴式顯示設備。

背景技術

頭戴式顯示設備(Head?Mounted?Display，HMD)指的是可以戴在頭上的顯示設備。HMD一般使用“近眼光學系統”來在距離眼球幾厘米的顯示屏幕(例如鏡片)上顯示圖形圖片等多媒體信息。根據顯示屏幕的數量，HMD可以細分為“單鏡片HMD”和“雙鏡片HMD”。一些HMD只顯示一張“計算機生成圖像”(CGI)，而一些種類的HMD則可以以“現實世界視角”的方式顯示疊加的CGI。后者一般又稱為“增強的現實”，因為使用者的對于現實世界的圖像信息被附著在顯示設備上的圖像給“強化”了。具體來說，就是用戶既可以通過透明的鏡片觀看自己周圍的外部世界，也可以通過控制系統在鏡片上顯示一些多媒體信息，例如文字(在前方看到的一座大廈的名字，距離自己最近的餐館的位置以及其招牌菜、菜單等即時信息)。

HMD具有許多實用性的和娛樂性的應用。例如，航天應用允許飛行員在眼光不從飛行路線上移開的前提下，查看至關重要的飛行控制信息。公共安全應用可以包括跟蹤顯示地圖信息以及犯罪嫌疑人的面部自動識別匹配信息等。其他應用領域也可以包括視頻游戲、遠程醫療、遠程控制等。由于該技術還處于早期階段，隨著該技術的發展，將會有更多的實用性和娛樂性的應用出現。但是，目前這些應用被限制在成本、尺寸、顯示區域、以及用來實現當前HMD的傳統光學設備的效率問題等。并且，其他一些尚未徹底解決的技術問題將會隨著HMD的迅猛發展而被逐步攻克并實現其在市場上的廣泛應用。

作為消除全世界范圍內人與人溝通的技術，機器翻譯技術，特別是基于統計的機器翻譯技術業已經越來越成熟，并吸引著越來越多的人使用。然而，當一個人去另外一個不同語言的國家旅行或者公務的時候，如果存在語言/文字障礙，通常需要借助于電子詞典或移動終端中的翻譯軟件，然而這樣并不快速和便捷，由此帶來不便。

發明內容

針對上述問題，本發明提出一種能夠實現語言實時翻譯的頭戴式顯示設備。

根據本發明的一方面，一種頭戴式顯示設備包括：顯示屏幕；麥克風，接收來自外部或者用戶的源語言語音信息；揚聲器，向用戶發送聲音信息；無線通信單元，與遠程服務器通信；控制器，其中，控制器將麥克風接收的源語言語音信息以及用戶指定的目標語言通過無線通信單元發送到遠程服務器，遠程服務器將源語言語音信息轉換為目標語言語音信息并將目標語言語音信息發送到無線通信單元，控制器控制揚聲器向用戶發出由無線通信單元接收的目標語言語音信息。

遠程服務器對源語言語音信息進行語音識別，將源語言語音信息轉換為對應的文字，然后將所述對應的文字轉換為目標語言文字，接著將目標語言文字轉換為對應的目標語言語音信息，并將目標語言語音信息發送到頭戴式顯示設備的無線通信單元，控制器控制揚聲器向用戶發出由無線通信單元接收的目標語言語音信息。

頭戴式顯示設備還包括：一個或多個攝像頭，設置在頭戴式顯示設備的一側或多側，對頭戴式顯示設備的一側或多側區域進行拍攝，形成圖像信息。

控制器將攝像頭拍攝的圖像信息以及用戶指定的目標語言通過無線通信單元發送到遠程服務器，遠程服務器將圖像信息中的原始文字轉換為目標語言文字，并將目標語言文字發送到無線通信單元，控制器控制顯示屏幕顯示目標語言文字。

遠程服務器將目標語言文字嵌入到圖像信息中的原始文字對應位置處，并且將嵌入了目標語言文字的圖像信息發送到頭戴式顯示設備的無線通信單元，控制器控制顯示屏幕顯示嵌入了目標語言文字的圖像信息。

遠程服務器將攝像頭拍攝的圖像信息中的原始文字轉換為目標語言文字，將目標語言文字作為訓練特征來更新遠程服務器針對用戶的源語言語音識別結果的輸出，重新排列源語言語音識別結果的排序，以獲得融合了外部環境特征的優化的源語言語音識別結果；遠程服務器將優化的源語言語音識別結果轉換為原始文字信息，將轉換的原始文字信息作為新訓練特征來優化源語言語音識別的翻譯結果，重新排列源語言語音識別的翻譯結果的排序，以獲得融合了外部環境特征的優化的源語言語音翻譯結果，并將優化的源語言語音翻譯結果發送到無線通信單元，控制器控制揚聲器向用戶發出由無線通信單元接收的優化的源語言語音翻譯結果。

遠程服務器在對用戶的源語言語音信息的歷史語音識別結果中提取關鍵詞，計算關鍵詞與轉換的特定目標語言文字之間的相似度，根據相似度使用所述關鍵詞來修正所述特定目標語言文字，并將修正后的特定目標語言文字發送到無線通信單元，控制器控制顯示屏幕顯示修正后的特定目標語言文字。