[發明專利]翻譯方法、裝置、介質和近眼顯示設備

有效

• 申請號: 202110380356.2
• 申請日: 2021-04-09
• 公開（公告）號: CN112764549B
• 公開（公告）日: 2021-08-06
• 發明（設計）人: 梁祥龍;黃海;劉彥婷;孫樹成;謝天豪
• 申請（專利權）人: 北京亮亮視野科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/20;G06F40/58;G10L13/04;G02B27/01
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 孫寶海;闞梓瑄

1.一種翻譯方法，應用于近眼顯示設備，其特征在于，包括：

在獲取到待翻譯的信息時，調用目標語種的翻譯模型對所述待翻譯的信息進行翻譯，得到翻譯文本；

獲取所述待翻譯的信息的源特征，確定與所述源特征匹配的所述翻譯文本的渲染方式，具體包括：

采集所述近眼顯示設備的視窗范圍圖像；

對所述視窗范圍圖像進行人臉識別，基于所述人臉識別的結果確定所述待翻譯的信息的信息源；

將采集到的所述信息源的視覺特征確定為所述源特征，以確定與所述視覺特征匹配的所述渲染方式，包括：基于所述信息源的視覺特征檢測與所述信息源之間的距離，在檢測到與所述信息源之間的距離較遠，擴大所述翻譯文本的文本框，在檢測到與所述信息源之間的距離較近，則信息源在視窗中所占面積較大，減小所述文本框；

基于所述渲染方式將所述翻譯文本顯示在所述近眼顯示設備上。

2.根據權利要求1所述的翻譯方法，其特征在于，所述將采集到的所述信息源的視覺特征確定為所述源特征，以確定與所述視覺特征匹配的所述渲染方式包括：

基于所述距離確定所述翻譯文本的顯示尺寸；

基于所述顯示尺寸對所述翻譯文本進行顯示渲染。

3.根據權利要求1所述的翻譯方法，其特征在于，所述將采集到的所述信息源的視覺特征確定為所述源特征，以確定與所述視覺特征匹配的所述渲染方式包括：

在確定所述信息源的所述視覺特征時，基于所述視覺特征采集所述信息源的動作信息和表情信息；

基于所述動作信息確定所述翻譯文本的顯示時刻和消隱時刻；以及

確定與所述表情信息匹配的顯示風格；

基于所述顯示時刻、消隱時刻以及所述顯示風格對所述翻譯文本進行顯示渲染。

4.根據權利要求1所述的翻譯方法，其特征在于，所述基于所述渲染方式將所述翻譯文本顯示在所述近眼顯示設備上還包括：

基于所述待翻譯的信息的聲音相位和/或圖像特征確定所述待翻譯的信息的信息源在空間坐標系中的位置信息；

基于所述近眼顯示設備的顯示坐標系和空間坐標系之間的映射關系，將顯示在所述近眼顯示設備上的所述翻譯文本基于所述位置信息映射到所述信息源的位置上。

5.根據權利要求4所述的翻譯方法，其特征在于，所述基于所述近眼顯示設備的顯示坐標系和空間坐標系之間的映射關系與所述位置信息，將顯示在所述近眼顯示設備上的所述翻譯文本，映射到所述信息源的位置上，還包括：

所述位置信息包括與所述信息源之間的距離，基于所述距離調整所述近眼顯示設備的顯示焦平面；

使所述翻譯文本顯示在調整后的所述焦平面上。

6.根據權利要求5所述的翻譯方法，其特征在于，所述基于所述近眼顯示設備的顯示坐標系和空間坐標系之間的映射關系，將顯示在所述近眼顯示設備上的所述翻譯文本，映射到所述信息源的位置上包括：

在檢測到所述信息源移動時，對所述信息源執行人臉追蹤操作，以持續捕捉所述信息源的位置信息；

基于所述映射關系將所述翻譯文本渲染為按照所述位置信息移動，以使所述翻譯文本跟隨所述信息源移動。

7.根據權利要求1所述的翻譯方法，其特征在于，所述待翻譯的信息包括視頻信息，所述在獲取到待翻譯的信息時，調用目標語種的翻譯模型對所述待翻譯的信息進行翻譯，得到翻譯文本包括：

對所述視頻信息執行手語識別，以識別出手語信息；

調用目標語種的手語翻譯模型將所述手語信息轉換成所述翻譯文本。

8.根據權利要求1所述的翻譯方法，其特征在于，所述待翻譯的信息包括語音信息，所述調用目標語種的翻譯模型對所述待翻譯的信息進行翻譯，得到翻譯文本包括：

基于卷積神經網絡置信度的語種模型，識別所述語音信息的語種；

調取與所述語種對應的語音識別引擎將所述語音信息轉成文本信息；

調取所述目標語種的翻譯引擎，將所述文本信息翻譯成所述翻譯文本。