[發明專利]具有罕見詞處理的神經機器翻譯系統

在審

• 申請號: 202010075314.3
• 申請日: 2015-10-23
• 公開（公告）號: CN111291553A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 國·V·勒;梁明唐;伊利亞·蘇特思科韋爾;奧里奧爾·溫亞爾斯;沃伊切赫·扎連芭
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F40/242
• 分類號: G06F40/242;G06F40/44;G06F40/45;G06N3/04
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

1.一種在數據處理設備上實現的翻譯系統，所述翻譯系統包括：

具有編碼器部分和解碼器部分的神經網絡翻譯模型，所述編碼器部分被配置來處理源語言的源句的初始表示以生成所述源句的編碼表示，所述解碼器部分被配置來處理所述源句的所述編碼表示以確定詞匯表中詞以供將所述源句翻譯為目標語言；以及

第二翻譯模型，所述第二翻譯模型將所述源語言的詞映射到所述目標語言的這些詞的翻譯；

其中，所述翻譯系統被配置來進行以下操作：

識別所述源語言的所述源句中的、與所述目標語言的所述源句的翻譯中的詞匯表外詞相對應的詞的子集；

使用所述第二翻譯模型，確定所述源語言的所述源句中的、與所述詞匯表外詞相對應的所述詞的子集的翻譯，所述詞的子集的翻譯是所述目標語言的；以及

使用(i)由所述神經網絡翻譯模型的所述解碼器部分確定的所述詞匯表中詞和(ii)所述源句中的、與所述詞匯表外詞相對應的所述詞的子集的翻譯，生成所述源句的所述目標語言的翻譯。

2.根據權利要求1所述的翻譯系統，其中，所述第二翻譯模型包括詞典。

3.根據權利要求1所述的翻譯系統，其中，識別所述源語言的所述源句中的、與所述目標語言的所述源句的翻譯中的所述詞匯表外詞相對應的所述詞的子集進一步包括：

利用所述神經網絡翻譯模型的所述解碼器部分，處理所述源句的所述編碼表示，以針對所述源句的翻譯中的、在所述神經網絡翻譯模型的詞匯表之外的每個詞發出相應的未知標記。

4.根據權利要求3所述的翻譯系統，其中，針對所述源句的翻譯中的、在所述神經網絡翻譯模型的所述詞匯表之外的每個詞發出的相應的未知標記是從一類未知標記中選擇的，所述一類未知標記包括多個標記，所述一類未知標記中的每個標記表示詞匯表外詞的不同特性。

5.根據權利要求4所述的翻譯系統，其中，所述一類未知標記包括指針標記，并且所述神經網絡翻譯模型的所述解碼器部分被配置來發出指針標記以作為由所述解碼器部分發出的、表示所述源句的翻譯的標記的序列中的每個位置處的未知標記，所述解碼器部分針對所述每個位置處的未知標記識別所述源句中的、與所述目標語言的詞匯表外詞相對應的詞，所述指針標記指向所述源句中的、與所述目標語言的詞匯表外詞相對應的詞。

6.根據權利要求5所述的翻譯系統，其中，所述翻譯系統進一步被配置來進行以下操作：將由所述解碼器部分發出的、表示所述源句的翻譯的所述標記的序列中的每個指針標記替換為所述源句中的、該指針標記所指向的詞的翻譯，包括訪問所述第二翻譯模型來確定所述源句中的、該指針標記所指向的詞的翻譯。

7.根據權利要求5所述的翻譯系統，其中，所述翻譯系統進一步被配置來進行以下操作：在由所述解碼器部分發出的、表示所述源句的翻譯的所述標記的序列中的每個指針標記所指向的詞的翻譯無法在所述第二翻譯模型中獲得時，將該指針標記替換為所述源句中的、該指針標記所指向的詞。

8.根據權利要求4所述的翻譯系統，其中，所述一類未知標記包括空未知標記，并且所述神經網絡翻譯模型的所述解碼器部分被配置來進行以下操作：發出由所述解碼器部分發出的、表示所述源句的翻譯的標記的序列中的每個位置處的空未知標記，所述解碼器部分針對所述每個位置處的空未知標記無法在所述源句中識別與所述目標語言的詞匯表外詞相對應的詞。

9.根據權利要求1所述的翻譯系統，其中：

所述神經網絡轉換模型的所述編碼器部分包括第一長短期記憶模型；以及

所述神經網絡轉換模型的所述解碼器部分包括第二長短期記憶模型。

10.根據權利要求1所述的翻譯系統，其中，所述神經網絡翻譯模型的所述解碼器部分進一步被配置來在所述編碼器部分已完成對所述源語言的所述源句的初始表示的處理之后，基于所述編碼器部分的最終隱藏狀態來被初始化。