[發明專利]神經網絡機器翻譯模型的訓練方法、裝置及存儲介質

在審

• 申請號: 201811535879.4
• 申請日: 2018-12-14
• 公開（公告）號: CN111401079A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 周龍;周玉;楊里
• 申請（專利權）人: 波音公司;中國科學院自動化研究所
• 主分類號: G06F40/56
• 分類號: G06F40/56;G06F40/58;G06N3/04;G06N3/08
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 梁麗超;劉彬

1.一種神經網絡機器翻譯模型的訓練方法，其特征在于，所述方法包括以下步驟：

分別對第一句子的頭部和第二句子的頭部添加標簽，其中，所述第一句子和所述第二句子構成雙語句子對，所述標簽將所述第一句子和所述第二句子標識為以下四個方向中的一個方向：源端-目標端、目標端-源端、從左到右、從右到左；

使用所述第一句子和所述第二句子構成所述四個方向上的訓練模型；

采用多任務訓練方法，利用所述四個方向上的所述訓練模型，對所述神經網絡機器翻譯模型中的單一目標訓練函數進行訓練。

2.根據權利要求1所述的神經網絡機器翻譯模型的訓練方法，其特征在于，所述方法在采用多任務訓練方法，利用所述四個方向上的訓練模型，對所述神經網絡機器翻譯模型中的單一目標訓練函數進行訓練的步驟之后，還包括以下步驟：

采用極大似然目標函數，使用梯度下降法對所述神經網絡機器翻譯模型的所述目標訓練函數在所述四個方向上進行聯合優化。

3.根據權利要求2所述的神經網絡機器翻譯模型的訓練方法，其特征在于，在采用極大似然目標函數，使用梯度下降法對所述神經網絡機器翻譯模型的所述目標訓練函數在所述四個方向上進行聯合優化的步驟之后，所述方法還包括以下步驟：

對于每一個測試句子，根據經訓練的所述神經網絡機器翻譯模型，使用柱搜索方法將得分最高的解碼句子作為所述神經網絡機器翻譯模型的輸出句子，根據所述解碼句子中的所述標簽，將所述輸出句子還原成標準格式。

4.根據權利要求1所述的神經網絡機器翻譯模型的訓練方法，其特征在于，在分別在構成雙語句子對的第一句子的頭部和所述第二句子的頭部添加標簽的步驟中：

在作為所述神經網絡機器翻譯模型的輸入句子的所述第一句子的頭部或所述第二句子的頭部添加所述源端-目標端或所述目標端-源端的標簽，以指示所述輸入句子是源語言還是目標語言；

在作為所述神經網絡機器翻譯模型的輸出句子的所述第一句子的頭部或所述第二句子的頭部添加所述從左到右或從右到左的標簽，以指示所述輸出句子的詞語的排列方向是從右到左還是從左到右。

5.根據權利要求4所述的神經網絡機器翻譯模型的訓練方法，其特征在于，在分別在構成雙語句子對的第一句子的頭部和所述第二句子的頭部添加標簽的步驟中，包括：

對所述第一句子和所述第二句子進行分詞和詞頻統計處理，以統計所述源語言和所述目標語言的詞頻和占比情況，從而確定在所述神經網絡機器翻譯模型的輸入端的翻譯模型詞匯表的大小和輸出端的翻譯模型詞匯表的大小。

6.根據權利要求5所述的神經網絡機器翻譯模型的訓練方法，其中，所述神經網絡機器翻譯模型包括語言無關的表示器，并且所述神經網絡機器翻譯模型采用自注意力機制網絡作為主體結構，所述語言無關的表示器包括編碼器和解碼器。

7.根據權利要求6所述的神經網絡機器翻譯模型的訓練方法，其中，在所述神經網絡機器翻譯模型中，基于對所述第一句子和所述第二句子的詞頻統計，對所述第一句子和所述第二句子中的詞語進行降序排列，并且在所述輸入端的翻譯模型詞匯表和所述輸出端的翻譯模型詞匯表中具有相同排序的詞語共享相同的詞向量，所述語言無關的表示器的所述編碼器的子層與所述解碼器的子層具有對應關系，并且在具有對應關系的所述編碼器的子層與所述解碼器的子層之間共享所有參數。

8.根據權利要求7所述的神經網絡機器翻譯模型的訓練方法，其中，所述編碼器的子層和所述解碼器的子層各自包括：自注意力子層、層級正則子層、全連接子層。