[發明專利]一種翻譯模型的訓練方法及裝置

在審

• 申請號: 202011099831.0
• 申請日: 2020-10-15
• 公開（公告）號: CN111931518A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 李長亮;郭馨澤
• 申請（專利權）人: 北京金山數字娛樂科技有限公司
• 主分類號: G06F40/47
• 分類號: G06F40/47;G06F40/126;G06N3/04
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 劉曉楠

1.一種翻譯模型的訓練方法，其特征在于，所述翻譯模型包括編碼器和解碼器，所述編碼器包括n個順次連接的編碼層，所述解碼器包括n個順次連接的解碼層，對于每個所述編碼層和每個所述解碼層的自注意力子層，第i個編碼層的自注意力子層與第i個解碼層的自注意力子層共享自注意力參數，其中，n≥1，1≤i≤n；

所述翻譯模型的訓練方法包括：

接收訓練數據，其中，所述訓練數據包括訓練語句和訓練語句對應的目標語句；

獲取所述訓練語句對應的訓練語句向量和所述目標語句對應的目標語句向量；

將所述訓練語句向量輸入至所述編碼器中經過編碼處理獲得編碼向量；

將所述編碼向量和所述目標語句向量輸入至所述解碼器中經過解碼處理獲得解碼向量，并根據所述解碼向量計算損失值；

根據所述損失值調整所述翻譯模型的參數，繼續訓練所述翻譯模型，直至達到訓練停止條件。

2.如權利要求1所述的翻譯模型的訓練方法，其特征在于，所述編碼器還包括第一嵌入層，所述解碼器還包括第二嵌入層；

獲取所述訓練語句對應的訓練語句向量和所述目標語句對應的目標語句向量，包括：

將所述訓練語句輸入至所述第一嵌入層做嵌入化處理獲得訓練語句向量；

將所述目標語句輸入至所述第二嵌入層做嵌入化處理獲得目標語句向量。

3.如權利要求1所述的翻譯模型的訓練方法，其特征在于，根據所述解碼向量計算損失值，包括：

將所述解碼向量與預設的向量驗證集進行對比，得到所述解碼向量的損失值。

4.如權利要求1所述的翻譯模型的訓練方法，其特征在于，每個解碼層還包括編碼-解碼注意力子層和前饋神經網絡子層，每個編碼層還包括前饋神經網絡子層；

根據所述損失值調整所述翻譯模型的參數，包括：

根據所述損失值依次調整每個所述解碼層的自注意力子層的自注意力參數、編碼-解碼注意力子層的編碼-解碼注意力參數和前饋神經網絡子層的前饋神經參數；

根據所述損失值依次調整每個所述編碼層的自注意力層的自注意力參數和前饋神經網絡子層的前饋神經參數。

5.如權利要求1所述的翻譯模型的訓練方法，其特征在于，將所述訓練語句向量輸入至所述編碼器中經過編碼處理獲得編碼向量，包括：

S51、將所述訓練語句向量輸入至所述編碼器的第1個編碼層，得到所述第1個編碼層輸出的編碼向量；

S52、將第t-1個編碼層輸出的編碼向量輸入至第t個編碼層，得到第t個編碼層輸出的編碼向量，其中2≤t≤n；

S53、將t自增1，判斷t是否大于n，若是，則獲得編碼向量，若否，繼續執行步驟S52。

6.如權利要求1所述的翻譯模型的訓練方法，其特征在于，將所述編碼向量和所述目標語句向量輸入至所述解碼器中經過解碼處理獲得解碼向量，包括：

S61、將所述編碼向量和所述目標語句向量輸入至所述解碼器的第1個解碼層，得到所述第1個解碼層輸出的解碼向量；

S62、將所述編碼向量和第j-1個解碼層輸出的解碼向量輸入至第j個解碼層，得到第j個解碼層輸出的解碼向量，其中2≤j≤n；

S63、將j自增1，判斷j是否大于n，若是，則獲得解碼向量，若否，繼續執行步驟S62。

7.如權利要求1所述的翻譯模型的訓練方法，其特征在于，所述編碼器的前m個編碼層和后m個編碼層對應共享編碼參數，和/或，所述解碼器的前p個解碼層和后p個解碼層對應共享解碼參數，其中，2m≤n，2p≤n。

8.如權利要求7所述的翻譯模型的訓練方法，其特征在于，所述編碼器的前m個編碼層和后m個編碼層一一對應地共享編碼參數，和/或，所述解碼器的前p個解碼層和后p個解碼層一一對應地共享解碼參數。

9.如權利要求8所述的翻譯模型的訓練方法，其特征在于，所述編碼器的前m個編碼層和后m個編碼層一一對應地共享自注意力參數，和/或，所述解碼器的前p個解碼層和后p個解碼層一一對應地共享自注意力參數。