[發明專利]模型訓練及數據處理方法、裝置、電子設備、存儲介質

在審

• 申請號: 202010501637.4
• 申請日: 2020-06-04
• 公開（公告）號: CN113761946A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 汪嘉懌;趙宇;張昱琪;駱衛華;施楊斌
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/166;G06F40/289;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京智信四方知識產權代理有限公司 11519
• 代理人: 鐘文芳;宋海龍

1.一種模型訓練方法，其中，包括：

獲得訓練數據，所述訓練數據包括第一原文、第一譯文和第一譯后參考譯文；

利用所述訓練數據對譯后編輯模型進行訓練：

使用預訓練的語言模型作為所述譯后編輯模型的編碼器；所述編碼器的初始參數為所述預訓練的語言模型的參數；

將所述訓練數據經過所述編碼器進入所述譯后編輯模型的解碼器；

根據所述解碼器的輸出對所述譯后編輯模型的參數進行調整。

2.根據權利要求1所述的方法，所述將所述訓練數據經過所述編碼器進入所述譯后編輯模型的解碼器，包括：

所述編碼器利用自注意力機制對所述第一原文進行處理，得到第一原文特征；

所述編碼器利用注意力機制對所述第一原文特征和所述第一譯文進行處理，得到第一聯合特征；

將所述第一譯后參考譯文、所述第一原文特征和所述第一聯合特征輸入所述解碼器。

3.根據權利要求2所述的方法，所述根據所述解碼器的輸出對所述譯后編輯模型的參數進行調整，包括：

所述解碼器利用注意力機制對所述第一譯后參考譯文、所述第一原文特征和所述第一聯合特征進行處理，得到預測聯合特征；

利用所述預測聯合特征預測所述第一譯后參考譯文對應的目標預測結果；

利用所述目標預測結果對所述譯后編輯模型的參數進行調整。

4.根據權利要求3所述的方法，所述利用注意力機制對所述第一譯后參考譯文、所述第一原文特征和所述第一聯合特征進行處理，得到預測聯合特征，包括：

利用注意力機制對所述第一聯合特征和第一原文特征中的其中之一、所述第一譯后參考譯文進行處理并輸出第一中間特征；

利用注意力機制對所述第一聯合特征和第一原文特征中的其中之另一、所述第一中間特征進行編碼后輸出所述預測聯合特征。

5.根據權利要求1-4中任一項所述的方法，還包括：

獲得預訓練數據，所述預訓練數據包括第二原文及其對應的第二譯文；

利用自注意力機制對所述第二原文進行處理，得到第二原文特征；

利用注意力機制對第二原文特征和掩蓋了部分譯文內容的第二譯文進行處理，得到第二聯合特征；

利用所述第二聯合特征預測所述第二譯文中被掩蓋了的部分譯文內容，得到譯文預測結果；

根據所述譯文預測結果對所述語言模型的參數進行調整。

6.一種數據處理方法，其中，包括：

獲取待處理的原文以及所述原文對應的機器翻譯的譯文；

將所述原文以及譯文輸入至譯后編輯模型獲取對所述譯文進行編輯后的目標譯后參考譯文；所述譯后編輯模型利用權利要求1-5任一項所述的方法訓練得到。

7.一種數據處理方法，其中，包括：

獲取待處理的原文以及所述原文對應的機器翻譯的譯文；

將所述原文、所述譯文輸入至譯后編輯模型，所述譯后編輯模型包括編碼器和解碼器；

所述編碼器利用自注意力機制對所述原文進行處理并輸出第三原文特征，以及利用注意力機制對所述第三原文特征和所述譯文進行處理并輸出第三聯合特征；

所述解碼器利用注意力機制對所述第三原文特征、第三聯合特征以及候選信息進行處理并輸出第四聯合特征，以及利用所述第四聯合特征確定所述候選信息是否為所述譯文的目標譯后參考譯文；

輸出所述目標譯后參考譯文。

8.根據權利要求7所述的方法，其中，所述解碼器利用注意力機制對所述第三原文特征、第三聯合特征以及候選信息進行處理并輸出第四聯合特征，包括：

利用注意力機制對所述第三原文特征、第三聯合特征的其中之一、所述候選信息進行處理后輸出第二中間特征；

利用注意力機制對所述第三原文特征、第三聯合特征的其中之另一、所述第二中間特征進行處理并輸出所述第四聯合特征。