[發明專利]模型訓練及數據處理方法、裝置、電子設備、存儲介質

在審

• 申請號: 202010501637.4
• 申請日: 2020-06-04
• 公開（公告）號: CN113761946A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 汪嘉懌;趙宇;張昱琪;駱衛華;施楊斌
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/166;G06F40/289;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京智信四方知識產權代理有限公司 11519
• 代理人: 鐘文芳;宋海龍

本公開實施例公開了一種模型訓練及數據處理方法、裝置、電子設備、存儲介質，方法包括：獲得訓練數據，所述訓練數據包括第一原文、第一譯文和第一譯后參考譯文；利用所述訓練數據對譯后編輯模型進行訓練：使用預訓練的語言模型作為所述譯后編輯模型的編碼器；所述編碼器的初始參數為所述預訓練的語言模型的參數；將所述訓練數據經過所述編碼器進入所述譯后編輯模型的解碼器；根據所述解碼器的輸出對所述譯后編輯模型的參數進行調整。本公開利用大量的預訓練數據學習原文及其對應的譯文之間的語義知識，并將該語義知識遷移到譯后編輯模型的訓練過程中，使得譯后編輯模型更具有魯棒性，同時還解決了訓練數據這類三元組獲取成本較高的問題。

技術領域

本公開涉及計算機技術領域，具體涉及一種模型訓練及數據處理方法、裝置、電子設備、存儲介質。

背景技術

機器翻譯是指利用計算機程序將語句從一種自然語言(源語言)翻譯成另一種自然語言(目標語言)的技術。目前較為常用的神經網絡架構Transformer是一個完全基于注意力機制(attention-based)的編碼器-解碼器(encoder-decoder)模型。其主要思想是將待翻譯的語句(在下文中統稱為原文)經過編碼器(encoder)編碼成為一個向量表示，然后利用解碼器(decoder)對原文的向量表示進行解碼，翻譯成為其對應的譯文(在下文中統稱為譯文。

為了在機器翻譯基礎上得到更好的翻譯效果，通常會由相關人員對機器翻譯的譯文進行譯后編輯，但是這種方式將會消耗大量的人力成本。因此，如何節省人工成本以及提高譯后編輯的效率是機器翻譯領域所要解決的主要技術問題之一。

發明內容

本公開實施例提供一種模型訓練及數據處理方法、裝置、電子設備、存儲介質。

第一方面，本公開實施例中提供了一種模型訓練方法，包括：

獲得訓練數據，所述訓練數據包括第一原文、第一譯文和第一譯后參考譯文；

利用所述訓練數據對譯后編輯模型進行訓練：

使用預訓練的語言模型作為所述譯后編輯模型的編碼器；所述編碼器的初始參數為所述預訓練的語言模型的參數；

將所述訓練數據經過所述編碼器進入所述譯后編輯模型的解碼器；

根據所述解碼器的輸出對所述譯后編輯模型的參數進行調整。

進一步地，所述將所述訓練數據經過所述編碼器進入所述譯后編輯模型的解碼器，包括：

所述編碼器利用自注意力機制對所述第一原文進行處理，得到第一原文特征；

所述編碼器利用注意力機制對所述第一原文特征和所述第一譯文進行處理，得到第一聯合特征；

將所述第一譯后參考譯文、所述第一原文特征和所述第一聯合特征輸入所述解碼器。

進一步地，所述根據所述解碼器的輸出對所述譯后編輯模型的參數進行調整，包括：

所述解碼器利用注意力機制對所述第一譯后參考譯文、所述第一原文特征和所述第一聯合特征進行處理，得到預測聯合特征；

利用所述預測聯合特征預測所述第一譯后參考譯文對應的目標預測結果；

利用所述目標預測結果對所述譯后編輯模型的參數進行調整。

進一步地，所述利用注意力機制對所述第一譯后參考譯文、所述第一原文特征和所述第一聯合特征進行處理，得到預測聯合特征，包括：

利用注意力機制對所述第一聯合特征和第一原文特征中的其中之一、所述第一譯后參考譯文進行處理并輸出第一中間特征；

利用注意力機制對所述第一聯合特征和第一原文特征中的其中之另一、所述第一中間特征進行編碼后輸出所述預測聯合特征。