[發(fā)明專利]非自回歸翻譯模型的訓(xùn)練方法及其裝置

有效

• 申請?zhí)枺?/td>: 202111353568.8
• 申請日: 2021-11-16
• 公開（公告）號: CN114282552B
• 公開（公告）日: 2022-11-04
• 發(fā)明（設(shè)計）人: 王曦陽;張睿卿;何中軍;李芝;吳華
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 單冠飛

本公開提供了非自回歸翻譯模型的訓(xùn)練方法及其裝置，涉及人工智能技術(shù)領(lǐng)域中的深度學(xué)習(xí)和自然語言處理領(lǐng)域。具體實現(xiàn)方案為：獲取第一源語言文本、第一源語言文本對應(yīng)的第一目標(biāo)語言文本和第一目標(biāo)語言文本的第一目標(biāo)長度，將第一源語言文本輸入至待訓(xùn)練的非自回歸翻譯模型中，以生成第一目標(biāo)語言預(yù)測文本和第一預(yù)測長度，其中，待訓(xùn)練的非自回歸翻譯模型的初始化參數(shù)是根據(jù)預(yù)訓(xùn)練翻譯模型的參數(shù)確定的，根據(jù)第一目標(biāo)語言文本、第一目標(biāo)語言預(yù)測文本、第一目標(biāo)長度和第一預(yù)測長度，對待訓(xùn)練的非自回歸翻譯模型進行訓(xùn)練，得到非自回歸翻譯模型，可以減少訓(xùn)練時間，避免局部最優(yōu)，提升模型的訓(xùn)練效果。

技術(shù)領(lǐng)域

本公開涉及人工智能技術(shù)領(lǐng)域中的深度學(xué)習(xí)和自然語言處理領(lǐng)域，尤其涉及一種非自回歸翻譯模型的訓(xùn)練方法及其裝置。

背景技術(shù)

目前，隨著人工智能的發(fā)展通過應(yīng)用程序或智能終端進行不同語種間的翻譯轉(zhuǎn)換已經(jīng)普遍存在，在機器翻譯中，目前廣泛采用的模型架構(gòu)是編碼器-解碼器結(jié)構(gòu)，其做法是先對源端語言通過編碼器進行編碼，將文本信息轉(zhuǎn)換為向量信息，然后根據(jù)編碼得到的向量信息，再使用解碼器將其翻譯為目標(biāo)端的文本。在“編碼器-解碼器”結(jié)構(gòu)中，編碼器和解碼器的性能決定了翻譯的質(zhì)量，為提高翻譯速度采用非自回歸的解碼方式進行并行解碼即一次翻譯過程可以同時翻譯出多個詞。

但是非自回歸翻譯模型在數(shù)據(jù)量較少的稀缺資源語種上難以訓(xùn)練出較好的模型效果，模型在訓(xùn)練過程中很容易陷入局部最優(yōu)。

發(fā)明內(nèi)容

提供了一種非自回歸翻譯模型的訓(xùn)練方法及其裝置。

根據(jù)第一方面，提供了一種非自回歸翻譯模型的訓(xùn)練方法，包括：獲取第一源語言文本、所述第一源語言文本對應(yīng)的第一目標(biāo)語言文本和所述第一目標(biāo)語言文本的第一目標(biāo)長度；將所述第一源語言文本輸入至待訓(xùn)練的非自回歸翻譯模型中，以生成第一目標(biāo)語言預(yù)測文本和第一預(yù)測長度，其中，所述待訓(xùn)練的非自回歸翻譯模型的初始化參數(shù)是根據(jù)預(yù)訓(xùn)練翻譯模型的參數(shù)確定的，所述預(yù)訓(xùn)練翻譯模型的訓(xùn)練數(shù)據(jù)為第一混合文本和第二混合文本，所述第一混合文本中包括依次排列的第二源語言文本、分隔符和第二目標(biāo)語言文本，所述第二混合文本中包括依次排列的所述第二源語言文本對應(yīng)的第三目標(biāo)語言文本、所述分隔符和所述第二目標(biāo)語言文本對應(yīng)的第三源語言文本；以及根據(jù)所述第一目標(biāo)語言文本、所述第一目標(biāo)語言預(yù)測文本、所述第一目標(biāo)長度和所述第一預(yù)測長度，對所述待訓(xùn)練的非自回歸翻譯模型進行訓(xùn)練，得到非自回歸翻譯模型。

根據(jù)第二方面，提供了一種非自回歸翻譯模型的訓(xùn)練裝置，包括：第一獲取模塊，用于獲取第一源語言文本、所述第一源語言文本對應(yīng)的第一目標(biāo)語言文本和所述第一目標(biāo)語言文本的第一目標(biāo)長度；第一生成模塊，用于將所述第一源語言文本輸入至待訓(xùn)練的非自回歸翻譯模型中，以生成第一目標(biāo)語言預(yù)測文本和第一預(yù)測長度，其中，所述待訓(xùn)練的非自回歸翻譯模型的初始化參數(shù)是根據(jù)預(yù)訓(xùn)練翻譯模型的參數(shù)確定的，所述預(yù)訓(xùn)練翻譯模型的訓(xùn)練數(shù)據(jù)為第一混合文本和第二混合文本，所述第一混合文本中包括依次排列的第二源語言文本、分隔符和第二目標(biāo)語言文本，所述第二混合文本中包括依次排列的所述第二源語言文本對應(yīng)的第三目標(biāo)語言文本、所述分隔符和所述第二目標(biāo)語言文本對應(yīng)的第三源語言文本；以及第一訓(xùn)練模塊，用于根據(jù)所述第一目標(biāo)語言文本、所述第一目標(biāo)語言預(yù)測文本、所述第一目標(biāo)長度和所述第一預(yù)測長度，對所述待訓(xùn)練的非自回歸翻譯模型進行訓(xùn)練，得到非自回歸翻譯模型。

根據(jù)第三方面，提供了一種電子設(shè)備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行本公開第一方面所述的非自回歸翻譯模型的訓(xùn)練方法。

根據(jù)第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質(zhì)，其中，所述計算機指令用于使所述計算機執(zhí)行根據(jù)本公開第一方面所述的非自回歸翻譯模型的訓(xùn)練方法。

根據(jù)第五方面，提供了一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序在被處理器執(zhí)行時實現(xiàn)根據(jù)本公開第一方面所述非自回歸翻譯模型的訓(xùn)練方法的步驟。