[發(fā)明專利]翻譯模型訓(xùn)練的方法、語句翻譯的方法、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201810445783.2
• 申請日: 2018-05-10
• 公開（公告）號: CN110472251B
• 公開（公告）日: 2023-05-30
• 發(fā)明（設(shè)計）人: 程勇;涂兆鵬;孟凡東;翟俊杰;劉洋
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/30
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王仲凱

1.一種翻譯模型訓(xùn)練的方法，其特征在于，包括：

獲取訓(xùn)練樣本集合，所述訓(xùn)練樣本集合中包括多個訓(xùn)練樣本，每個訓(xùn)練樣本為一個訓(xùn)練樣本對，所述訓(xùn)練樣本對包括訓(xùn)練輸入樣本和訓(xùn)練輸出樣本；

確定每個訓(xùn)練輸入樣本各自對應(yīng)的擾動輸入樣本集合，以及所述擾動輸入樣本集合對應(yīng)的擾動輸出樣本，所述擾動輸入樣本集合包括至少一個擾動輸入樣本，所述擾動輸出樣本與所述訓(xùn)練輸出樣本相同，所述擾動輸入樣本為與對應(yīng)訓(xùn)練輸入樣本意思相同但文字不同的詞，所述擾動輸入樣本與對應(yīng)訓(xùn)練輸入樣本的語義相似度高于第一預(yù)設(shè)值；

使用多個訓(xùn)練樣本對和所述每個訓(xùn)練輸入樣本各自對應(yīng)的擾動輸入樣本集合，以及所述擾動輸入樣本集合對應(yīng)的擾動輸出樣本訓(xùn)練初始翻譯模型，以得到目標(biāo)翻譯模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定每個訓(xùn)練輸入樣本各自對應(yīng)的擾動輸入樣本集合，包括：

確定所述每個訓(xùn)練輸入樣本中的第一詞語，所述第一詞語為待被替換的詞語；

用至少一個第二詞語分別替換所述第一詞語，以得到所述擾動輸入樣本集合，所述第二詞語與所述第一詞語的語義相似度高于第二預(yù)設(shè)值。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定每個訓(xùn)練輸入樣本各自對應(yīng)的擾動輸入樣本集合，包括：

確定所述每個訓(xùn)練輸入樣本中每個詞語的詞向量；

每次在所述每個詞語的詞向量上疊加一個不同的高斯噪聲向量，以得到所述擾動輸入樣本集合。

4.根據(jù)權(quán)利要求1-3任一所述的方法，其特征在于，所述初始翻譯模型包括編碼器、分類器和解碼器；

所述編碼器用于接收所述訓(xùn)練輸入樣本和對應(yīng)的擾動輸入樣本，并輸出第一中間表示結(jié)果和第二中間表示結(jié)果，所述第一中間表示結(jié)果為所述訓(xùn)練輸入樣本的中間表示結(jié)果，所述第二中間表示結(jié)果為所述對應(yīng)的擾動輸入樣本的中間表示結(jié)果；

所述分類器用于區(qū)分所述第一中間表示結(jié)果和所述第二中間表示結(jié)果；

所述解碼器用于根據(jù)第一中間表示結(jié)果輸出所述訓(xùn)練輸出樣本，根據(jù)所述第二中間表示結(jié)果輸出所述訓(xùn)練輸出樣本。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述初始翻譯模型的模型目標(biāo)函數(shù)包括與所述分類器和所述編碼器相關(guān)的分類目標(biāo)函數(shù)、與所述編碼器和所述解碼器相關(guān)的訓(xùn)練目標(biāo)函數(shù)和擾動目標(biāo)函數(shù)；

其中，所述分類目標(biāo)函數(shù)中包括所述訓(xùn)練輸入樣本、所述對應(yīng)的擾動輸入樣本、所述編碼器的參數(shù)和所述分類器的參數(shù)；

所述訓(xùn)練目標(biāo)函數(shù)包括所述訓(xùn)練輸入樣本、所述訓(xùn)練輸出樣本、所述編碼器的參數(shù)和所述解碼器的參數(shù)；

所述擾動目標(biāo)函數(shù)包括所述擾動輸入樣本、所述訓(xùn)練輸出樣本、所述編碼器的參數(shù)和所述解碼器的參數(shù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述使用多個訓(xùn)練樣本對和所述每個訓(xùn)練輸入樣本各自對應(yīng)的擾動輸入樣本集合，以及所述擾動輸入樣本集合對應(yīng)的擾動輸出樣本訓(xùn)練初始翻譯模型，以得到目標(biāo)翻譯模型，包括：

將每個訓(xùn)練輸入樣本、對應(yīng)的擾動輸入樣本以及對應(yīng)的訓(xùn)練輸出樣本輸入所述模型目標(biāo)函數(shù)；

按照梯度下降的方式優(yōu)化所述模型目標(biāo)函數(shù)，以確定出所述編碼器的參數(shù)的取值、所述解碼器的參數(shù)的取值和所述分類器的參數(shù)的取值，其中，對于分類目標(biāo)函數(shù)中編碼器的參數(shù)的梯度乘以-1。

7.一種語句翻譯的方法，其特征在于，包括：

接收以第一語言表達(dá)的第一待翻譯語句；

使用目標(biāo)翻譯模型對所述第一待翻譯語句進(jìn)行翻譯，以得到用第二語言表達(dá)的翻譯結(jié)果語句，其中所述目標(biāo)翻譯模型為使用多個訓(xùn)練樣本和所述多個訓(xùn)練樣本中每個訓(xùn)練樣本各自對應(yīng)的擾動樣本集合訓(xùn)練得到的，所述擾動樣本集合包括至少一個擾動樣本，所述擾動樣本與對應(yīng)訓(xùn)練樣本的語義相似度高于第一預(yù)設(shè)值，所述目標(biāo)翻譯模型為如權(quán)利要求1所述方法訓(xùn)練得到的模型；

輸出所述用第二語言表達(dá)的翻譯結(jié)果語句。