[發(fā)明專利]一種機(jī)器翻譯方法、裝置及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010171952.5
• 申請日: 2020-03-12
• 公開（公告）號: CN111414772B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設(shè)計(jì)）人: 孫于惠;李響
• 申請（專利權(quán)）人: 北京小米松果電子有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/284;G06N3/08
• 代理公司: 北京名華博信知識產(chǎn)權(quán)代理有限公司 11453
• 代理人: 苗源

本公開是關(guān)于一種機(jī)器翻譯方法、裝置及介質(zhì)。該方法包括：獲取待翻譯的源語言序列，所述源語言序列為漢字序列；基于所述漢字序列和訓(xùn)練好的判別模型，獲取處理后的源語言序列，所述判別模型用于判別所述漢字序列中的漢字是否替換為相應(yīng)的拼音；將所述處理后的源語言序列輸入訓(xùn)練好的翻譯模型，獲取所述訓(xùn)練好的翻譯模型的預(yù)測結(jié)果。該方法可以提高翻譯模型的魯棒性，從而有效增強(qiáng)神經(jīng)機(jī)器翻譯質(zhì)量。

技術(shù)領(lǐng)域

本公開涉及神經(jīng)機(jī)器翻譯技術(shù)領(lǐng)域，尤其涉及機(jī)器翻譯方法、裝置及介質(zhì)。

背景技術(shù)

神經(jīng)機(jī)器翻譯是目前最主流的機(jī)器翻譯方法，盡管翻譯質(zhì)量得到極大改進(jìn)，但它對于輸入的待翻譯文本十分敏感，即使源語言中存在少量不影響人理解語義的錯(cuò)誤，模型一般都無法生成正確的譯文。增強(qiáng)神經(jīng)機(jī)器翻譯魯棒性的方法主要包括：(1)對于中文輸入文本進(jìn)行糾錯(cuò)，進(jìn)而提高后續(xù)機(jī)器翻譯質(zhì)量；(2)改進(jìn)神經(jīng)機(jī)器翻譯模型的訓(xùn)練方法，增強(qiáng)模型對噪音訓(xùn)練樣本的抗干擾性，提高翻譯模型的魯棒性。

源語言錯(cuò)誤中常見的一種錯(cuò)誤是同音字錯(cuò)誤。這里的同音字錯(cuò)誤可以是拼音和聲調(diào)完全一致的錯(cuò)誤，也可以是拼音一致但是聲調(diào)不一致的錯(cuò)誤。

現(xiàn)有提升同音字錯(cuò)誤模型魯棒性方法有如下幾種：

一、離線構(gòu)造同音字錯(cuò)誤語料，即在原始訓(xùn)練數(shù)據(jù)中加入一定比例的同音字訓(xùn)練語料，提升模型的抗噪能力。但是離線構(gòu)造噪音的方法并不能窮盡很多未知的同音字錯(cuò)誤。

二、同音字錯(cuò)誤主要是因?yàn)槠匆粝嗤俏淖直硎静灰粯铀鸬模蚨梢杂?xùn)練一個(gè)源語言的拼音到目標(biāo)文本語言文本的模型，也就是將原始的輸入都轉(zhuǎn)化成拼音，喂給模型去學(xué)習(xí)。然而拼音傳遞的信息并沒有中文字詞豐富。

三、將翻譯文本的每一個(gè)漢字的向量表示和這個(gè)漢字的拼音的向量表示相加(也可以是拼接的形式)代表這個(gè)漢字的最終的向量表示參與訓(xùn)練，期望提高模型的抗噪能力。但是這樣的構(gòu)造方法沒有針對性，大部分正確的語料其實(shí)并不需要加入拼音的信息，加入了拼音信息反而會(huì)使得在正確語料翻譯上的效果并沒有那么好。

發(fā)明內(nèi)容

為克服相關(guān)技術(shù)中存在的問題，本公開提供一種翻譯模型的訓(xùn)練方法、裝置及介質(zhì)。

根據(jù)本公開實(shí)施例的第一方面，提供一種機(jī)器翻譯方法，所述方法包括：

獲取待翻譯的源語言序列，所述源語言序列為漢字序列；

基于所述漢字序列和訓(xùn)練好的判別模型，獲取處理后的源語言序列，所述判別模型用于判別所述漢字序列中的漢字是否替換為相應(yīng)的拼音；

將所述處理后的源語言序列輸入訓(xùn)練好的翻譯模型，獲取所述訓(xùn)練好的翻譯模型的預(yù)測結(jié)果。

其中，所述基于所述漢字序列和訓(xùn)練好的判別模型獲取處理后的源語言序列，包括：

獲取所述漢字序列中每個(gè)漢字的拼音，將所述每個(gè)漢字的拼音組成拼音序列，其中所述漢字序列包括m個(gè)漢字，m為大于等于1的正整數(shù)；

依次掩碼所述拼音序列中每個(gè)漢字的拼音，獲取m個(gè)掩碼后的拼音序列，針對每個(gè)掩碼后的拼音序列，執(zhí)行下述操作：將掩碼后的拼音序列輸入所述訓(xùn)練好的判別模型，獲取所述訓(xùn)練好的判別模型預(yù)測的正確漢字概率，所述正確漢字概率為被掩碼位置輸出所述漢字序列中對應(yīng)漢字的概率；

當(dāng)所述正確漢字概率小于設(shè)定概率時(shí)，將所述漢字序列中的對應(yīng)漢字替換為相應(yīng)的拼音，獲取處理后的源語言序列。

其中，所述翻譯模型是通過以下方式訓(xùn)練的：

獲取第一訓(xùn)練數(shù)據(jù)，所述第一訓(xùn)練數(shù)據(jù)包括源語料和對應(yīng)的目標(biāo)語料，所述源語料為漢字語料；

將所述漢字語料中至少一個(gè)漢字替換為相應(yīng)的拼音，獲取混合語料；