[發(fā)明專(zhuān)利]一種基于多語(yǔ)種機(jī)器翻譯的數(shù)據(jù)增強(qiáng)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110132065.1
• 申請(qǐng)日: 2021-01-31
• 公開(kāi)（公告）號(hào): CN112749570A
• 公開(kāi)（公告）日: 2021-05-04
• 發(fā)明（設(shè)計(jì)）人: 丁穎;孫見(jiàn)青;梁家恩
• 申請(qǐng)（專(zhuān)利權(quán)）人: 云知聲智能科技股份有限公司;廈門(mén)云知芯智能科技有限公司
• 主分類(lèi)號(hào): G06F40/58
• 分類(lèi)號(hào): G06F40/58;G06F40/289;G06N3/02
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明涉及一種基于多語(yǔ)種機(jī)器翻譯的數(shù)據(jù)增強(qiáng)方法及系統(tǒng)，方法包括：利用預(yù)先訓(xùn)練的多語(yǔ)種翻譯模型將原句從源語(yǔ)言翻譯成目標(biāo)語(yǔ)言，得到概率不同的多個(gè)候選譯文，其中，源語(yǔ)言與目標(biāo)語(yǔ)言相同；保留多個(gè)候選譯文中與原句不完全相同的候選譯文作為用于訓(xùn)練相應(yīng)翻譯模型的訓(xùn)練數(shù)據(jù)。本發(fā)明由于聯(lián)合訓(xùn)練和知識(shí)遷移，多語(yǔ)種翻譯模型中低資源和零資源語(yǔ)言的翻譯受益于高資源語(yǔ)言，因此能夠獲得高質(zhì)量、多樣化的訓(xùn)練數(shù)據(jù)作為訓(xùn)練翻譯模型的訓(xùn)練資源，有利于模型性能的提高；并且，由于多語(yǔ)種翻譯模型具有多語(yǔ)種翻譯和零資源翻譯的能力，可以實(shí)現(xiàn)多個(gè)語(yǔ)種的同種語(yǔ)言間翻譯，因此只需要訓(xùn)練一個(gè)多語(yǔ)種翻譯模型即可進(jìn)行多個(gè)語(yǔ)種的數(shù)據(jù)增強(qiáng)，降低資源成本。

技術(shù)領(lǐng)域

本發(fā)明涉及翻譯及人工智能領(lǐng)域，具體涉及一種基于多語(yǔ)種機(jī)器翻譯的數(shù)據(jù)增強(qiáng)方法及系統(tǒng)。

背景技術(shù)

通用的神經(jīng)機(jī)器翻譯系統(tǒng)是基于端到端Encoder-Decoder的框架，一般情況下需要大規(guī)模的平行語(yǔ)料來(lái)進(jìn)行有監(jiān)督的模型訓(xùn)練，而由于人工標(biāo)注成本較高，因此對(duì)于低資源語(yǔ)種的雙語(yǔ)語(yǔ)料，通常是利用back-translation、數(shù)據(jù)加噪等數(shù)據(jù)增強(qiáng)方法來(lái)偽造平行語(yǔ)料加入到訓(xùn)練數(shù)據(jù)中進(jìn)行訓(xùn)練，但數(shù)據(jù)加噪對(duì)于數(shù)據(jù)多樣性等提升有限；back-translation生成的數(shù)據(jù)質(zhì)量依賴于翻譯模型，而翻譯模型的效果依賴于平行語(yǔ)料規(guī)模，因此不利于低資源語(yǔ)種上的數(shù)據(jù)生成，并且當(dāng)語(yǔ)種數(shù)量增加時(shí)，需要訓(xùn)練更多的翻譯模型。

發(fā)明內(nèi)容

本發(fā)明提供一種基于多語(yǔ)種機(jī)器翻譯的數(shù)據(jù)增強(qiáng)方法及系統(tǒng)，能夠解決翻譯訓(xùn)練中的數(shù)據(jù)不足問(wèn)題，從而提高翻譯系統(tǒng)的翻譯性能。

本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下：

第一方面，本發(fā)明提供一種基于多語(yǔ)種機(jī)器翻譯的數(shù)據(jù)增強(qiáng)方法，包括：

利用預(yù)先訓(xùn)練的多語(yǔ)種翻譯模型將原句從源語(yǔ)言翻譯成目標(biāo)語(yǔ)言，得到概率不同的多個(gè)候選譯文，其中，所述源語(yǔ)言與目標(biāo)語(yǔ)言相同；

保留所述多個(gè)候選譯文中與所述原句不完全相同的候選譯文作為用于訓(xùn)練相應(yīng)翻譯模型的訓(xùn)練數(shù)據(jù)。

本發(fā)明的有益效果是：

1.由于聯(lián)合訓(xùn)練和知識(shí)遷移，多語(yǔ)種翻譯模型中低資源和零資源語(yǔ)言的翻譯受益于高資源語(yǔ)言，因此能夠獲得高質(zhì)量、多樣化的訓(xùn)練數(shù)據(jù)作為訓(xùn)練翻譯模型的訓(xùn)練資源，有利于模型性能的提高；

2.由于多語(yǔ)種翻譯模型具有多語(yǔ)種翻譯和零資源翻譯的能力，可以實(shí)現(xiàn)多個(gè)語(yǔ)種的同種語(yǔ)言間翻譯，因此只需要訓(xùn)練一個(gè)多語(yǔ)種翻譯模型即可進(jìn)行多個(gè)語(yǔ)種的數(shù)據(jù)增強(qiáng)，降低資源成本。

進(jìn)一步，所述多個(gè)候選譯文是通過(guò)使用beam search算法生成的。

上述進(jìn)一步內(nèi)容的有益效果是，通過(guò)使用beam search可以提高生成候選譯文時(shí)的搜索效率，降低內(nèi)存需求。

進(jìn)一步，所述多語(yǔ)種翻譯模型的采用基于神經(jīng)網(wǎng)絡(luò)編碼器-解碼器的機(jī)器翻譯模型。

上述進(jìn)一步內(nèi)容的有益效果是，采用基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯模型，能夠大大降低翻譯成本，提高翻譯效率。

進(jìn)一步，該方法還包括：

若所述多個(gè)候選譯文中均與所述原句完全相同，則舍棄所述原句。

上述進(jìn)一步內(nèi)容的有益效果是，當(dāng)候選譯文均與原句完全相同的時(shí)，無(wú)法達(dá)到擴(kuò)展訓(xùn)練資源的目的，這種情況下，則需要舍棄該原句。

第二方面，本發(fā)明提供一種基于多語(yǔ)種機(jī)器翻譯的數(shù)據(jù)增強(qiáng)系統(tǒng)，包括：

原句翻譯模塊，用于利用預(yù)先訓(xùn)練的多語(yǔ)種翻譯模型將原句從源語(yǔ)言翻譯成目標(biāo)語(yǔ)言，得到概率不同的多個(gè)候選譯文，其中，所述源語(yǔ)言與目標(biāo)語(yǔ)言相同；