[發(fā)明專利]翻譯模型訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011454443.X
• 申請(qǐng)日: 2020-12-10
• 公開（公告）號(hào): CN112560510A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 葉忠義;張為泰;劉俊華
• 申請(qǐng)（專利權(quán)）人: 科大訊飛股份有限公司
• 主分類號(hào): G06F40/49
• 分類號(hào): G06F40/49;G06F40/58
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 付麗

本申請(qǐng)公開了一種翻譯模型訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，本申請(qǐng)針對(duì)源語(yǔ)言和/或目標(biāo)語(yǔ)言，獲取其各自的近似語(yǔ)言下的訓(xùn)練語(yǔ)料，以及訓(xùn)練語(yǔ)料的平行語(yǔ)料，其中，若訓(xùn)練語(yǔ)料的語(yǔ)言與源語(yǔ)言近似，該平行語(yǔ)料是目標(biāo)語(yǔ)言，若訓(xùn)練語(yǔ)料的語(yǔ)言與目標(biāo)語(yǔ)言近似，該平行語(yǔ)料是源語(yǔ)言，針對(duì)訓(xùn)練語(yǔ)料中至少一文本單元，利用該文本單元在與訓(xùn)練語(yǔ)料近似的源語(yǔ)言或目標(biāo)語(yǔ)言下的平行文本單元進(jìn)行替換，得到混合語(yǔ)言訓(xùn)練語(yǔ)料，由混合語(yǔ)言訓(xùn)練語(yǔ)料與平行語(yǔ)料組成平行語(yǔ)料對(duì)，以平行語(yǔ)料對(duì)加入訓(xùn)練樣本集，訓(xùn)練源語(yǔ)言至目標(biāo)語(yǔ)言的翻譯模型。本申請(qǐng)利用了源語(yǔ)言和/或目標(biāo)語(yǔ)言的近似語(yǔ)言資源，豐富了模型訓(xùn)練數(shù)據(jù)，提升了翻譯模型的訓(xùn)練效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，更具體的說(shuō)，是涉及一種翻譯模型訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

現(xiàn)代機(jī)器翻譯系統(tǒng)，利用平行語(yǔ)料學(xué)習(xí)翻譯語(yǔ)言間的映射關(guān)系，使得機(jī)器翻譯的質(zhì)量與平行句對(duì)的數(shù)據(jù)成正相關(guān)。當(dāng)翻譯任務(wù)的平行句對(duì)數(shù)量比較豐富時(shí)，翻譯模型質(zhì)量較高，但是當(dāng)翻譯任務(wù)的句對(duì)數(shù)據(jù)受限時(shí)，也大幅限制了機(jī)器翻譯模型的質(zhì)量。

為了解決翻譯訓(xùn)練語(yǔ)料較少的問(wèn)題，可以使用數(shù)據(jù)增強(qiáng)的方式來(lái)偽造訓(xùn)練數(shù)據(jù)。其中，回譯作為一種廣泛使用的機(jī)器翻譯數(shù)據(jù)增強(qiáng)方法，已經(jīng)成為現(xiàn)代翻譯系統(tǒng)的標(biāo)配。回譯是一種有效的利用目標(biāo)端單語(yǔ)數(shù)據(jù)的數(shù)據(jù)增強(qiáng)方法，但是目標(biāo)端單語(yǔ)數(shù)據(jù)在許多場(chǎng)景也是比較稀少的。因此，如何解決由于翻譯訓(xùn)練語(yǔ)料較少導(dǎo)致的模型訓(xùn)練不足，是一個(gè)亟需解決的問(wèn)題。

發(fā)明內(nèi)容

鑒于上述問(wèn)題，提出了本申請(qǐng)以便提供一種翻譯模型訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，以解決翻譯訓(xùn)練語(yǔ)料較少的場(chǎng)景下，模型訓(xùn)練不足的問(wèn)題。具體方案如下：

一種翻譯模型訓(xùn)練方法，包括：

獲取源語(yǔ)言和/或目標(biāo)語(yǔ)言各自的近似語(yǔ)言下的訓(xùn)練語(yǔ)料，以及所述訓(xùn)練語(yǔ)料的平行語(yǔ)料，其中，若所述訓(xùn)練語(yǔ)料的語(yǔ)言與所述源語(yǔ)言近似，則所述平行語(yǔ)料為目標(biāo)語(yǔ)言，若所述訓(xùn)練語(yǔ)料的語(yǔ)言為與所述目標(biāo)語(yǔ)言近似，則所述平行語(yǔ)料為源語(yǔ)言；

針對(duì)所述訓(xùn)練語(yǔ)料中的至少一文本單元，利用所述文本單元在與所述訓(xùn)練語(yǔ)料語(yǔ)言近似的源語(yǔ)言或目標(biāo)語(yǔ)言下的平行文本單元進(jìn)行替換，得到混合語(yǔ)言訓(xùn)練語(yǔ)料，并由混合語(yǔ)言訓(xùn)練語(yǔ)料與所述訓(xùn)練語(yǔ)料的平行語(yǔ)料組成平行語(yǔ)料對(duì)；

以所述平行語(yǔ)料對(duì)加入訓(xùn)練樣本集，訓(xùn)練源語(yǔ)言至目標(biāo)語(yǔ)言的翻譯模型。

優(yōu)選地，所述針對(duì)所述訓(xùn)練語(yǔ)料中的至少一文本單元，利用所述文本單元在與所述訓(xùn)練語(yǔ)料語(yǔ)言近似的源語(yǔ)言或目標(biāo)語(yǔ)言下的平行文本單元進(jìn)行替換，得到混合語(yǔ)言訓(xùn)練語(yǔ)料，包括：

獲取所述訓(xùn)練語(yǔ)料的語(yǔ)義單元；

針對(duì)所述訓(xùn)練語(yǔ)料中的至少一個(gè)語(yǔ)義單元，利用所述語(yǔ)義單元在與所述訓(xùn)練語(yǔ)料語(yǔ)言近似的源語(yǔ)言或目標(biāo)語(yǔ)言下的平行語(yǔ)義單元進(jìn)行替換，得到混合語(yǔ)言訓(xùn)練語(yǔ)料。

優(yōu)選地，所述獲取所述訓(xùn)練語(yǔ)料的語(yǔ)義單元，包括：

對(duì)所述訓(xùn)練語(yǔ)料進(jìn)行句法結(jié)構(gòu)分析，得到句法結(jié)構(gòu)樹；

從所述句法結(jié)構(gòu)樹中提取設(shè)定句法結(jié)構(gòu)信息，作為訓(xùn)練語(yǔ)料的語(yǔ)義單元。

優(yōu)選地，所述從所述句法結(jié)構(gòu)樹中提取設(shè)定句法結(jié)構(gòu)信息，作為訓(xùn)練語(yǔ)料的語(yǔ)義單元，包括：

基于所述句法結(jié)構(gòu)樹，將訓(xùn)練語(yǔ)料中被修飾詞語(yǔ)及其對(duì)應(yīng)的修飾性詞語(yǔ)進(jìn)行合并；

基于詞語(yǔ)合并后的訓(xùn)練語(yǔ)料，從中提取設(shè)定句法結(jié)構(gòu)信息，作為訓(xùn)練語(yǔ)料的語(yǔ)義單元。

優(yōu)選地，在所述從所述句法結(jié)構(gòu)樹中提取設(shè)定句法結(jié)構(gòu)信息之前，該方法還包括：

對(duì)所述訓(xùn)練語(yǔ)料進(jìn)行詞性標(biāo)注，并基于標(biāo)注的詞性過(guò)濾掉虛詞。