[發(fā)明專利]基于樞軸的漢越聯(lián)合訓(xùn)練神經(jīng)機(jī)器翻譯方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011020199.6
• 申請(qǐng)日: 2020-09-25
• 公開（公告）號(hào): CN112257460B
• 公開（公告）日: 2022-06-21
• 發(fā)明（設(shè)計(jì)）人: 高盛祥;張磊;余正濤;王振晗;朱俊國;劉暢
• 申請(qǐng)（專利權(quán)）人: 昆明理工大學(xué)
• 主分類號(hào): G06F40/58
• 分類號(hào): G06F40/58;G06F40/44;G06F40/295;G06F40/284;G06F40/205;G06F16/951
• 代理公司: 昆明人從眾知識(shí)產(chǎn)權(quán)代理有限公司 53204
• 代理人: 何嬌

本發(fā)明涉及基于樞軸的漢越聯(lián)合訓(xùn)練神經(jīng)機(jī)器翻譯方法，屬于自然語言處理技術(shù)領(lǐng)域。本發(fā)明包括步驟：所述方法首先利用漢越平行語料訓(xùn)練翻譯模型得到漢語和越南語的詞向量表征；其次以英語作為樞軸語言對(duì)漢語?英語，英語?越南語翻譯模型進(jìn)行聯(lián)合訓(xùn)練，再將漢語?英語、英語?越南語翻譯模型的漢語、越南語的向量表示與漢越模型得到的漢語、越南語的向量表示計(jì)算優(yōu)化從而進(jìn)行漢越聯(lián)合訓(xùn)練。本發(fā)明將漢越平行語料與漢英，英越平行語料結(jié)合起來進(jìn)行聯(lián)合訓(xùn)練，充分利用了英語樞軸語料提升了漢越機(jī)器翻譯性能，從而解決了漢越平行語料缺失導(dǎo)致翻譯模型性能不佳的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及基于樞軸的漢越聯(lián)合訓(xùn)練神經(jīng)機(jī)器翻譯方法，屬于自然語言處理技術(shù)領(lǐng)域。

背景技術(shù)

機(jī)器翻譯是用來進(jìn)行大規(guī)模語言翻譯的有效工具近年來，中國與越南的交流與合作越來越密切，而機(jī)器翻譯是跨語言信息交流較為有效的方式，因此研究漢越機(jī)器翻譯有著非常重要的應(yīng)用價(jià)值。

神經(jīng)機(jī)器翻譯是2014年提出的一種機(jī)器翻譯方法，目前主流的神經(jīng)機(jī)器翻譯模型都采用編碼器-解碼器的架構(gòu)。神經(jīng)機(jī)器翻譯在擁有大規(guī)模平行語料的語言對(duì)上已經(jīng)取得了良好的翻譯性能，但在低資源的場(chǎng)景下，神經(jīng)機(jī)器翻譯的翻譯質(zhì)量低于統(tǒng)計(jì)機(jī)器翻譯。所以在漢越這種低資源語言對(duì)上，它受到漢越平行語料庫的規(guī)模與質(zhì)量的影響，導(dǎo)致漢越機(jī)器翻譯性能不佳。

為了緩解漢越機(jī)器翻譯面臨的資源稀缺問題，目前解決思路側(cè)重于利用樞軸語言來改善低資源機(jī)器翻譯的性能。其主要方法分成以下三類：第一類是將源語言數(shù)據(jù)通過樞軸語言的加入，間接地通過兩步翻譯生成源語言-目標(biāo)語言的平行語料能；第二類是通過樞軸語言間接的訓(xùn)練源語言-目標(biāo)語言的機(jī)器翻譯模型。為減小利用樞軸語言翻譯過程中的翻譯誤差提出了利用源-樞軸語言和樞軸-目標(biāo)語言的平行語料的三種預(yù)訓(xùn)練方法從而，提升了低資源的神經(jīng)機(jī)器翻譯性能；第三類是使用樞軸語料進(jìn)行聯(lián)合訓(xùn)練。

以上方法訓(xùn)練所得到的神經(jīng)機(jī)器翻譯模型均能提升低資源下的機(jī)器翻譯任務(wù)性能，但是采用樞軸語言進(jìn)行機(jī)器翻譯訓(xùn)練過程中，源語言-樞軸語言，樞軸語言-目標(biāo)語言的模型訓(xùn)練過程中會(huì)因?yàn)槎嗾Z言輸入而產(chǎn)生噪聲。漢越神經(jīng)機(jī)器翻譯是一種典型的低資源場(chǎng)景下的神經(jīng)機(jī)器翻譯，其訓(xùn)練語料稀缺，但是卻存在大量漢英，英越平行語料，所以漢越神經(jīng)機(jī)器翻譯適用于樞軸的方法。為了提升漢越神經(jīng)機(jī)器翻譯性能并且利用到小規(guī)模的漢越平行語料，我們提出了基于樞軸的漢越聯(lián)合訓(xùn)練神經(jīng)機(jī)器翻譯，其基本思想是，先使用小規(guī)模的漢越平行語料訓(xùn)練神經(jīng)機(jī)器翻譯模型來得到漢越詞語在語義空間上的表示信息,再將其與英語作為樞軸語言的漢語-英語，英語-越南語翻譯模型進(jìn)行聯(lián)合訓(xùn)練。在聯(lián)合訓(xùn)練中漢語-英語，英語-越南語翻譯模型的漢語，越南語的向量表示與漢越模型得到的漢語，越南語的向量表示計(jì)算優(yōu)化，提升低資源場(chǎng)景下漢越機(jī)器翻譯的效果。

發(fā)明內(nèi)容

本發(fā)明提供了基于樞軸的漢越聯(lián)合訓(xùn)練神經(jīng)機(jī)器翻譯方法，以用于解決明在低資源的場(chǎng)景下神經(jīng)機(jī)器翻譯的翻譯質(zhì)量低于統(tǒng)計(jì)機(jī)器翻譯問題；解決了在漢越這種低資源語言對(duì)上，受到漢越平行語料庫的規(guī)模與質(zhì)量的影響，導(dǎo)致漢越機(jī)器翻譯性能不佳的問題。

本發(fā)明的技術(shù)方案是：基于樞軸的漢越聯(lián)合訓(xùn)練神經(jīng)機(jī)器翻譯方法，所述方法首先利用漢越平行語料訓(xùn)練翻譯模型得到漢語和越南語的詞向量表征；其次以英語作為樞軸語言對(duì)漢語-英語，英語-越南語翻譯模型進(jìn)行聯(lián)合訓(xùn)練，再將漢語-英語、英語-越南語翻譯模型的漢語、越南語的向量表示與漢越模型得到的漢語、越南語的向量表示計(jì)算優(yōu)化從而進(jìn)行漢越聯(lián)合訓(xùn)練。

作為本發(fā)明的優(yōu)選方案，所述方法的具體步驟如下：

Step1、獲取漢、英、越單語語料，再經(jīng)過過濾、去噪音、去除停用詞、命名實(shí)體識(shí)別和標(biāo)注、分詞預(yù)處理后，分別構(gòu)建漢英平行語料、英越平行語料和漢越平行語料；

Step2、基于樞軸的神經(jīng)機(jī)器翻譯，融入注意力機(jī)制的神經(jīng)機(jī)器翻譯先將源語言句子編碼為向量序列，然后在解碼生成目標(biāo)語言；利用存在的源語言-樞軸語言和樞軸語言-目標(biāo)語言的平行語料庫，分別訓(xùn)練源語言到樞軸語言和樞軸語言到目標(biāo)語言的翻譯模型；