[發(fā)明專利]篇章翻譯網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010432277.7
• 申請(qǐng)日: 2020-05-20
• 公開（公告）號(hào): CN111767742B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計(jì)）人: 陳巍華
• 申請(qǐng)（專利權(quán)）人: 云知聲智能科技股份有限公司;廈門云知芯智能科技有限公司
• 主分類號(hào): G06F40/42
• 分類號(hào): G06F40/42;G06F40/58
• 代理公司: 北京冠和權(quán)律師事務(wù)所 11399
• 代理人: 安琪

本發(fā)明提供了篇章翻譯網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法，該篇章翻譯網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法利用NLU領(lǐng)域生成網(wǎng)絡(luò)生成相應(yīng)的篇章翻譯數(shù)據(jù)，其能夠豐富篇章數(shù)據(jù)的數(shù)據(jù)量和提高篇章數(shù)據(jù)的質(zhì)量，以此改善篇章翻譯網(wǎng)絡(luò)的翻譯效果；此外，該數(shù)據(jù)增強(qiáng)方法還通過篇章翻譯網(wǎng)絡(luò)這一上下文關(guān)聯(lián)功能模塊，將上下文信息有效地和精準(zhǔn)地引入到翻譯過程中，從而最大限度地提高翻譯結(jié)果的忠實(shí)度和準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明涉及篇章數(shù)據(jù)處理的技術(shù)領(lǐng)域，特別涉及篇章翻譯網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法。

背景技術(shù)

人工智能技術(shù)已經(jīng)廣泛應(yīng)用于不同工作場合中，其特別對(duì)語言翻譯場合具有重要的影響。目前，在人工智能翻譯任務(wù)實(shí)現(xiàn)中，常用的翻譯模式是通過句級(jí)別的雙語語料來訓(xùn)練翻譯網(wǎng)絡(luò)模型，但是在實(shí)際操作過程中，由于缺乏上下文關(guān)聯(lián)信息，容易出現(xiàn)翻譯結(jié)果忠實(shí)度和準(zhǔn)確度低下的情況。雖然，從網(wǎng)絡(luò)爬取能得到篇章翻譯的數(shù)據(jù)，但是若篇章翻譯數(shù)據(jù)的數(shù)據(jù)量不足夠，而且無法保證與句級(jí)別雙語語料同源，這會(huì)使得就算有篇章數(shù)據(jù)，也無法提升翻譯效果，即篇章數(shù)據(jù)的質(zhì)量會(huì)直接影響翻譯效果?？梢?，篇章數(shù)據(jù)的質(zhì)量對(duì)應(yīng)翻譯結(jié)果的忠實(shí)度和準(zhǔn)確度具有至關(guān)重要的作用。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)存在的缺陷，本發(fā)明提供篇章翻譯網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法，該篇章翻譯網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法包括根據(jù)關(guān)于源語言的源語料S1和目標(biāo)語料S2對(duì)關(guān)于NLU領(lǐng)域的生成網(wǎng)絡(luò)和訓(xùn)練篇章網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以此生成相應(yīng)的源生成網(wǎng)絡(luò)模型M1、目標(biāo)生成網(wǎng)絡(luò)模型M2和初級(jí)篇章翻譯網(wǎng)絡(luò)模型M4，再通過該源生成網(wǎng)絡(luò)模型M1和該目標(biāo)生成網(wǎng)絡(luò)模型M2將該源語料S1和該目標(biāo)語料S2轉(zhuǎn)換成源篇章數(shù)據(jù)C1和目標(biāo)篇章數(shù)據(jù)C2，最后基于該源篇章數(shù)據(jù)C1和該目標(biāo)篇章數(shù)據(jù)C2對(duì)該初級(jí)篇章翻譯網(wǎng)絡(luò)模型M4訓(xùn)練，以此生成期望篇章翻譯網(wǎng)絡(luò)模型M5；可見，該篇章翻譯網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法利用NLU領(lǐng)域生成網(wǎng)絡(luò)生成相應(yīng)的篇章翻譯數(shù)據(jù)，其能夠豐富篇章數(shù)據(jù)的數(shù)據(jù)量和提高篇章數(shù)據(jù)的質(zhì)量，以此改善篇章翻譯網(wǎng)絡(luò)的翻譯效果；此外，該數(shù)據(jù)增強(qiáng)方法還通過篇章翻譯網(wǎng)絡(luò)這一上下文關(guān)聯(lián)功能模塊，將上下文信息有效地和精準(zhǔn)地引入到翻譯過程中，從而最大限度地提高翻譯結(jié)果的忠實(shí)度和準(zhǔn)確度。

本發(fā)明提供篇章翻譯網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法，其特征在于，所述篇章翻譯網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法包括如下步驟：

步驟T1，根據(jù)關(guān)于源語言的源語料S1和目標(biāo)語料S2對(duì)預(yù)設(shè)生成網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以此對(duì)應(yīng)得到源生成網(wǎng)絡(luò)模型M1和目標(biāo)生成網(wǎng)絡(luò)模型M2；

步驟T2，通過所述源語料S1和所述目標(biāo)語料S2，使用2步法對(duì)篇章翻譯網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以此得到翻譯模型M3，再根據(jù)所述翻譯模型M3，生成初級(jí)篇章翻譯網(wǎng)絡(luò)模型M4；

步驟T3，通過所述源生成網(wǎng)絡(luò)模型M1和所述目標(biāo)生成網(wǎng)絡(luò)模型M2，分別將所述源語料S1和所述目標(biāo)語料S2轉(zhuǎn)換成源篇章數(shù)據(jù)C1和目標(biāo)篇章數(shù)據(jù)C2；

步驟T4，通過所述源篇章數(shù)據(jù)C1和所述目標(biāo)篇章數(shù)據(jù)C2，對(duì)所述初級(jí)篇章翻譯網(wǎng)絡(luò)模型M4進(jìn)行處理，以此生成期望篇章翻譯網(wǎng)絡(luò)模型M5；

進(jìn)一步，在所述步驟T1中，根據(jù)關(guān)于源語言的源語料S1和目標(biāo)語料S2對(duì)預(yù)設(shè)生成網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以此對(duì)應(yīng)得到源生成網(wǎng)絡(luò)模型M1和目標(biāo)生成網(wǎng)絡(luò)模型M2具體包括，

步驟T101，根據(jù)所述源語料S1，對(duì)關(guān)于NLU領(lǐng)域的生成網(wǎng)絡(luò)進(jìn)行第一單語訓(xùn)練；

步驟T102，根據(jù)所述目標(biāo)語料S2，對(duì)關(guān)于NLU領(lǐng)域的生成網(wǎng)絡(luò)進(jìn)行第二單語訓(xùn)練；

步驟T103，根據(jù)所述第一單語訓(xùn)練和所述第二單語訓(xùn)練的結(jié)果，以此得到所述源生成網(wǎng)絡(luò)模型M1和所述目標(biāo)生成網(wǎng)絡(luò)模型M2；

進(jìn)一步，在所述步驟T101中，根據(jù)所述源語料S1，對(duì)關(guān)于NLU領(lǐng)域的生成網(wǎng)絡(luò)進(jìn)行第一單語訓(xùn)練具體包括，

將所述源語料S1進(jìn)行單語形式摘選，以此獲得單語源語料，再根據(jù)所述單語源語料對(duì)關(guān)于GPT或者GPT-2的生成網(wǎng)絡(luò)進(jìn)行所述第一單語訓(xùn)練；

或者，