[發明專利]機器翻譯模型的訓練方法、語言翻譯方法及設備

在審

• 申請號: 202110356556.4
• 申請日: 2021-04-01
• 公開（公告）號: CN113705251A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 涂兆鵬;劉洋;史樹明;王碩
• 申請（專利權）人: 騰訊科技（深圳）有限公司;清華大學
• 主分類號: G06F40/44
• 分類號: G06F40/44;G06F40/58
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;杜維

本申請實施例公開了一種機器翻譯模型的訓練方法、語言翻譯方法及設備，涉及自然語言處理的機器翻譯領域。該方法包括：對第一雙語平行數據庫中的數據進行劃分，劃分為源自源語言數據和源自目標語言數據，通過源自源語言數據對初始機器翻譯模型進行微調，得到微調后的機器翻譯模型，應用該微調后的機器翻譯模型進行翻譯任務，能夠消除由于不同語言的數據之間存在的語言覆蓋偏差對機器翻譯模型的影響，從而提高通過該方法訓練得到的機器翻譯模型的性能，應用該模型可以得到譯文質量和忠實度較高的譯文。

技術領域

本發明涉及人工智能的自然語言處理領域，尤其涉及一種機器翻譯模型的訓練方法、語言翻譯方法及設備。

背景技術

神經機器翻譯近年來迅速崛起。相比統計機器翻譯而言，神經機器翻譯從模型上來說相對簡單，它主要包含兩個部分，一個是編碼器，一個是解碼器。編碼器是把源語言經過一系列的神經網絡的變換之后，表示成一個高維的向量。解碼器負責把這個高維向量再重新解碼(翻譯)成目標語言。

神經機器翻譯模型的訓練離不開大規模、高質量的雙語平行數據。雙語平行數據通常是請人工譯員進行翻譯所得到的，構建大規模雙語平行數據需要耗費巨大的人力資源和時間成本。

然而，雙語平行數據中源自不同語言的所覆蓋的內容有明顯的差異，將該差異稱作語言覆蓋偏差。通過神經機器翻譯模型翻譯得到的譯文的忠實度與語言覆蓋偏差密切相關。因此，雙語平行數據中語言覆蓋偏差的存在，將會影響通過雙語平行數據訓練得到的神經機器翻譯模型的性能。

發明內容

本申請實施例提供一種機器翻譯模型的訓練方法、語言翻譯方法及設備，應用該機器翻譯模型的訓練方法可以消除由于雙語平行數據庫中源自不同語言的雙語平行性句對之間存在的語言覆蓋偏差對機器翻譯模型產生的影響，從而提升應用該方法訓練得到的機器翻譯模型的性能。

第一方面，本申請實施例提供了一種機器翻譯模型的訓練方法，包括：獲取雙語平行數據庫，所述雙語平行數據庫包括多組雙語平行句對，所述雙語平行句對為由源語言數據和目標語言數據構成的內容對齊的數據，所述雙語平行數據庫包括第一雙語平行數據庫；

將所述第一雙語平行數據庫中的多組雙語平行句對劃分為源自源語言數據和源自目標語言數據，其中，屬于所述源自源語言數據的雙語平行句對中的目標語言數據是基于源語言數據翻譯得到的，屬于所述源自目標語言數據的雙語平行句對中的源語言數據是基于目標語言數據翻譯得到的；

通過所述源自源語言數據訓練第一機器翻譯模型，所述第一機器翻譯模型用于將源語言翻譯為目標語言。

其中，所述將所述第一雙語平行數據庫中的多個雙語平行句對劃分為源自源語言數據和源自目標語言數據，包括：

從所述第一雙語平行數據庫中獲取待處理平行句對；

根據待處理平行句對覆蓋的內容，確定待處理平行句對的數據類型，所述數據類型包括所述源自源語言數據和所述源自目標語言數據。

其中，所述根據待處理平行句對覆蓋的內容，確定待處理平行句對的數據類型，包括：

根據所述待處理平行句對中的源語言數據確定所述待處理平行句對中的源語言數據來源于源語言的第一概率；

根據所述待處理平行句對中的目標語言數據的內容確定所述待處理平行句對中的目標語言數據來源于目標語言的第二概率；

根據所述第一概率和所述第二概率之間的偏差確定所述待處理平行句對的數據類型。

其中，所述根據所述第一概率和所述第二概率之間的偏差確定所述待處理平行句對的數據類型，具體包括：

根據所述第一概率和所述第二概率之間的偏差確定所述待處理平行句對的評分，所述評分用于確定所述待處理平行句對的數據類型；