[發明專利]神經網絡機器翻譯訓練方法、系統、介質、設備及應用在審
| 申請號： | 202110374901.7 | 申請日： | 2021-04-08 |
| 公開（公告）號： | CN112966529A | 公開（公告）日： | 2021-06-15 |
| 發明（設計）人： | 貝超;程國艮 | 申請（專利權）人： | 中譯語通科技股份有限公司 |
| 主分類號： | G06F40/58 | 分類號： | G06F40/58;G06F40/44 |
| 代理公司： | 北京萬貝專利代理事務所(特殊普通合伙) 11520 | 代理人： | 馬紅 |
| 地址： | 100131 北京市石景山區*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 神經網絡 機器翻譯 訓練 方法 系統 介質 設備 應用 | ||
1.一種神經網絡機器翻譯訓練方法，其特征在于，所述神經網絡機器翻譯訓練方法包括：
訓練基于變壓器的雙向編碼器BERT的mBART模型；
使用雙語語料，基于已經訓練好的mBART模型進行增量訓練；
使用訓練得到的模型翻譯單語，并構建偽平行數據；
使用偽平行數據和雙語語料，基于mBART模型繼續進行增量訓練；
重復使用雙語語料，基于已經訓練好的mBART模型進行增量訓練、使用訓練得到的模型翻譯單語，并構建偽平行數據、使用偽平行數據和雙語語料，基于mBART模型繼續進行增量訓練，直到沒有提升為止；
使用最新的偽平行數據和雙語語料，從零開始訓練并構建一個transformer結構的模型；
使用構建得到的模型，翻譯單語，構建新的偽平行數據；
使用偽平行數據和雙語語料，從零開始再次訓練一個 transformer 結構的模型；
重復使用最新的偽平行數據和雙語語料，從零開始訓練一個transformer結構的模型、使用構建得到的模型，翻譯單語，構建新的偽平行數據、使用偽平行數據和雙語語料，從零開始再次訓練一個 transformer 結構的模型，直到沒有提升為止；
根據最新的偽平行數據和雙語語料，利用零命中技術，訓練直接到中文的模型；
翻譯時，在原文前加入--to-zh--標簽，直接翻譯至中文。
2.如權利要求1所述的神經網絡機器翻譯訓練方法，其特征在于，所述訓練基于變壓器的雙向編碼器BERT的mBART模型，包括：
（1）在基于變壓器的雙向編碼器BERT的基礎上，添加自回歸的解碼器；
（2）使用多個語種訓練，即可得到最后的mBART模型。
3.如權利要求2所述的神經網絡機器翻譯訓練方法，其特征在于，添加自回歸的解碼器的雙向編碼器BERT輸入多語種的單語，在每個輸入加入語種的識別標識。
4.如權利要求3所述的神經網絡機器翻譯訓練方法，其特征在于，所述輸入多語種的單語的處理包括詞屏蔽、詞刪除、句子置換、文檔置換和文本填充。
5.如權利要求3所述的神經網絡機器翻譯訓練方法，其特征在于，詞表是基于單語構建得到的。
6.如權利要求1所述的神經網絡機器翻譯訓練方法，其特征在于，在從零開始訓練一個transformer結構的模型前，在原文的句子前加入翻譯至何種類型語種的標簽；混合小語種的偽平行數據和雙語語料進行transformer模型訓練，得到中文的模型。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中譯語通科技股份有限公司，未經中譯語通科技股份有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110374901.7/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：一種強滲型注油保夾
- 下一篇：墻板對接組件及裝配式墻面系統
