[發明專利]一種具有誤差修正功能的蒙漢神經機器翻譯方法

有效

• 申請號: 202011382870.1
• 申請日: 2020-12-01
• 公開（公告）號: CN112380882B
• 公開（公告）日: 2022-01-18
• 發明（設計）人: 蘇依拉;梁衍鋒;呂蘇艷;仁慶道爾吉;李雷孝;石寶
• 申請（專利權）人: 內蒙古工業大學
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/126
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 段俊濤

本發明一種具有誤差修正功能的蒙漢神經機器翻譯方法，基于編碼器?解碼器的NMT模型，并在解碼器中引入內容流?查詢流的雙流自注意力機制，其中：所述內容流用于構建先前標記的表示，以及，用于校正先前預測輸出；所述查詢流使用位置嵌入作為決定要預測的下一個輸出的位置的輸入，以及，用于根據修正后的上下文以正常的從左向右順序同時預測下一個輸出。本發明將XLNET中的雙流自注意力機制引入到NMT解碼器中，并且在內容流中加入誤差糾正，從而糾正翻譯過程中的錯誤，提高翻譯質量。

技術領域

本發明屬于機器學習技術領域，特別涉及一種具有誤差修正功能的蒙漢神經機器翻譯方法。

背景技術

神經機器翻譯(NMT)自首次被提及以來，已在機器翻譯領域取得了巨大成就，它全面優于統計機器翻譯(SMT)，快速成為在線翻譯系統的主流標配。

市面上的神經機器翻譯系統越來越多，國外的谷歌和國內的騰訊、阿里巴巴、百度、搜狗、科大訊飛等針對機器翻譯都進行了大量的研究，取得了顯著的研究成果，稀少資源語言和少數民族語言的機器翻譯任務也越來越受到重視。

蒙古語屬黏著語，主要使用者在蒙古國、中國蒙古族聚居區和俄羅斯聯邦西伯利亞聯邦管區。蒙古語有傳統蒙古文和西里爾蒙古文，我們所研究的蒙漢翻譯，特指的是傳統蒙古文到漢語的翻譯。蒙漢機器翻譯研究不僅可以促進民族文化傳播和多民族人民交流，而且有利于稀少資源和少數民族語言機器翻譯的研究。然而，由于人才匱乏，資源短缺等原因，蒙漢機器翻譯的性能質量還是比較落后。因此，如何提高漢蒙機器翻譯的性能是我們研究的難點與創新點。

隨著深度學習的發展，神經機器翻譯(NMT)取得了長足進步。目前流行的NMT模型采用了一種編碼-注意-解碼框架，解碼器根據先前的輸出以自回歸的方式生成目標輸出。

使用流程:首先，編碼器將源語言文本構建的詞向量轉變為有相關語義特征信息的低維稠密的中間向量表示，然后解碼器將中間向量進行解碼預測，轉換為目標語言。

如圖1所示編碼器-解碼器框架，是給定一個句子對{x，y}∈(X，Y)，NMT模型的目標是使對數似然估計P(y|x；θ)最大化。

所述翻譯解碼模型建模的公式為：

其中，x表示當前輸入端的源語言；

y為要翻譯的目標語言；

n是目標序列y的標記數。

y_t：表示第t位置的詞，y_t：表示t位置之前的詞。

Θ：表示需要優化的參數；

P代表源語言x通過模型生成目標語言y的概率。

盡管NMT模型很受歡迎，但它存在訓練和推理之間的差異以及由此產生的誤差傳播。在推理過程中，解碼器將先前生成的輸出作為輸入來預測下一個輸出，這與訓練中使用前一個語料庫中的真實詞對作為下一個預測的輸入不同。因此，前文預測的句詞，可能有錯誤，這將導致錯誤傳播并影響對下一個輸出的預測，進而將錯誤傳播到整個預測序列。

發明內容

為了克服上述現有技術的缺點，本發明的目的在于提供一種具有誤差修正功能的蒙漢神經機器翻譯方法，首先將XLNET中的雙流自注意力機制引入到NMT解碼器中，并且在內容流中加入誤差糾正，以此來糾正翻譯過程中的錯誤，提高翻譯質量。

為了實現上述目的，本發明采用的技術方案是：

一種具有誤差修正功能的蒙漢神經機器翻譯方法，基于編碼器-解碼器的NMT模型，并在解碼器中引入內容流-查詢流的雙流自注意力機制，其中：

所述內容流用于構建先前標記的表示，以及，用于校正先前預測輸出；