[發明專利]基于指針生成網絡實現占位符消歧的蒙漢機器翻譯方法

有效

• 申請號: 202011393623.1
• 申請日: 2020-12-03
• 公開（公告）號: CN112395892B
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 蘇依拉;程永坤;崔少東;張妍彤;仁慶道爾吉;石寶
• 申請（專利權）人: 內蒙古工業大學
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06N3/04;G06N3/08
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 段俊濤

一種基于指針生成網絡實現占位符消歧的蒙漢機器翻譯方法，基于編碼器?解碼器架構，其特征在于，還包括輔助網絡和骨干網絡，所述輔助網絡為每個輸入源詞匯位置生成一個二進制門，動態地選擇要關注的詞匯，所述骨干網絡為帶有門控機制的注意力的指針生成網絡；編碼階段，經編碼器的詞嵌入層，將源文編碼成一個隱藏層狀態，再由所述門控機制決定來自當前狀態的信息是流入還是被占位符替換；解碼階段，利用指針生成網絡復制源文能力和生成新詞匯能力，搭配占位符上下文語境進行消歧，給出符合上下文語義的精準詞義，在最后數據輸出前，利用附加模塊進行語言學檢查，檢測到可能翻譯異常的情況做出標注，通過調整相關參數以達到最好的翻譯效果。

技術領域

本發明屬于機器翻譯技術領域，特別涉及一種基于指針生成網絡實現占位符消歧的蒙漢機器翻譯方法。

背景技術

隨著全球各個地區經濟的快速發展，不同語種之間的交流越來越受到重視，機器翻譯順應而生。近代互聯網的發展，更是帶動著機器翻譯研究的熱潮，但目前的機器翻譯還未能達到人工翻譯的效果。

歷經基于規則的翻譯，統計機器翻譯，神經網絡機器翻譯三大階段，翻譯效果越來越顯著，但一直存在的問題未能得到真正的解決，一詞多義，語法問題等，因此針對提高機器翻譯仍有很長的路要走。

蒙古文的單詞由詞根+詞綴的方式組合，這就出現了現今利用字符或者子詞級模型，期望利用更小粒度來進行翻譯，這在一定程度上緩解了未登錄詞現象，Transformer模型中使用了Masked Multi-Head Attention進行解碼，通過對未解碼信息Mask掉，一定程度上解決了一詞多義的問題。

目前，機器翻譯中利用word2vec產生的詞表示是靜態的，不考慮上下文的，因此需要的不僅僅是一個詞到向量的單射，而應該學習一個考慮上下文的函數(模型)。

隨著Transformer模型的出現，也隨之出現了BERT，相比以前的word2vec為代表的詞嵌入方法，BERT模型進一步增加詞向量模型泛化能力，充分描述字符級、詞級、句子級甚至句間關系特征，一定程度上能建模一詞多義現象，但它需要大量的數據集，針對蒙漢翻譯這種語料集少的語言，具有很大的影響。

發明內容

為了克服上述現有技術的缺點，本發明的目的在于提供一種基于指針生成網絡實現占位符消歧的蒙漢機器翻譯方法，在翻譯過程涉及到輔助網絡和帶注意力機制的網絡，配合指針生成網絡，實現了占位符消歧，對翻譯結果用語言學檢測來得到接近人工翻譯的蒙漢效果。

為了實現上述目的，本發明采用的技術方案是：

一種基于指針生成網絡實現占位符消歧的蒙漢機器翻譯方法，基于編碼器-解碼器架構，其特征在于，還包括輔助網絡和骨干網絡，所述輔助網絡為每個輸入源詞匯位置生成一個二進制門，動態地選擇要關注的詞匯，所述骨干網絡為帶有門控機制K的注意力的指針生成網絡；編碼階段，經編碼器的詞嵌入層，將源文編碼成一個隱藏層狀態，再由所述門控機制K決定來自當前狀態的信息是流入還是被占位符替換，其中K＝{k⁽¹⁾，k⁽²⁾，…，k⁽ⁱ⁾，…k^(T)}，T為二進制門的數量，k⁽ⁱ⁾表示第i個二進制門，k⁽ⁱ⁾取值為1或0，k⁽ⁱ⁾＝1時當前信息流入，k⁽ⁱ⁾＝0則被占位符替換；解碼階段，利用指針生成網絡復制源文能力和生成新詞匯能力，搭配占位符上下文語境進行消歧，給出符合上下文語義的精準詞義。

與現有技術相比，本發明的有益效果是：首先借助輔助網絡動態地選擇需要注意的詞匯，通過附加門的取值決定占位符的替換；其次，借助指針生成網絡生成式能力解碼出新詞匯；最后，對輸出進行語言學檢測，來捕獲和備注異常，比起傳統翻譯，利用占位符更加精準多義詞的詞義或新詞替代，并由“語言學檢測”來檢測完善，譯出高標準結果。

附圖說明