[發明專利]一種神經網絡蒙漢機器翻譯方法

有效

• 申請號: 201711066025.1
• 申請日: 2017-11-02
• 公開（公告）號: CN107967262B
• 公開（公告）日: 2018-10-30
• 發明（設計）人: 蘇依拉;烏尼爾;劉婉婉;牛向華;趙亞平;王宇飛;張振;孫曉騫;高芬
• 申請（專利權）人: 內蒙古工業大學
• 主分類號: G06F17/28
• 分類號: G06F17/28
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 段俊濤

1.一種神經網絡蒙漢機器翻譯方法，首先對大規模蒙漢雙語語料做規范化處理，在此基礎上構建出雙語字典；然后進行建模，最終基于所搭建模型，實現機器翻譯；所述建模包括編碼器建模、解碼器建模以及蒙漢雙語詞對齊所需的注意力層的建模，從而針對蒙古語特定詞性的詞語進行相應處理，以達到最好的翻譯效果和最小的語義困惑度，其特征在于，所述基于所搭建模型，實現機器翻譯的步驟包括編碼環節和解碼環節，所述編碼環節，將蒙古語進行向量化處理并確定維度；所述解碼環節分為注意力層部分和解碼部分，其中注意力層部分為對齊概率計算模型和對齊位置預測模型；通過對齊概率計算模型計算出蒙漢雙語在句子對齊的基礎上，詞語之間對齊的概率，而對齊位置預測模型能夠將每個詞出現的位置信息進行相應的預測；所述解碼部分又分為遍歷隱藏層節點和輸出兩部分，通過遍歷隱藏層節點來對當前時刻的向量信息進行檢索，判定是否符合語義要求，若符合語義要求則將符合要求的向量信息傳送給輸出函數，通過歸一化操作將輸出向量解碼為譯文進行輸出，且輸出函數符合最優值。

2.根據權利要求1所述神經網絡蒙漢機器翻譯方法，其特征在于，所述編碼器共有三種，分別為單詞編碼器、字素編碼器和短語編碼器；

單詞編碼器用于源端語言的向量化，將每個單詞表示成向量形式，最終構建以單詞向量為基礎的句向量，其模型公式為：

h_t＝φ(h_t-1,Cw_t)

其中，h_t為t時刻編碼器神經網絡隱藏層狀態，h_t-1為t-1時刻編碼器神經網絡隱藏層狀態，φ為神經網絡激活函數，C為映射矩陣，w_t為蒙古語詞的向量，通過編碼終止符EOS來確定編碼的完成，當t為0時刻，h₀就是一個全零的向量，當編碼結束時，神經網絡中即包含所有蒙古語語言信息；

字素編碼器用于緩解源語料和帶翻譯語料中出現的錯誤詞語，以構詞字素為基本單元來遍歷檢索和編碼源語言句子，當出現錯誤單詞時將單詞中錯誤的字素替換為正確字素從而達到改錯目的，其模型公式為：

h_tc＝ψ(h_(t-1)c,C_cw_tc)

其中，h_tc為t時刻字素編碼器的網絡隱藏層狀態，h_(t-1)c為t-1時刻字素編碼器的網絡隱藏層狀態，ψ為激活函數，C_c為字素的映射矩陣，w_tc為蒙古語構詞字素的向量表示；

短語編碼器用于將源語言句子中成組出現的短語作為編碼器的基本單元進行編碼，通過對源語言句子的短語劃分來構建基于字典的短語庫，進而構建短語編碼器，其模型公式為：

h_tp＝γ(h_(t-1)p,C_pw_tp)

其中，h_tp為t時刻短語編碼器的網絡隱藏層狀態，h_(t-1)p為t-1時刻短語編碼器的網絡隱藏層狀態，γ為神經網絡隱藏層節點激活函數，C_p為短語映射矩陣，w_tp為蒙古語句子包含短語的向量表示；

通過一個融合函數將三種編碼器中編碼信息進行融合，融合函數中的融合因子為三種編碼器在編碼條件下對應的激活函數，通過加權得到，如下式所示：

Γ(h_t,h_tc,h_tp)＝α₁h_t+α₂h_tc+α₃h_tp

混合編碼器的模型公式為：

h_h＝Γ(h_t,h_tc,h_tp)

其中，Γ為融合函數，包含三種激活函數集合，α₁,α₂,α₃表示三種編碼器通過隨機初始化的對應權重，通過加入三種編碼狀態整合成為包含字素、單詞、短語三類向量信息的編碼器。