[發明專利]一種基于詞預測的神經機器翻譯方法

在審

• 申請號: 201710812778.6
• 申請日: 2017-09-11
• 公開（公告）號: CN107391501A
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 黃書劍;翁榮祥;戴新宇;陳家駿;張建兵
• 申請（專利權）人: 南京大學
• 主分類號: G06F17/28
• 分類號: G06F17/28;G06F17/27;G06N3/04
• 代理公司: 江蘇圣典律師事務所32237
• 代理人: 胡建華,于瀚文

技術領域

本發明涉及一種基于詞預測的神經機器翻譯方法。

背景技術

神經機器翻譯，近幾年來發展十分迅速，取得了很大的進步，已成為機器翻譯領域中的研究熱點。

雖然神經機器翻譯已經有了長足的進步，但目前的機器翻譯的實用性和可用性還并不非常高，對于復雜的源語言句子的翻譯結果不理想，尤其是不同語系之間的機器翻譯的質量更是急需提高。而對于大型在線機器翻譯系統，翻譯效率至關重要。基于神經網絡的結構意味著相比于傳統的機器翻譯系統需要消耗更大的計算資源，相對而言翻譯效率則會降低。如何通過充分利用句子中已有的信息來提高翻譯質量和翻譯效率已成為一個重要問題。

神經機器翻譯系統中，一種非常普遍的方法是基于循環神經網絡的端到端神經機器翻譯系統，其工作過程如下：輸入待翻譯的源端句子的詞向量序列x，即x＝(x₁,x₂,…,x_n)。隨之使用有一個循環神經網絡構成的編碼器將其編碼為n個隱層狀態h₁,h₂,…,h_n，接著使用解碼器加上注意力機制進行解碼。首先生成目標端的隱層狀態，設有m個，即目標端隱層狀態為s₁,s₂,…,s_m。進而通過m個目標端的隱層狀態生成目標語言句子y＝(y₁,y₂,…,y_m)。目前神經機器翻譯系統中，由于只是端到端對句子整體進行序列化建模，而對于具體詞匯信息無法充分的利用，從而導致句子中某些詞匯翻譯不準確，進而可能到導致整句句子翻譯錯誤的弱點，

發明內容

發明目的：本發明針對現有技術的不足，并且為了提高翻譯系統的翻譯效率，使得大型在線機器翻譯系統能夠快速的對用戶的翻譯請求進行響應，提出了一種基于詞預測的神經機器翻譯方法，可以提高神經機器翻譯系統翻譯質量和翻譯效率。

本發明包括如下步驟：

步驟1，構建基于注意力機制的端到端神經機器翻譯系統模型框架，并在編碼端與解碼端分別加入詞預測的模塊，之后使用大規模平行語料進行訓練；

步驟2，在翻譯過程中，對于待翻譯的句子，通過編碼端詞預測機制獲取相應縮小的詞表，然后進行翻譯。

其中，步驟1包括如下步驟：

步驟1-1，使用兩個循環神經網絡分別作為編碼端、解碼端，同時使用注意力機制搭建基礎的端到端神經機器翻譯系統；

步驟1-2，在基礎的系統中，分別在編碼端和目標端加入預測機制；

步驟1-3，使用預處理完的大規模平行語料對模型進行訓練。

步驟1-1包括：

步驟1-1-1，使用一個雙向循環神經網絡作為翻譯系統的編碼端，對于源端的句子(x₁,x₂,…,x_n)，進行編碼，其中x表示源端的一句句子，x_n為句子x中的第n個詞，句子的長度為n，從左到右的循環神經網絡計算方法為：

其中為門控循環單元(Gated Recurrent Unit，GRU)函數，σ(·)為非線性變換，⊙為矩陣元素的乘積；為從左到右的神經網絡模型的參數，x_i為句子中第i個詞，為從左到右的神經網絡的第i個隱層狀態；為模型計算過程中的中間變量。公式中右箭頭表示為從左到右神經網絡的參數以及變量。

從右到左的循環神經網絡編碼器計算方法如下：

其中為GRU函數，σ(·)為非線性變換，⊙為矩陣元素的乘積，tanh(·)為雙曲正切函數；為從右到左的神經網絡模型的參數，x_i為句子x中第i個詞，為從右到左的神經網絡的第i個隱層狀態；為模型計算過程中的中間變量。公式中左箭頭表示為從右到左神經網絡的參數以及變量；

最后將雙向循環神經網絡的對應輸出進行拼接：

其中，h_i為將第i個詞編碼成的從左到右的隱層狀態和從右到左的隱層狀態拼接而成的表示。最后得到一組編碼表示：(h₁,h₂,…,h_n)，h_n即第n個編碼表示，[；]表示向量的拼接；

步驟1-1-2，使用一個循環神經網絡作為翻譯系統的解碼端，對于目標端的句子，使用解碼器進行解碼：