[發明專利]一種對基于神經網絡的機器翻譯模型的更新方法及裝置

有效

• 申請號: 201811317764.8
• 申請日: 2018-11-07
• 公開（公告）號: CN111160036B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 唐海慶;童超;梁俊
• 申請（專利權）人: 中移（蘇州）軟件技術有限公司;中國移動通信集團有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/58
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郭潤湘

本申請公開一種對基于神經網絡的機器翻譯模型的更新方法及裝置，包括：針對獲取的每個雙語平行句對，利用編碼端神經網絡對該句對中的源端句子進行編碼，得到源端句子的隱層狀態序列；將源端句子的隱層狀態序列輸入解碼端神經網絡，利用解碼端神經網絡解碼生成源端句子的譯文句子，其中，在需要解碼生成譯文句子中的第j個詞語時，確定第j個詞語與源端句子中每個詞語的對齊概率，所述對齊概率是根據當前源端句子中每個詞語的輔助向量確定的，進而確定對齊概率最大的詞語為源端句子中與譯文句子中第j個詞語對齊的詞語，對其進行解碼得到譯文句子中的第j個詞語，之后更新解碼端神經網絡的參數矩陣，使生成的譯文句子逼近該句對中的目標端句子。

技術領域

本申請涉及機器翻譯技術領域，尤其涉及一種對基于神經網絡的機器翻譯模型的更新方法及裝置。

背景技術

目前，神經網絡和深度學習技術的應用很好地提升了機器翻譯的效果，但當前使用的機器翻譯模型依然存在著很多不足，一是漏翻譯，二是過翻譯。

比如，現有技術中，在建立基于注意力機制的神經網絡機器翻譯模型時，對給定的每個詞對齊的雙語平行句對，編碼器先對該句對中的每個詞語進行編碼，得到用于表征該詞語中間語義的隱層狀態向量，然后拼接各詞語的隱層狀態向量，得到用于表征源端句子中間語義的隱層狀態序列，之后，將源端句子的隱層狀態序列輸入到解碼器中，利用解碼器解碼生成源端句子的譯文句子，其中，在解碼生成譯文句子中的每個目標詞語時，注意力模型可以根據解碼器在解碼生成前一個詞語時的隱層狀態向量和源端句子的隱層狀態序列，確定目標詞語與源端句子中每個詞語的對齊概率，解碼器再根據前一個詞語的詞向量、源端句子的隱層狀態序列、以及目標詞語與源端句子中每個詞語的對齊概率，確定解碼生成目標詞語時的隱層狀態向量，進而根據解碼生成目標詞語時的隱層狀態向量和源端句子中與目標詞語對齊概率最大的詞語，來解碼生成目標詞語，最后，更新解碼器的參數矩陣，使解碼器解碼生成的譯文句子逼近雙語平行句對中的目標端句子。

在上述解碼過程中，解碼目標詞語的注意力與解碼在此之前詞語的注意力是獨立的，即，解碼目標詞語時未能從之前的解碼過程中獲取詞語對齊相關信息，這樣，為目標詞語確定的與源端句子中每個詞語的對齊概率不夠準確，因此，利用上述翻譯模型翻譯文本時就容易存在過翻譯和漏翻譯的問題。

發明內容

本申請實施例提供一種對基于神經網絡的機器翻譯模型的更新方法及裝置，用以解決現有技術中機器翻譯模型存在的過翻譯和漏翻譯的問題。

第一方面，本申請實施例提供的一種對基于神經網絡的機器翻譯模型的更新方法，包括：

獲取多個詞對齊的雙語平行句對，每個雙語平行句對包含源端句子到目標端句子的對照譯文；

針對每個雙語平行句對，利用編碼端神經網絡對該句對中源端句子中的每個詞語進行編碼，得到用于表征該詞語中間語義的隱層狀態向量，拼接各詞語的隱層狀態向量得到用于表征所述源端句子中間語義的隱層狀態序列；

將所述源端句子的隱層狀態序列輸入到解碼端神經網絡中，利用所述解碼端神經網絡解碼生成所述源端句子的譯文句子，其中，當需要解碼生成所述譯文句子中的第j個詞語時，確定所述譯文句子中第j個詞語與所述源端句子中每個詞語的對齊概率，所述對齊概率是根據在解碼生成所述譯文句子中第j個詞語時所述源端句子中每個詞語的輔助向量確定的，所述源端句子中每個詞語的輔助向量用于記錄該詞語的解碼情況，確定對齊概率最大的詞語為所述源端句子中與所述譯文句子中第j個詞語對齊的詞語，對所述詞語進行解碼得到所述譯文句子中的第j個詞語；

更新所述解碼端神經網絡的參數矩陣，使所述解碼端神經網絡解碼生成的所述譯文句子逼近所述雙語平行句對中的目標端句子。