[發明專利]一種基于動態配置解碼的神經機器翻譯方法

有效

• 申請號: 201910095193.6
• 申請日: 2019-01-31
• 公開（公告）號: CN109933808B
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 王強;李炎洋
• 申請（專利權）人: 沈陽雅譯網絡技術有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/51;G06N3/04;G06N3/08
• 代理公司: 沈陽新科知識產權代理事務所(特殊普通合伙) 21117
• 代理人: 李曉光

本發明的一種基于動態配置解碼的神經機器翻譯方法，在Transformer模型的基礎上增加基于卷積神經網絡的決策模型，把編碼獲得的編碼信息作為輸入送入決策模型，決策模型對編碼信息進行卷積、池化和歸一化處理，輸出相應的解碼配置；根據解碼配置用已訓練好的解碼器進行解碼，對選取的解碼配置進行打分；根據打分結果采用增強學習的方法來改善決策模型，獲得訓練好的決策模型；采用訓練好的改進的自注意力機制的模型進行翻譯，輸出準確率較高的翻譯譯文。本發明使用的決策模型小，訓練代價低，其通過在已經訓練好的機器翻譯模型上以端到端的方式訓練得到，而無需重新訓練整個機器翻譯模型。

技術領域

本發明屬于機器翻譯技術領域，涉及一種基于動態配置解碼的神經機器翻譯方法。

背景技術

神經機器翻譯技術目前采用基于編碼器-解碼器框架的神經網絡來進行建模。首先，輸入的源語句使用網絡的編碼器來得到一個固定維度的向量，然后網絡的解碼器使用這個向量逐詞地生成對應的翻譯結果。這種方法已經在許多不同語種的互譯中達到了最佳翻譯性能。

在神經網絡的解碼器生成翻譯結果的時候，通常有許多參數來控制解碼器的行為。比如解碼器會產生多個可能的翻譯結果以及相應的分數。一般我們會挑選其中得分最高的翻譯結果，但是很多情況下網絡性能不夠好，我們需要利用長度比這個參數來對這些得分進行一些調整，以防止太短或者太長的翻譯結果被挑選到。一個使用長度比進行得分調整的示例如下：

正確答案：她 有 許多 漂亮的 衣服

翻譯結果1：她 有 許多 漂亮的 衣服

結果1得分：-0.1 -0.2 -0.15 -0.13 -0.1

翻譯結果2：有 許多 衣服

結果2得分：-0.12 -0.15 -0.1

對于翻譯結果1來說，它的總得分是(-0.1+-0.2+-0.15+-0.13+-0.1)/5＝-0.68/5＝-0.136，其中5是翻譯結果1的長度，而翻譯結果2的總得分是(-0.12+-0.15+-0.1)/3＝-0.37/3＝-0.123。因為翻譯結果2的得分比翻譯結果1高，解碼器會挑選翻譯結果2作為最終的輸出。顯然，翻譯結果1更接近正確答案，而翻譯結果2相比起來太短了。長度比這個參數則在總得分的基礎上把翻譯結果的長度考慮進去。在長度比等于1.5的情況下，翻譯結果1的得分現在是-0.68/5^1.5＝-0.06，其中分母5是翻譯結果1的長度，即詞數。相應的翻譯結果2的得分變為-0.37/3^1.5＝-0.07。在這個得分的基礎上挑選，解碼器將會選擇翻譯結果1作為最終的輸出。

除了長度比以外，解碼器還有許多其他的參數來控制其不同的行為，比如束大小控制了解碼器搜索的范圍，解碼長度限制了最終翻譯結果的詞數，等等。在實際應用中，解碼器通常使用一個全局統一的參數配置來進行生成翻譯結果，即不論什么樣的源語句被輸入進來，它所使用的參數配置都是不變的。而實際上不同的源語句它對應的最優的參數配置是各不相同的，比如有的句子需要傾向于生成短的翻譯，而另外一些句子則傾向生成長的翻譯。一個對不同源語句使用不同長度比設置的示例如下：

源語言1：關心

目標語1：take care of

源語言2：更容易

目標語2：easier

對于源語言1來說，它只有一個詞，而它的正確翻譯有三個詞，因此生成翻譯的時候解碼器應該傾向生成長翻譯，即更大的長度比。而對于源語言2來說，它有兩個詞，而正確翻譯只有一個詞，因此解碼器應該傾向生成短翻譯，即更小的長度比。

因此，目前亟需一種決策方法，可根據不同的源語句選取對應的最優的參數配置。

發明內容