[發明專利]帶有復制機制的神經機器翻譯方法

有效

• 申請號: 201711441339.5
• 申請日: 2017-12-27
• 公開（公告）號: CN108132932B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 熊德意;鄺少輝
• 申請（專利權）人: 蘇州大學
• 主分類號: G06F40/58
• 分類號: G06F40/58
• 代理公司: 蘇州市中南偉業知識產權代理事務所(普通合伙) 32257
• 代理人: 馮瑞;楊慧林

本發明涉及一種帶有復制機制的神經機器翻譯方法，應用在基于注意力機制且采用encoder?decoder框架的NMT模型，包括：在原始訓練語句的源語言和目標語言中，標記出需要指定翻譯的源短語和對應的目標短語；把原始訓練語句中的源語言中需要指定翻譯的源短語替換為原始訓練語句中的目標語言中對應的目標短語；對上述處理過的原始訓練語句進行NMT系統的訓練；在待翻譯的源語句中，標記出需要指定翻譯的短語。上述帶有復制機制的神經機器翻譯方法，可以很好翻譯特定的短語，如人名，地名，機構名，品牌詞等，可以和任何的語料處理技術兼容，進一步提升翻譯效果，不需要更改NMT系統結構，可以方便的應用在任何NMT系統上面。

技術領域

本發明涉及的神經機器翻譯，特別是涉及帶有復制機制的神經機器翻譯方法。

背景技術

隨著計算機計算能力的提高以及大數據的應用，深度學習取得進一步的應用。基于深度學習的Neural Machine Translation越來越受到人們的關注。在NMT領域中，最常用的一種翻譯模型是帶有注意力機制(attention-based)的encoder-decoder模型。其主要思想是將待翻譯的源語句(在下文中統稱為‘源語句’)經過編碼器(encoder)編碼成為一個向量表示，然后利用解碼器(decoder)對源語句的向量表示進行解碼，翻譯成為其對應的譯文(在下文中統稱為‘目標語句’)。事實上，這種encoder-decoder框架是深度學習的核心思想，同樣的，encoder-decoder框架也是NMT系統常用的一個基本架構。目前主流的NMT系統，encoder和decoder都利用RNN(recurrent neural networks)，RNN在處理時序信息時有著得天獨厚的優勢，它能夠處理任意長度的輸入并將其轉換成為一個固定維度的向量。

encoder-decoder框架，在構建翻譯模型時，會首先根據訓練語料來形成源端和目標端詞表。由于計算能力限制，詞表大小我們會進行限制(例如源語言詞表中含有30000個單詞)，不在詞表中的單詞，我們統一用特殊符號“UNK”代替。這導致NMT的譯文會出現一個嚴重的問題：當待翻譯的源語句中含有不在詞表中的單詞時，在譯文中會生成UNK，造成譯文可讀性不高，尤其是訓練語料中沒有出現的人名，地名，品牌詞等都翻譯不出來。這個問題，可以歸結為“未登錄詞”問題。隨后的論文中，提出了bpe方法，來將單詞的拆分，形成子單詞級別的詞表，這種方法可以保證所有的單詞都可以出現在詞表中，避免譯文中生成UNK。

傳統技術存在以下技術問題：

雖然譯文中UNK不會出現，但是NMT系統在基于源語句生成目標語言語句時，是單詞級別的生成，是一個單詞接著一個單詞生成。這種生成模式，在翻譯既定短語時候，會導致生成譯文的不一致。例如，我們在翻譯一些專有名詞如“世貿組織”，“小兒麻痹癥”，人名如“金澤一郎”，電商領域的品牌詞如“施華洛世奇”，NMT系統給出的譯文，往往和人民認可的譯文不一致。比如在電商領域，品牌詞翻譯錯誤，是商家堅決不能接受的。這也是NMT系統需要解決的一個重要問題。

發明內容

鑒于NMT系統不能很好地翻譯特定單詞，短語，品牌詞等，為了解決這一問題，我們提出了一個帶有復制機制的神經機器翻譯方法，這個方法可以應用在任何NMT結構上，實現指定單詞和短語的復制。比如當一文中出現品牌詞“施華洛世奇”時，我們的方法能夠將“施華洛世奇”的譯文“Swarovski”完整的復制到NMT生成的譯文中，保證翻譯的一致性和準確性。同時我們的方法完全獨立于NMT系統，可以應用在任何結構的NMT模型上面。

一種帶有復制機制的神經機器翻譯方法，應用在基于注意力機制且采用encoder-decoder框架的NMT模型，包括：

在原始訓練語句的源語言和目標語言中，標記出需要指定翻譯的源短語和對應的目標短語；

把原始訓練語句中的源語言中需要指定翻譯的源短語替換為原始訓練語句中的目標語言中對應的目標短語；

對上述處理過的原始訓練語句進行NMT系統的訓練；