[發明專利]零平行語料多模態神經機器翻譯方法

有效

• 申請號: 201910550612.0
• 申請日: 2019-06-24
• 公開（公告）號: CN110245364B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 陳恩紅;劉淇;王怡君;魏天心
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06N3/04;G06N3/08
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;鄭哲

1.一種零平行語料多模態神經機器翻譯方法，其特征在于，包括：

利用帶有相應圖片信息的源語言和目標語言單語語料，對預先構建的神經機器翻譯模型進行預訓練；

使用預訓練的神經機器翻譯模型將源語言中的句子翻譯為目標語言的句子，根據翻譯得到的句子與對應圖片之間的內在聯系計算句子級別的獎勵值，并以最大化期望的總的獎勵值為優化目標，采用策略梯度的強化學習方法對預訓練的神經機器翻譯模型參數進行更新，從而得到訓練好的神經機器翻譯模型；

使用訓練好的神經機器翻譯模型對給定的源語言句子進行翻譯。

2.根據權利要求1所述的一種零平行語料多模態神經機器翻譯方法，其特征在于，所述帶有相應圖片信息的源語言和目標語言單語語料分別記為D_Z,X和D′_Z,Y：

其中，X^(m)為源語言單語語料中的句子，m為句子的序號，Z^(m)為句子X^(m)對應的圖片，M為源語言單語語料中的句子數量；X⁽ⁿ⁾為目標語言單語語料中的句子，n為句子的序號，Z⁽ⁿ⁾為句子X⁽ⁿ⁾對應的圖片，N為目標語言單語語料中的句子數量；

根據源語言和目標語言單語語料中的圖片是否重合，分別采取不同的策略對預先構建的神經機器翻譯模型進行預訓練；其中：若圖片不重合，則利用源語言或者目標語言單語語料生成偽平行語料對預先構建的神經機器翻譯模型進行預訓練；若圖片重合，則利用源語言與目標語言單語語料生成平行語料對預先構建的神經機器翻譯模型進行預訓練。

3.根據權利要求2所述的一種零平行語料多模態神經機器翻譯方法，其特征在于，所述神經機器翻譯模型表示為P_θ(Y|X)；其中X表示源語言單語語料中的句子，Y表示目標語言單語語料中的句子，θ為神經機器翻譯模型的參數；

使用極大似然估計的方法進行預訓練，預訓練階段的優化目標為：

其中，D_X，Y為生成的偽平行語料或平行語料。

4.根據權利要求2所述的一種零平行語料多模態神經機器翻譯方法，其特征在于，

若D_Z,X和D_Z',Y中的圖片不重合，即對于一張圖片，只有源語言的描述或者目標語言的描述，則使用預訓練的目標語言的圖片描述模型結合語料D_Z,X中的圖片生成相應的目標語言的描述句子，從而與語料D_Z,X中的相應圖片的源語言描述句子形成偽平行語料；或者，使用預訓練的源語言的圖片描述模型集合語料D_Z',Y中的圖片生成相應的源語言的描述句子，從而與語料D_Z',Y中的相應圖片的目標語言描述句子形成偽平行語料；源語言的圖片描述模型以及目標語言的圖片描述模型均為帶有注意力機制的圖片描述模型，Φ_Z→X和Φ_Z'→Y分別表示源語言和目標語言的圖片描述模型的參數；

若D_Z,X和D_Z',Y中的圖片重合，即對于一張圖片，既有源語言的描述又有目標語言的描述，則將一張圖片對應的任意一對源語言-目標語言的句子看作是對應的翻譯，從而得到平行語料。

5.根據權利要求4所述的一種零平行語料多模態神經機器翻譯方法，其特征在于，所述源語言的圖片描述模型以及目標語言的圖片描述模型均采用極大似然估計的方法進行預訓練：

6.根據權利要求1所述的一種零平行語料多模態神經機器翻譯方法，其特征在于，所述使用預訓練的神經機器翻譯模型將源語言中的句子翻譯為目標語言的句子，根據翻譯得到的句子與對應圖片之間的內在聯系計算句子級別的獎勵值包括：

對于源語言的單語語料D_Z,X中的任意句子X，使用預訓練的神經機器翻譯模型P_θ(Y|X)將句子X翻譯為目標語言的句子

再根據句子與句子X對應的圖片Z之間的內在聯系，計算相應的獎勵值