[發明專利]基于多模態機器翻譯模型的翻譯方法

有效

• 申請號: 202010816635.4
• 申請日: 2020-08-14
• 公開（公告）號: CN111967277B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 蘇勁松;林歡;尹永競;周楚倫;姚俊峰
• 申請（專利權）人: 廈門大學
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06N3/04;G06N3/08
• 代理公司: 廈門創象知識產權代理有限公司 35232
• 代理人: 尤懷成

本發明提出了一種基于多模態機器翻譯模型的翻譯方法，包括獲取源端句子和對應的翻譯圖像，并對源端句子和翻譯圖像進行預處理，以獲得處理后的源端句子、翻譯圖像的全局特征和翻譯圖像的局部特征；建立多模態機器翻譯模型，并根據對多模態機器翻譯模型進行訓練，其中，多模態機器翻譯模型包括編碼器和解碼器，解碼器包括上下文指導的膠囊網絡；基于訓練好的多模態機器翻譯模型對處理后的待翻譯的源端句子和對應的翻譯圖像進行翻譯，以生成待翻譯的源端句子對應的目標端句子；由此，通過在多模態機器翻譯模型的解碼器引入上下文指導膠囊網絡進行翻譯，能夠在動態生成豐富的多模態表示的同時，避免引入大量參數，從而有效提升多模態機器翻譯的性能。

技術領域

本發明涉及機器翻譯技術領域，特別涉及一種基于多模態機器翻譯模型的翻譯方法、一種計算機可讀存儲介質和一種計算機設備。

背景技術

相關技術中，現有的多模態機器翻譯方法通常將待翻譯的圖像特征作為全局信息，采用注意力機制動態提取圖像上下文特征，以進行學習多模態聯合表示，但是將圖像特征作為全局信息以及學習多模態聯合表示的方法均無法捕捉到翻譯過程中動態生成的特性；且單注意力機制無法勝任復雜的多模態翻譯任務，而多注意力機制又面臨著參數過多的問題，從而出現過擬合問題，進而大大降低了多模態機器的翻譯性能。

發明內容

本發明旨在至少在一定程度上解決上述技術中的技術問題之一。為此，本發明的一個目的在于提出一種基于多模態機器翻譯模型的翻譯方法，該方法采用具有上下文指導膠囊網絡的多模態機器翻譯模型進行翻譯，基于上下文指導的膠囊網絡能夠在動態生成豐富的多模態表示的同時，避免引入大量參數，從而有效提升多模態機器翻譯的性能。

本發明的第二個目的在于提出一種計算機可讀存儲介質。

本發明的第三個目的在于提出一種計算機設備。

為達到上述目的，本發明第一方面實施例提出了一種基于多模態機器翻譯模型的翻譯方法，該方法包括以下步驟：獲取源端句子和對應的翻譯圖像，并對所述源端句子和所述翻譯圖像進行預處理，以獲得處理后的源端句子、翻譯圖像的全局特征和翻譯圖像的局部特征；建立多模態機器翻譯模型，并根據處理后的源端句子、翻譯圖像的全局特征和翻譯圖像的局部特征對所述多模態機器翻譯模型進行訓練，其中，所述多模態機器翻譯模型包括編碼器和解碼器，所述解碼器包括上下文指導的膠囊網絡；基于訓練好的多模態機器翻譯模型對處理后的待翻譯的源端句子和對應的翻譯圖像進行翻譯，以生成所述待翻譯的源端句子對應的目標端句子。

根據本發明實施例的基于多模態機器翻譯模型的翻譯方法，首先獲取源端句子和對應的翻譯圖像，并對源端句子和翻譯圖像進行預處理，以獲得處理后的源端句子、翻譯圖像的全局特征和翻譯圖像的局部特征，接著建立多模態機器翻譯模型，并根據處理后的源端句子、翻譯圖像的全局特征和翻譯圖像的局部特征對多模態機器翻譯模型進行訓練，其中，多模態機器翻譯模型包括編碼器和解碼器，解碼器包括上下文指導的膠囊網絡，然后基于訓練好的多模態機器翻譯模型對處理后的待翻譯的源端句子和對應的翻譯圖像進行翻譯，以生成待翻譯的源端句子對應的目標端句子；由此，通過在多模態機器翻譯模型的解碼器中引入上下文指導膠囊網絡進行翻譯，能夠在動態生成豐富的多模態表示的同時，避免引入大量參數，從而有效提升多模態機器翻譯的性能。

另外，根據本發明上述實施例提出的基于多模態機器翻譯模型的翻譯方法還可以具有如下附加的技術特征：

可選地，基于訓練好的多模態機器翻譯模型對處理后的待翻譯的源端句子和對應的翻譯圖像進行翻譯，以生成所述待翻譯的源端句子對應的目標端句子，包括：將處理后的待翻譯的源端句子輸入到所述多模態機器翻譯模型中的編碼器進行編碼，以獲得所述處理后的待翻譯的源端句子對應的隱狀態表示；將所述隱狀態表示、待翻譯圖像的全局特征和待翻譯圖像的局部特征輸入到所述多模態機器翻譯模型中的解碼器，并通過所述解碼器端的上下文指導的膠囊網絡提取上下文相關的多模態特征，以及根據所述上下文相關的多模態特征生成目標端句子。