[發明專利]多模態機器翻譯方法、裝置、電子設備和存儲介質

有效

• 申請號: 202110392717.5
• 申請日: 2021-04-13
• 公開（公告）號: CN112800785B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 宗成慶;黃鑫;張家俊;周玉
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/295;G06F40/126;G06K9/00
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 程琛

本發明提供一種多模態機器翻譯方法、裝置、電子設備和存儲介質，所述方法包括：確定待翻譯的源語言文本；將源語言文本輸入至翻譯模型中，得到翻譯模型輸出的目標語言文本；翻譯模型是基于樣本源語言文本和樣本目標語言文本，以及與樣本源語言文本匹配的樣本圖像，聯合重建模型訓練得到的；翻譯模型與重建模型共用特征編碼層，模型訓練過程中特征編碼層用于編碼第一序列和第二序列，翻譯模型基于第一序列的編碼進行翻譯，重建模型基于第二序列的編碼進行重建，第一序列基于樣本源語言文本確定，第二序列基于樣本源語言文本中的各實體在樣本圖像中的區域圖像和樣本源語言文本的非實體確定，提高了質量提升的可解釋性并且降低了翻譯的復雜度。

技術領域

本發明涉及計算機技術領域，尤其涉及一種多模態機器翻譯方法、裝置、電子設備和存儲介質。

背景技術

多模態機器翻譯是指利用文本信息以外的模態信息來幫助文本翻譯，如利用圖像來幫助提升圖像描述的翻譯質量。這種做法的前提假設是認為圖像相比于單個句子包含著更完整的信息。

一般的多模態機器翻譯模型是為了文本語言模態和靜態圖像模態的多模態環境而設計的，數據形式為一張圖片配一句圖像描述和圖像描述的翻譯，所采用的語義融合方式通常可分為以下兩類：一類是將視覺信息以整張圖片的卷積神經網絡全局特征作為待翻譯句子的上下文輸入到翻譯系統，可以作為初始化翻譯模型的組件或表現為一個完整的語義作為模型的輸入等；另一類方法則是在提取卷積神經網絡特征時保留了圖像內的相對空間信息的局部特征，從而將所提取的特征輸入到翻譯模型中時，即可使用注意力機制關注到圖像中更細粒度的信息。這兩類方法都可以實現翻譯質量的提升，然而這些方法在使用視覺信息的過程中使得圖像中的信息是如何作用到提升句子翻譯質量的變得難以解釋，這極大地限制了多模態翻譯模型研究的發展。

發明內容

本發明提供一種多模態機器翻譯方法、裝置、電子設備和存儲介質，用以解決現有技術中在翻譯性能提升上缺乏可解釋性的缺陷，實現提高翻譯質量提升的可解釋性。

本發明提供一種多模態機器翻譯方法，該方法包括：

確定待翻譯的源語言文本；

將所述源語言文本輸入至翻譯模型中，得到所述翻譯模型輸出的目標語言文本；

所述翻譯模型是基于樣本源語言文本和樣本目標語言文本，以及與所述樣本源語言文本匹配的樣本圖像，聯合重建模型訓練得到的；

所述翻譯模型與所述重建模型共用特征編碼層，模型訓練過程中所述特征編碼層用于編碼第一序列和第二序列，所述翻譯模型基于所述第一序列的編碼進行翻譯，所述重建模型基于所述第二序列的編碼進行重建，所述第一序列基于所述樣本源語言文本確定，所述第二序列基于所述樣本源語言文本中的各實體在所述樣本圖像中的區域圖像和所述樣本源語言文本的非實體確定。

根據本發明提供的多模態機器翻譯方法，所述第二序列是基于如下步驟確定的：

確定所述樣本源語言文本中的各實體；

以所述各實體為目標在所述樣本圖像中進行目標檢測，得到各實體的區域圖像；

基于所述樣本源語言文本中的非實體的文本表示，以及所述各實體的區域圖像的圖像表示，確定所述第二序列。

根據本發明提供的多模態機器翻譯方法，所述基于所述樣本源語言文本中的非實體的文本表示，以及所述各實體的區域圖像的圖像表示，確定所述第二序列，包括：

將所述各實體的區域圖像的圖像表示映射到與所述文本表示相同的語義空間中，得到各實體的實體表示；

基于所述樣本源語言文本中各分詞的排列順序，拼接所述樣本源語言文本中的非實體的文本表示，以及所述各實體的實體表示，得到所述第二序列。

根據本發明提供的多模態機器翻譯方法，所述翻譯模型還包括翻譯解碼層，所述重建模型還包括重建解碼層；