[發明專利]多模態機器翻譯方法、裝置、電子設備和存儲介質

有效

• 申請號: 202110392717.5
• 申請日: 2021-04-13
• 公開（公告）號: CN112800785B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 宗成慶;黃鑫;張家俊;周玉
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/295;G06F40/126;G06K9/00
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 程琛

1.一種多模態機器翻譯方法，其特征在于，包括：

確定待翻譯的源語言文本；

將所述源語言文本輸入至翻譯模型中，得到所述翻譯模型輸出的目標語言文本；

所述翻譯模型是基于樣本源語言文本和樣本目標語言文本，以及與所述樣本源語言文本匹配的樣本圖像，聯合重建模型訓練得到的；

所述翻譯模型與所述重建模型共用特征編碼層，模型訓練過程中所述特征編碼層用于編碼第一序列和第二序列，所述翻譯模型基于所述第一序列的編碼進行翻譯，所述重建模型基于所述第二序列的編碼進行重建；

其中，所述第一序列是將所述樣本源語言文本輸入到源語言詞嵌入層，得到的所述樣本源語言文本的詞向量表示；

所述第二序列是基于如下步驟確定的：

確定所述樣本源語言文本中的各實體；

以所述各實體為目標在所述樣本圖像中進行目標檢測，得到各實體的區域圖像；

將所述各實體的區域圖像的圖像表示映射到與所述樣本源語言文本中的非實體的文本表示相同的語義空間中，得到各實體的實體表示；

基于所述樣本源語言文本中各分詞的排列順序，拼接所述非實體的文本表示以及所述各實體的實體表示，得到所述第二序列。

2.根據權利要求1所述的多模態機器翻譯方法，其特征在于，所述翻譯模型還包括翻譯解碼層，所述重建模型還包括重建解碼層；

所述翻譯解碼層用于基于所述第一序列的編碼進行翻譯，所述重建解碼層用于基于所述第二序列的編碼進行重建；

所述翻譯解碼層和所述重建解碼層的參數共享或相互獨立。

3.根據權利要求2所述的多模態機器翻譯方法，其特征在于，所述將所述源語言文本輸入至翻譯模型中，得到所述翻譯模型輸出的目標語言文本，包括：

將所述源語言文本的文本序列輸入至所述特征編碼層，得到所述特征編碼層輸出的所述文本序列的編碼，所述文本序列是所述源語言文本中各分詞的文本表示序列；

將所述文本序列的編碼輸入至所述翻譯解碼層，得到所述翻譯解碼層輸出的所述目標語言文本。

4.根據權利要求1所述的多模態機器翻譯方法，其特征在于，所述翻譯模型的損失函數是基于翻譯損失函數和重建損失函數確定的；

所述翻譯損失函數表征所述樣本目標語言文本與所述翻譯模型輸出的預測目標語言文本之間的差異，所述重建損失函數表征所述樣本源語言文本與所述重建模型輸出的重建文本之間的差異。

5.根據權利要求1至4中任一項所述的多模態機器翻譯方法，其特征在于，所述實體為名詞實體或名詞短語實體。

6.一種多模態機器翻譯裝置，其特征在于，包括：

確定模塊，用于確定待翻譯的源語言文本；

翻譯模塊，用于將所述源語言文本輸入至翻譯模型中，得到所述翻譯模型輸出的目標語言文本；

所述翻譯模型是基于樣本源語言文本和樣本目標語言文本，以及與所述樣本源語言文本匹配的樣本圖像，聯合重建模型訓練得到的；

所述翻譯模型與所述重建模型共用特征編碼層，模型訓練過程中所述特征編碼層用于編碼第一序列和第二序列，所述翻譯模型基于所述第一序列的編碼進行翻譯，所述重建模型基于所述第二序列的編碼進行重建；

其中，所述第一序列是將所述樣本源語言文本輸入到源語言詞嵌入層，得到的所述樣本源語言文本的詞向量表示；

所述第二序列是基于如下步驟確定的：

確定所述樣本源語言文本中的各實體；

以所述各實體為目標在所述樣本圖像中進行目標檢測，得到各實體的區域圖像；

將所述各實體的區域圖像的圖像表示映射到與所述樣本源語言文本中的非實體的文本表示相同的語義空間中，得到各實體的實體表示；

基于所述樣本源語言文本中各分詞的排列順序，拼接所述非實體的文本表示以及所述各實體的實體表示，得到所述第二序列。

7.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至5任一項所述多模態機器翻譯方法的步驟。

8.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至5任一項所述多模態機器翻譯方法的步驟。