[發明專利]一種運用視覺信息的零資源機器翻譯方法

有效

• 申請號: 202010835980.2
• 申請日: 2020-08-19
• 公開（公告）號: CN112016604B
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 孫仕亮;黃平;張楠;殷敏智
• 申請（專利權）人: 華東師范大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F40/58;G06N3/04;G06N3/08
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發明公開了一種運用視覺信息的零資源機器翻譯方法，該方法具備翻譯能力前需要使用含有圖片信息的單語語料訓練一個翻譯模型。在訓練完成后，本方法就有了翻譯的能力。本發明的創新點在于在沒有平行語料而具有對應圖片的情景（零資源情景）下達到良好的翻譯性能。本發明以Transformer為基礎翻譯模型，并引入預訓練語言模型，在減少訓練時間的同時提升性能。本發明在典型Transformer中引入多模態模塊，使得翻譯模型能夠融合處理多模態數據。本發明利用了屏蔽序列恢復和回譯兩種訓練方法優化模型參數，使得翻譯模型能夠在零資源場景下完成訓練。

技術領域

本發明涉及計算機技術領域，涉及機器翻譯技術，特別涉及一種運用視覺信息的零資源機器翻譯方法。

背景技術

背景技術涉及：零資源機器翻譯，Transformer模型及圖像編碼。

1)零資源機器翻譯

零資源機器翻譯是在零資源場景下學習機器翻譯的技術。零資源機器翻譯是機器翻譯的一種，其目標與典型機器翻譯相同，同樣是將源語言的語句翻譯成目標語言的語句，但是零資源機器翻譯的訓練過程中不能使用直接或間接的平行語料，而是使用其它模態的信息連接起兩種語言。

機器翻譯的目標是將源語言的語句翻譯成目標語言的語句。用S標記源語言，用T標記目標語言，一個語言L(即S或T)的第i句語句用X_L⁽ⁱ⁾表示，這個語言上的數據集由這些語句構成，表示為N_L是這些語句的數量。每一句語句由一系列有序的符號(token)組成，即其中每個符號來源于該語言L的詞匯表V_L，即任意一個符號x_i∈V_L。對于一個機器翻譯系統的翻譯函數來說，其目標是令源語言的輸入語句X_S的翻譯結果與目標語言輸出語句X_T語義相同。機器翻譯系統也可以是雙向的，雙向的機器翻譯系統不僅提供從源語言翻譯至目標語言的函數也提供從目標語言翻譯至源語言的函數

在典型機器翻譯中，系統在能夠進行翻譯任務之前需要接受訓練，而且這個訓練過程中會使用到平行語料，即語義相互對應的一對語句X_S與X_T。這個訓練過程的數據集是成對語句的集合N是語句對的數量。翻譯模型的翻譯結果會被用于和X_T對比，通過某種損失函數計算出損失值，使用梯度下降技術更新翻譯模型中的相關參數，從而訓練出一個可用的翻譯模型。

零資源機器翻譯與典型機器翻譯的區別在于“零資源”。在零資源機器翻譯中，訓練過程不需要平行語料，而是利用其他信息作為橋梁間接地連接兩種語言，例如使用第三種語言或者利用圖片模態(視覺模態)。在現實生活中，人類也可以使用第三種語言解釋兩種語言，或者使用圖片將兩種語言的事物對應起來(例如使用一張狗的圖片指代中文詞匯“狗”和英文詞匯“dog”)。因此零資源機器翻譯任務符合現實世界中人類學習外語的方式，是可行的。

具體地說，零資源機器翻譯任務與典型機器翻譯任務有兩點不同。第一點是零資源機器翻譯的訓練過程不使用平行語料。這意味著零資源機器翻譯的數據集不再是語句對的形式，而且兩個語言有各自的語句集，即和N_S和N_T是兩種語言各自語句的數量，它們未必相等，而兩個語句集中的語句也沒有對應關系。第二點不同是零資源機器翻譯需要額外的信息來溝通兩種語言，這種信息被稱為樞軸(pivot)。例如以第三語言為樞軸的零資源機器翻譯和以圖片為樞軸的零資源機器翻譯等。在以圖片為樞軸的零資源機器翻譯中，每個句子都有一張相對應的圖片，這句句子是這張圖片的描述。因此，每個語言中的數據除了語句集還有與語句對應的圖片集。具體地說，每個語言上有一個語句圖像對的集合其中I_L⁽ⁱ⁾是與X_L⁽ⁱ⁾對應的一張圖像。需要注意的是，兩個語言中的圖片集含有相似的圖片，但是不需要重合，即與未必含有相同元素，否則將產生間接的平行語料。