[發明專利]一種基于深度注意生成對抗網絡的實例級圖像翻譯技術

在審

• 申請號: 201810313808.3
• 申請日: 2018-04-10
• 公開（公告）號: CN108509952A
• 公開（公告）日: 2018-09-07
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明中提出的一種基于深度注意生成對抗網絡的實例級圖像翻譯技術，其主要內容包括：網絡模塊、實例級圖像翻譯、集合級圖像翻譯、完整目標函數，其過程為，首先使用一個深度注意編碼器、一個生成器以及兩個鑒別器構建深度注意生成對抗網絡；然后根據給定的輸入圖像，采用定位函數預測注意區域的位置并計算注意掩碼；接著利用生成器接收來自隱空間的結構化表達式，產生翻譯樣本；最后使用鑒別器把翻譯的樣本從真實圖像里面鑒別出來。本發明基于深度注意生成對抗網絡，提出了一種實例級圖像翻譯技術，可以同時應用于實例級和集合級的約束，解決大量的實際任務，并且能夠獲得性能更好的效果。

技術領域

本發明涉及圖像翻譯領域，尤其是涉及了一種基于深度注意生成對抗網絡的實例級圖像翻譯技術。

背景技術

圖像翻譯是機器翻譯的一個應用，用戶可以把一個圖像中所包含的文本信息、顏色信息、圖標信息等等，轉換成為任意的表現形式。高速發展的移動電子設備使得圖像翻譯技術廣泛運用于人們生活的各個方面。比如，此技術可以用于將其他國家的文字，翻譯成為自己國家的文字，這樣就有利于信息的傳遞以及文化的交流。再比如，可以利用圖像翻譯技術將用戶在商場看到的描述商品性質的廣告詞等翻譯成為直觀的圖片，也可以根據用戶輸入的商品圖片，自動搜索到與之類似的相關商品。目前，無監督式圖像翻譯面臨著一個巨大的挑戰，即其需要在沒有成對數據的情況下發掘正確的對應關系。現有的方法建立在生成對抗網絡的基礎上面，其屬于集合級約束，缺點在于無法學習實例級的對應關系，諸如語義的理解與正確對應。

本發明提出了一種基于深度注意生成對抗網絡的實例級圖像翻譯技術，首先使用一個深度注意編碼器、一個生成器以及兩個鑒別器構建深度注意生成對抗網絡；然后根據給定的輸入圖像，采用定位函數預測注意區域的位置并計算注意掩碼；接著利用生成器接收來自隱空間的結構化表達式，產生翻譯樣本；最后使用鑒別器把翻譯的樣本從真實圖像里面鑒別出來。本發明基于深度注意生成對抗網絡，提出了一種實例級圖像翻譯技術，可以同時應用于實例級和集合級的約束，解決大量的實際任務，并且能夠獲得性能更好的效果。

發明內容

針對現有方法存在無法學習實例級的對應關系等問題，本發明的目的在于提供一種基于深度注意生成對抗網絡的實例級圖像翻譯技術，首先用一個深度注意編碼器、一個生成器以及兩個鑒別器構建深度注意生成對抗網絡；然后根據給定的輸入圖像，采用定位函數預測注意區域的位置并計算注意掩碼；接著利用生成器接收來自隱空間的結構化表達式，產生翻譯樣本；最后使用鑒別器把翻譯的樣本從真實圖像里面鑒別出來。

為解決上述問題，本發明提供一種基于深度注意生成對抗網絡的實例級圖像翻譯技術，其主要內容包括：

(一)網絡模塊；

(二)實例級圖像翻譯；

(三)集合級圖像翻譯；

(四)完整目標函數。

其中，所述的網絡模塊，深度注意生成對抗網絡包括四個網絡模塊：深度注意編碼器、生成器、鑒別器D1和鑒別器D2。

進一步地，所述的深度注意編碼器，給定一個輸入圖像X的特征圖像E(X)，首先采用定位函數預測一系列注意區域的位置；一旦得到了注意區域的位置，就可以獲得注意掩碼

具體來講，用w和h分別表示圖像X寬度和高度的一半，那么，可以采用下面公式對注意區域進行參數化：

然后，通過點乘運算計算接著得到注意區域

進一步地，所述的生成器，生成器接收來自隱空間的高度結構化表達式，用于產生翻譯得到的樣本；

生成器被迫翻譯那些無法從真實圖像區分出來的樣本。