[發明專利]一種基于注意力生成器網絡的無監督非成對圖像翻譯方法

在審

• 申請號: 202111134348.6
• 申請日: 2021-09-27
• 公開（公告）號: CN113837290A
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 鐘宋義;劉云豪;張珂維;彭艷;李小毛;蒲華燕;謝少榮;羅均
• 申請（專利權）人: 上海大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T3/00
• 代理公司: 上海新隆知識產權代理事務所(普通合伙) 31366
• 代理人: 金利琴

本發明公開了一種基于注意力生成器網絡的無監督非成對圖像方法，步驟為：從源域圖像數據集中采樣一個batch的圖像，并將其輸入包含注意力層的生成器中得到輸出的生成圖像，將目標域圖像和生成圖像分別放入判別器中計算對比損失；將源域圖像和該圖像對應的生成圖像分別放入包含注意力層的編碼器和多層感知器中，得到特征向量；將源域圖像對應生成圖像相同位置的特征向量作為正樣本，將源域圖像不同位置的特征向量作為負樣本，利用正負樣本計算對比損失；最終訓練出一個更好的生成器，實現源域到目標域的無監督非成對圖像翻譯。

技術領域

本發明涉及計算機視覺領域，尤其涉及一種基于注意力生成器網絡的非成對無監督圖像翻譯技術。

背景技術

圖像翻譯指的是找到一種映射使得圖像可以從源圖像域轉換到目標圖像域，同時在轉換的過程中保持源圖像域的結構和上下文不變，并替換成目標圖像域的風格和紋理。其中映射可以是一個簡單的函數，也可以是一個復雜的深度神經網絡。圖像翻譯由于其廣闊的應用前景而受到越來越多人的關注，它可以用于圖像壓縮和超分辨率、圖像風格轉換、圖像恢復、圖像去雨和去霧、圖像語義生成等。

現在有許多不同的圖像翻譯任務，根據數據集是否有標注信息，可以分成有監督和無監督圖像翻譯；根據數據集是否是成對的，可以分成成對和非成對圖像翻譯。在現實情況下，大多數任務中的數據集都是非成對并且有很少標注信息甚至沒有標注信息的。從任務的難度來說，要在非成對且沒有標注信息的跨域圖像中找到域不變的特征并且替換掉域可變特征是更加困難的。因此非成對無監督的圖像翻譯更具有挑戰性和研究價值。

生成對抗網絡(GANs)因能生成擬合數據集分布的圖像被用于圖像翻譯任務，但經典的GANs只靠一個對比損失很難保證訓練過程的穩定性和圖像在結構上的不變性。幾乎在同一時間，基于循環一致性損失的Cyclegan、Dualgan、Discogan被提出來，循環一致假設圖像從源域轉換為目標域再轉換為源域后，這個重構圖像能夠在像素級上逼近原圖像，以此保證轉換后的圖像在結構上的穩定性。但這種兩步(two-sided)的框架導致模型訓練時間長，而且要求域與域之間是一種有限制的雙射關系。為了擺脫這種限制，各種(一步)one-sided的框架被提了出來。其中將對比表示學習這種范式引入圖像翻譯的對比無監督圖像翻譯(CUT)取得了不錯的效果，它通過提出基于圖像塊(patch)的多層PatchNCE損失，最大化輸入和輸出圖像每個patch之間的互信息，訓練出了一個更好的編碼器(encoder)。如此一來encoder可以專注于兩個域之間共性的部分如形狀，而忽略兩個域之間的差異性部分如紋理。

對比學習是自監督學習中的一種，它指通過學習對兩個事物的相似或不相似進行編碼來構建表征。通過構建正樣本(positive)和負樣本(negative)，然后度量正負樣本的距離來實現自監督學習。核心思想是樣本和正樣本之間的相似度遠遠大于樣本和負樣本之間的相似度。CUT首先將對比學習的思想引入到圖像翻譯任務中，實現了one-sided。與一般對比學習不同的是，它的正樣本和負樣本不是來自圖像增強后的結果，也不是一整張圖像，而是將生成器輸入與輸出圖像的同一位置的patch作為正樣本，將輸入圖像不同位置的patch作為負樣本

注意力機制自提出就受到了廣泛的關注，首先在自然語言處理領域被廣泛使用，后來有研究者陸續將其運用在計算機視覺領域中，研究者先提出了Image transformer的模型，將自注意力引入到自回歸生成模型中用于圖像生成。SAGAN則首先將自注意力機制引入GANs中，使得SAGAN能夠有效地從圖像的內部特征中找到一個全局長跨度依賴的模型。U-GAT-IT將注意力模塊添加到它的圖像翻譯模型中，但需要借助一個輔助的分類器。

發明內容

針對現有技術存在的問題，本發明提出了一種基于注意力生成器網絡的無監督非成對圖像翻譯方法。

本發明可通過以下技術方案予以實現：