[發明專利]一種基于動態自注意力生成對抗網絡的圖像合成方法

有效

• 申請號: 202110537516.X
• 申請日: 2021-05-18
• 公開（公告）號: CN113379655B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 王博文;潘力立;李宏亮;孟凡滿;吳慶波;許林峰
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04;G06N3/08
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 陳一鑫

本發明公開了一種基于動態自注意力生成對抗網絡的圖像合成方法，屬于計算機視覺領域。該方法首先選擇生成對抗網絡作為基本框架，并對訓練圖片進行歸一化，還對正態分布進行采樣得到噪聲樣本。本發明借鑒了Linformer算法和動態卷積算法，并對發明中使用的多頭自注意力機制進行改進，增加了每個自注意力頭之間的聯系和約束，使得這些自注意力頭可以去學習到圖像的各種模式知識。本發明充分地發揮了動態自注意力機制和生成對抗網絡的優勢，提出的動態自注意力模塊可大幅度降低多頭自注意力機制的計算復雜度，并改善生成對抗網絡的模式崩塌和訓練不穩定等問題。

技術領域

本發明屬于計算機視覺領域，主要涉及圖像的合成問題；主要應用于圖像修復、編輯、增強以及檢索等領域。

背景技術

圖像合成是利用計算機視覺技術理解圖像內容，并根據需求生成指定圖像的技術。它一般可分成兩種類型：無監督圖像合成和有監督圖像合成。無監督圖像合成多指學習從噪聲分布到圖像分布的映射函數，并通過映射函數合成圖像。有監督圖像合成，是指學習圖像數據條件分布，進而生成給定條件下的圖像。圖像合成作為計算機視覺領域的一個熱點問題，它是圖像修復、編輯和增強的基礎。其不僅可以解決軍事、醫療和安全等領域視覺數據缺失問題，還可以應用于影視娛樂、平面設計等領域。

由于人類對于圖像的細節和邊緣等信息十分敏感，因此圖像合成算法需要保證圖像合成的真實性和多樣性。為了提高合成圖像的真實性和多樣性，許多學者使用深度生成技術來改善以往的圖像合成算法。然而，當目標數據分布非常復雜時，早期的深度生成方法常面臨著計算量大和難以求解的問題。在2014年Goodfellow等人提出的生成對抗網絡方法出色地解決了這一問題。相比以往的深度生成方法，生成對抗網絡具有以下幾點明顯的優勢：1.生成對抗網絡方法僅需增加生成器的輸出維度和判別器的輸入維度即可生成較大維度的樣本。2.生成對抗網絡對數據分布不做任何先驗假設，因而不需要人工設計模型的分布。3.生成對抗網絡方法合成的數據分布十分接近真實樣本的數據分布，合成圖像的真實性和多樣性可以得到很好地保證。由于生成對抗網絡這些明顯的優勢，因此本發明使用生成對抗網絡方法進行圖像合成任務。

目前，現有的生成對抗網絡方法仍然存在模式崩塌和訓練不穩定等問題。為了改善這些問題，Goodfellow等人通過引入非局部自注意力機制去建模合成像素之間的長程相關性，他們提出的自注意力生成對抗網絡(Self-attention Generative Adversarialnetworks，簡稱SAGAN)在多個領域的圖像合成任務中得到了非常大的突破。參考文獻：H.Zhang,I.Goodfellow,D.Metaxas,et al.Self-attention generative adversarialnetworks[C].International conference on machine learning,2019,7354-7363。然而，該模型存在著計算復雜度高，計算效率低，建模像素之間的長程相關性能力差等問題。本發明在SAGAN模型的基礎上借鑒了Linformer算法和動態卷積算法，提出了一種基于動態自注意力生成對抗網絡的圖像合成方法，并取得了出色的結果。參考文獻：Y.Chen，X.Dai，M.Liu，et al.Dynamic convolution：Attention over convolutionkernels[C].the IEEEConference on Computer Vision and Pattern Recognition，2020，11030-11039。

發明內容