[發明專利]一種基于變分自動編碼器和生成對抗網絡的圖像轉化方法

在審

• 申請號: 201710296010.8
• 申請日: 2017-04-28
• 公開（公告）號: CN107123151A
• 公開（公告）日: 2017-09-01
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06T9/00
• 分類號: G06T9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及圖像轉化領域，尤其是涉及了一種基于變分自動編碼器和生成對抗網絡的圖像轉化方法。

背景技術

伴隨著攝影技術的出現、電視和電影的普及、廣告、報紙書刊、互聯網等眾多以圖像為主的社會媒介飛速發展，與圖像相關的技術日趨顯出其重要性。將圖像從一個域映射到另一個域(圖像到圖像轉換)具有廣泛的應用。例如，海上環境可見度差，常常有霧霾等，通過圖像轉化提前預知環境的相關情況，將對海上交通管理、捕魚等海上作業提供便利；實現圖像從白天到夜晚的轉化、從晴天到雨天的轉化等，使人們提前預知環境，方便出行或實施其他工作；將圖像轉化成相應的彩色圖像，以便更好地顯示和觀察。然而，現有的大多數圖像到圖像轉化方法都是基于監督學習，需要由兩個對應的圖像對組成的訓練數據集，但是對于許多應用來說難以獲得所需的圖像對，因此給轉化造成不便。

本發明提出了一種基于變分自動編碼器和生成對抗網絡的圖像轉化方法，使用無監督圖像到圖像轉化(UNIT)網絡框架學習兩個圖像域之間的雙向轉化功能，其包括VAE和VAE，用它們對每個圖像域進行建模，對抗訓練目標與權重共享約束相互作用，在兩個域中產生相應的圖像，將轉化圖像與各個域中的輸入圖像相關聯，訓練網絡聯合解決圖像重構流和圖像轉化流的問題。本發明提出無監督圖像到圖像轉化框架，使兩個域中沒有任何聯系的圖像完成轉化；不需要對應圖像組成的訓練數據集即可完成，提高了效率和實用性，該方法還可拓展到無監督的語言轉化。

發明內容

針對圖像轉化不便的問題，本發明的目的在于提供一種基于變分自動編碼器和生成對抗網絡的圖像轉化方法，使用無監督圖像到圖像轉化(UNIT)網絡框架學習兩個圖像域之間的雙向轉化功能，其包括VAE和VAE，用它們對每個圖像域進行建模，對抗訓練目標與權重共享約束相互作用，在兩個域中產生相應的圖像，將轉化圖像與各個域中的輸入圖像相關聯，訓練網絡聯合解決圖像重構流和圖像轉化流的問題。

為解決上述問題，本發明提供一種基于變分自動編碼器和生成對抗網絡的圖像轉化方法，其主要內容包括：

(一)變分自動編碼器(VAE)；

(二)權重共享；

(三)生成對抗網絡(GAN)；

(四)學習。

其中，所述的無監督圖像到圖像翻譯(UNIT)網絡，該框架包括變分自動編碼器(VAE)和生成對抗網絡(GAN)；它由6個子網絡組成：包括兩個域圖像編碼器E₁和E₂，兩個域圖像生成器G₁和G₂，以及兩個域對抗鑒別器D₁和D₂；令x₁和x₂為兩個不同的圖像域；在受監督的圖像到圖像轉化問題中，從聯合分布繪制訓練樣本(x₁，x₂)；在無監督設置中，僅從邊際分布和給出訓練樣本。

其中，所述的變分自動編碼器(VAE)，編碼器-發生器對{E₁，G₁}構成了VAE₁的x₁域的VAE；對于輸入圖像x₁∈x₁，VAE₁首先通過編碼器E₁映射到潛在空間中的代碼，然后解碼，經生成器G₁重建輸入圖像；編碼器輸出平均矢量E_1，μ(x₁)和方差矢量其中潛碼z₁的分布由給出；矩陣對角元素提取操作符將向量轉換為對角矩陣，其中對角元素是向量的分量；重建圖像為這里將q₁(z₁|x₁)的分布作為的隨機向量的符號，并從中采樣；

類似地，{E₂，G₂}構成x₂域的VAE：VAE₂；編碼器E₂輸出平均矢量E_2，μ(x₁)和方差矢量潛碼z₂的分布由給出；重建圖像表示為