[發明專利]一種基于條件膠囊生成對抗網絡的圖像生成方法

有效

• 申請號: 201811328478.1
• 申請日: 2018-11-09
• 公開（公告）號: CN109584337B
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 孔銳;黃鋼
• 申請（專利權）人: 暨南大學
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 陳燕嫻

本發明公開了一種基于條件膠囊生成對抗網絡的圖像生成方法，包括下述步驟：圖像數據采集并對圖像進行預處理；提取出條件向量；獲取隨機噪聲；設計一個神經網絡作為生成器將隨機噪聲和條件向量映射為生成圖片；設計另外一個神經網絡作為判別器接收生成圖片、真實圖片和條件向量得到損失值；在訓練對抗網絡時，根據損失值最小化目標函數來調節生成器網絡權值；訓練完成后，生成器網絡權值調整到最佳，此時舍棄判別器，保留生成器模型作為生成圖像的最佳神經網絡。本發明通過利用膠囊神經網絡來設計判別器結構，結合現有的WGAN和CGAN的優點，網絡能夠有效避免梯度消失問題，同時生成的樣本質量高，相比于現有技術算法，具有一定優勢。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種基于條件膠囊生成對抗網絡的圖像生成方法。

背景技術

基于可微生成器網絡的生成式建模方法，是目前最熱門的研究領域，但由于真實樣本分布的復雜性，導致GAN生成模型在穩定性、生成效率等方面均存在不少問題。因此，業界亟需能夠提供穩定、高質量樣本的生成算法。

生成式對抗網絡理論基于博弈論場景，其中生成器網絡通過與對手競爭來學習變換由某些簡單的輸入分布(通常是標準多變量正太分布或者均勻分布)到圖像空間的分布——即越來越真實的樣本；作為對手，判別器網絡則試圖區分從訓練數據抽取的樣本和從生成器中生成的樣本；整體來說，雙方都試圖最小化各自的損失。

DCGAN將生成器中的全連接層用反卷積層代替，在圖像合成的任務中取得了非常好的表現，并表明其潛在的表示空間能捕獲到變化的重要因素。CGAN通過條件向量來引導GAN學習從分布p(x|y)中采樣，而不是簡單的從邊緣分布p(x)中采樣，使得GAN能著重關注那些能夠闡述樣本相關的統計特征，并忽略不太相關的局部特征。

傳統的GAN通常使用卷積神經網絡來構建對抗結構，該結構通過稀疏權重、參數共享和池化等技術在完成了對圖像像素中的重要特征的檢測之外還極大的減少了網絡的參數規模，但是，CNN的內部數據表示并沒有考慮到簡單和復雜對象之間的重要空間層級，最近的研究中，一種基于動態路由的膠囊神經網絡被應用于學習輸入特征之間的空間結構關系。該結構通過使用“膠囊”——封裝了多個卷積核能輸出包含編碼特征之間相對空間關系的網絡單元——突破了CNN的“神經元”活動中存在的視角不變性的特點。意味著該結構下的神經活動將隨著物體在圖像中的“外觀流形上的移動”而改變，與此同時使檢測概率保持恒定——即讓網絡具備活動等變性特征。

發明內容

本發明的目的是為了解決現有技術中的上述缺陷，提供一種基于條件膠囊生成對抗網絡的圖像生成方法。

本發明的目的可以通過采取如下技術方案達到：

一種基于條件膠囊生成對抗網絡的圖像生成方法，所述的圖像生成方法包括：

S1、圖像采集步驟，根據生成目標在互聯網上獲取真實圖像或者使用公開數據集；

S2、圖像預處理步驟，裁剪采集圖像中的關鍵區域；

S3、條件向量生成步驟，對預處理后的圖像進行分類標記并將標記設計為條件向量；

S4、隨機噪聲生成步驟，生成隨機噪聲用作生成器的輸入；

S5、模型構建步驟，基于條件膠囊生成對抗網絡結構來構建圖像生成網絡，所述的圖像生成網絡結構分為生成器和判別器，其中，所述的生成器接收隨機噪聲和條件向量作為輸入數據，輸出生成圖像；然后所述的判別器接收生成圖像、真實圖像和條件向量作為輸入數據，輸出生成圖像和真實圖像之間的相似度；