[發明專利]一種基于條件膠囊生成對抗網絡的圖像生成方法

有效

• 申請號: 201811328478.1
• 申請日: 2018-11-09
• 公開（公告）號: CN109584337B
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 孔銳;黃鋼
• 申請（專利權）人: 暨南大學
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 陳燕嫻

1.一種基于條件膠囊生成對抗網絡的圖像生成方法，其特征在于，所述的圖像生成方法包括：

S1、圖像采集步驟，根據生成目標在互聯網上獲取真實圖像或者使用公開數據集；

S2、圖像預處理步驟，裁剪采集圖像中的關鍵區域；

S3、條件向量生成步驟，對預處理后的圖像進行分類標記并將標記設計為條件向量；

S4、隨機噪聲生成步驟，生成隨機噪聲用作生成器的輸入；

S5、模型構建步驟，基于條件膠囊生成對抗網絡的結構來構建圖像生成網絡，所述的圖像生成網絡的結構分為生成器和判別器，其中，所述的生成器接收隨機噪聲和條件向量作為輸入數據，輸出生成圖像；然后所述的判別器接收生成圖像、真實圖像和條件向量作為輸入數據，輸出生成圖像和真實圖像之間的相似度；

所述的生成器包括兩個全連接層和至少兩個反卷積層，從輸入端開始各層的連接順序依次為第一全連接層、第二全連接層、第一反卷積層和第N反卷積層，其中第一全連接層、第二全連接層、第一反卷積層之后均連接一個BN層和ReLU層，第N反卷積層之后連接激活層；

所述的判別器包括卷積層、PrimaryCaps層、DiscriCaps層和全連接層，從輸入端開始各層的連接順序依次為卷積層、PrimaryCaps層、DiscriCaps層和全連接層，其中卷積層、PrimaryCaps層、DiscriCaps層之后均連接LReLU層，全連接層的后面連接激活層；

S6、模型訓練步驟，將步驟S4中生成的隨機噪聲和步驟S3中生成的條件向量輸入到生成器中輸出為一張生成圖像，將該生成圖像和條件向量輸入到判別器中得出生成圖像在判別器中被判定為真樣本的概率；再將步驟S2中截取的真實圖像和條件向量一起輸入到判別器中得出真實圖像在判別器中被判定為真樣本的概率；根據上述得出的兩個概率分別訓練判別器和生成器，同時在判別器內部根據動態路由算法負責更新判別器的DiscriCaps層的參數；最終完成指定訓練輪數之后結束訓練，舍棄判別器，保留生成器作為圖像的生成網絡。

2.根據權利要求1所述的一種基于條件膠囊生成對抗網絡的圖像生成方法，其特征在于，所述的S1、圖像采集步驟中收集的圖像是二維矩陣或者三維矩陣；

所述的S2、圖像預處理步驟中對原始圖片進行關鍵區域裁剪，所有圖像的裁剪尺寸保持相同，關鍵區域根據所述的生成目標而確定。

3.根據權利要求1所述的一種基于條件膠囊生成對抗網絡的圖像生成方法，其特征在于，所述的S3、條件向量生成步驟中條件向量設置過程如下：

將收集到的并且經過圖像預處理步驟之后的圖像分為n類標記，同時根據類別數將條件向量設置為n維，其中條件向量采用One-Hot編碼，同一類的圖像有相同的條件向量，該條件向量是一個維數為n的向量。

4.根據權利要求1所述的一種基于條件膠囊生成對抗網絡的圖像生成方法，其特征在于，所述的S4、隨機噪聲生成步驟中隨機噪聲向量生成方式為：在一個區間為-1到1之間的均勻分布中隨機采樣100次，隨機噪聲設置為一個100維數的向量，該隨機噪聲向量是一個（1,1,100）的向量。

5.根據權利要求1所述的一種基于條件膠囊生成對抗網絡的圖像生成方法，其特征在于，所述的生成器從輸入層到輸出層依次連接為：第一全連接層、BN層、ReLU層、第二全連接層、BN層、ReLU層、第一反卷積層、BN層、ReLU層、第N反卷積層、激活層，在第一反卷積層和第N反卷積層之間根據生成圖像的尺寸選擇適當添加新的反卷積層，新添加的反卷積層后邊也緊跟一個BN層和ReLU層。

6.根據權利要求5所述的一種基于條件膠囊生成對抗網絡的圖像生成方法，其特征在于，所述的生成器中的反卷積層中核的大小為5×5，步長為2；

所述的生成器中的ReLU層采用ReLU激活函數，實現數據的非線性變換；

所述的生成器中的BN層使用Batch Normalization實現訓練優化；

所述的生成器中的激活層使用Sigmoid或者tanh激活函數；

所述的生成器最終生成的圖像尺寸等于步驟S2中裁剪圖像的尺寸。