[發明專利]一種基于生成對抗網絡的圖像多樣性增強方法與系統

有效

• 申請號: 202111561049.0
• 申請日: 2021-12-20
• 公開（公告）號: CN113947706B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 唐彰國;張健;李煥洲;王涵
• 申請（專利權）人: 四川師范大學
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/762;G06V10/774;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 成都為知盾專利代理事務所(特殊普通合伙) 51267
• 代理人: 李漢強

本發明公開了一種基于生成對抗網絡的圖像多樣性增強方法與系統，屬于機器學習技術領域，為解決小樣本學習、任意圖像數據集樣本擴充與平衡等問題，本發明的技術方案包括生成器模塊，判別器模塊和聚類可視化模塊。生成器模塊利用噪聲生成新的對抗樣本圖像；判別器模塊將原有圖像數據集和對抗樣本進行“真假”比對；聚類可視化模塊計算生成的對抗樣本的種群數量。該發明創新性的將“壓縮編碼函數”與“辛普森多樣性指數”相結合，提出了分類導向的多樣性最大化損失函數，能在保證生成對抗樣本圖像的保真度的同時，有效提升種群內樣本的多樣性。

技術領域

本發明屬于機器學習技術領域，具體涉及一種基于生成對抗網絡的圖像多樣性增強方法與系統。

背景技術

生成式對抗網絡（GAN, Generative Adversarial Networks ）是一種在2014年由Goodfellow等人提出的深度學習模型，是近年來深度學習界中熱門模型之一。原始的生成式對抗網絡模型框架中擁有兩個模塊：生成模塊（Generative Model）和判別模塊（Discriminative Model）。兩個模塊通過它們之間的“博弈”來達到使用者想要得到的效果。在生成式對抗網絡實例中常使用深度神經網絡作為生成模塊和判別模塊。一個“訓練有素”的生成式對抗網絡對合適的訓練方法有非常高的需求，否則可能因為神經網絡模型的無監督性而導致訓練結果不盡人意。

現有技術中，一部分相關人員在進行對生成對抗網絡的改進時，他們對生成對抗網絡中的生成模塊以及判別模塊的損失函數進行改進，如使用地球移動距離代替常見的交叉熵損失函數，但并未對生成模塊和判別模塊的神經網絡結果進行改進，神經網絡中依然全部使用全連接層。又或者一部分人是對生成模塊和判別模塊的神經網絡結構進行改進，但是并未涉及到其損失函數的改進，通常還是使用常見的交叉熵損失函數。

現有技術存在以下技術問題：

在對生成對抗網絡進行改進時，現有技術雖然能使生成的對抗樣本的清晰度更高，更貼合原始圖像數據集中的圖像。但是通過現有技術對生成對抗網絡進行改進會出現模式崩塌的問題。導致生成的圖像千篇一律，并未能讓圖像的多樣性有所增強。

發明內容

針對上述現有技術中存在的問題，本發明提出了一種基于生成對抗網絡的圖像多樣性增強方法與系統，其目的為：解決傳統生成式對抗網絡模型中的模式坍塌問題。使圖像低維度表征被最大化表達，做到對樣本保真度和多樣性之間的權衡進行精細控制。

為實現上述目的本發明所采用的技術方案是：提供一種基于生成對抗網絡的圖像多樣性增強方法，應用于裝有Tensorflow框架的Windows系統設備，包括：

S1:搭建一個生成對抗網絡模型，包括聚類模塊、具有分類導向的損失函數、判別器模塊和生成器模塊；

S2：將采集的圖像數據形成原始圖像數據集，并對所述原始圖像數據集做歸一化預處理，并定義優化器和損失函數；

本發明利用Tensorflow2.0自帶的tf.data.Dataset.from_tensor_slices()函數，導入原始圖像數據集之后，通過shuffle()函數進行數據打亂，之后利用map()函數并結合定義好的預處理函數對原始圖像數據集進行歸一化操作，之后再利用batch()函數,定義放入模型訓練圖像的數量；

S3:使用Tensorflow框架的函數生成噪聲，將生成的噪聲放入生成器模塊，生成對應的圖像對抗樣本；

S4:所述圖像對抗樣本進入聚類模塊,然后聚類模塊對所述圖像對抗樣本進行聚類，并得出聚類數值；

S5:所述原始圖像數據集和所述圖像對抗樣本進入判別器模塊，判別器模塊根據所述原始圖像數據集對所述圖像對抗樣本進行判斷，輸出一個判斷結果;