[發明專利]基于多判別器協作的圖像生成方法及系統

在審

• 申請號: 202210653438.4
• 申請日: 2022-06-09
• 公開（公告）號: CN114898004A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 高飛;韓旭;陳鵬輝;王俊;羅喜伶
• 申請（專利權）人: 北京航空航天大學杭州創新研究院
• 主分類號: G06T9/00
• 分類號: G06T9/00;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京八月瓜知識產權代理有限公司 11543
• 代理人: 陳贏

本說明書實施例提供了一種基于多判別器協作的圖像生成方法和系統，該方法包括采集獲取真實圖像初始集，預處理后得到真實圖像數據集；構造生成器網絡和判別器網絡，噪聲輸入至生成器網絡獲得生成圖像集；基于生成圖像集和真實圖像送入各判別器得到各判別結果并進行求取平均值獲得聯合損失函數，通過梯度歸一化法對聯合損失函數進行梯度約束，得到歸一化損失函數，計算判別器和生成器的損失函數并進行判別器網絡和生成器網絡的參數更新獲得最優的生成器網絡；通過最優的生成器網絡生成圖像。本發明通過多個判別器的協作與梯度歸一化方法，減輕了收斂不穩定和模式崩潰等GANs訓練過程中的問題，提升了GANs生成圖像的質量與多樣性。

技術領域

本文件涉及計算機視覺技術領域，尤其涉及一種基于多判別器協作的圖像生成方法及系統。

背景技術

隨著計算機運算性能的快速增長與神經網絡相關理論的發展，圖像生成技 術得到了很大進步，比較典型的模型有Pixel Recurrent Neural Networks一類的 自回歸模型、Real-valued Non-volume Preserving Transformations一類的流模型、 變分自編碼器和生成對抗網絡(Generative Adversarial Networks，GANs)等。 相對于傳統的自編碼、自回歸等非監督學習模型來說，GANs具備計算速度快、 生成樣本質量更好(特別是圖像的高頻部分)、擴充靈活性較強等優點。

GANs作為一種隱式模型，并不對數據真實分布的表達式進行求解，但它 能夠通過生成器網絡與判別器網絡之間的對抗學習，模仿數據的真實分布來生 成仿真樣本，這是由GANs網絡特別的結構所決定的。GANs由生成器網絡 (Generator，G)和判別器網絡(Discriminator，D)構成，其中G通過輸入的 噪聲向量生成“以假亂真”的仿真圖像，而D則嘗試區分仿真圖像與真實圖 像，兩個網絡互相對抗，又相互學習以提升自身的網絡性能，最終G的生成圖 像的分布越來越逼近真實圖像的分布。

GANs的性能往往被收斂不穩定和模式崩潰等問題制約。訓練不穩定問題 往往是梯度消失和梯度爆炸問題導致，其中，梯度消失使Kullback-Leibler散 度或Jensen-Shannon散度作為生成圖像分布與真實圖像分布之間差異性的度量 標準無法為神經網絡的優化提供有效的梯度信息；模式崩潰使生成圖像的多樣 性很差，即模型沒有全面地學習真實圖像的特征模式，而梯度爆炸問題會引起 網絡參數的震蕩，使得模型難以收斂。

有鑒于此，亟需提供一種能夠解決現有的GANs方法中存在的生成圖像質 量不高、多樣性不足的問題。

發明內容

本說明書一個或多個實施例提供了一種基于多判別器協作的圖像生成方 法，包括步驟：

采集獲取真實圖像初始集，對真實圖像初始集進行預處理后得到真實圖像 數據集；

構造生成器網絡和判別器網絡，判別器網絡由多個初始化方法與學習率不 同的判別器構成；

采樣高斯白噪聲輸入至生成器網絡獲得生成圖像集；

基于生成圖像集，從真實圖像數據集中獲取等數量的真實圖像，拼接真實 圖像與生成圖像并將其送入各判別器得到各判別結果；

將各判別結果進行求取平均值獲得聯合損失函數，通過梯度歸一化法對聯 合損失函數進行梯度約束，得到歸一化損失函數，通過歸一化損失函數計算判 別器損失函數與生成器損失函數并進行判別器網絡和生成器網絡的參數更新， 直至獲得最優的生成器網絡；最后通過最優的生成器網絡生成圖像。

本說明書一個或多個實施例提供了一種基于多判別器協作的圖像生成系 統，包括

圖像采集及處理單元：用于采集獲取真實圖像初始集，對真實圖像初始集 進行預處理后得到真實圖像數據集；

圖像生成單元：用于通過訓練好的生成器網絡生成圖像；