[發明專利]一種基于生成對抗網絡的圖像樣本擴充方法

在審

• 申請號: 202211538593.8
• 申請日: 2022-12-01
• 公開（公告）號: CN115861735A
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 舒朗;韓根甲
• 申請（專利權）人: 武漢華中天經通視科技有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06N3/044;G06N3/045;G06N3/0475;G06N3/094
• 代理公司: 武漢凌達知識產權事務所(特殊普通合伙) 42221
• 代理人: 劉念濤

本發明公開了一種基于生成對抗網絡的圖像樣本擴充方法，對于單幀圖像，捕捉給定圖像中各個小塊內的內在分布，圖像樣本的生成從分辨率最低的尺度開始，依次通過所有生成器，直到分辨率最高的尺度，同時會在每個尺度中加入噪聲，在圖像生成之后，引入循環生成對抗網絡CycleGAN的一致性損失思想，將生成的圖像再通過生成器轉換回去與原圖像進行鑒別判定，來約束原圖像和生成圖像兩者間的映射關系包括。本發明通過引入CycleGAN網絡中的循環生成對抗設計，來建立穩定牢固的映射關系，確保生成圖像的穩定。

技術領域

本發明屬于計算機圖像處理技術領域，具體涉及一種基于生成對抗網絡的圖像樣本擴充方法。

背景技術

在計算機視覺領域，深度網絡模型需要大量訓練數據，當數據集較小時，訓練出的網絡容易過擬合，模型將不魯棒。而在處理包含復雜結構和紋理的一般自然圖像時，生成的圖像往往會出現失真或是風格完全變化導致與原始數據的分布結構完全不同。

在某些圖像樣本稀缺的領域，利用少樣本生成技術，擴充樣本集大小，使得訓練出的更深更復雜的網絡，能對抗復雜多變的實際場景，擁有更強的泛化能力。

發明內容

針對某些領域圖像樣本稀缺的情況，提出了一種基于生成對抗網絡的圖像樣本擴充方法。

本發明解決其技術問題所采用的技術方案是：一種基于生成對抗網絡的圖像樣本擴充方法，通過SinGAN模型捕捉給定單幀圖像中各個小塊內的內在分布，從分辨率最低的尺度開始將圖像樣本依次通過所有生成器，直到分辨率最高的尺度，同時在每個尺度中加入噪聲，所有的生成器和判別器都具有相同的感受野，在生成過程中可以捕捉到尺寸減小的結構，生成帶有與給定圖像中視覺內容相同的高質量且多樣的新圖像；在新圖像生成之后，引入循環生成對抗網絡CycleGAN的一致性損失思想，將生成的圖像再通過生成器轉換回去與原圖像進行鑒別判定，約束原圖像和生成新圖像兩者間的映射關系，得到融合了SinGAN和CycleGAN特點的Cycle-SinGAN網絡；通過SinGAN模型采用單個圖像的patch，每個SinGAN模型負責捕獲不同規模的patch分布，得到由多個全卷積GANs{G₀，G₁，…，G_N}組成的金字塔；每個生成器G_N都會生成真實圖像x_N的權重與偏置，圖像樣本從最粗的尺度開始，加入噪聲Z_N，依次通過所有生成器G_N，得到圖像x_N，將圖像x_N放大r倍后，加入另外一個噪聲Z_N－1，一并輸入生成器G_N－1，生成更多細節的圖像x_N－1，以此類推，直到最細的尺度，生成具有豐富細節的圖像x₀：其中金字塔比例因子公式為/

所述的一種基于生成對抗網絡的圖像樣本擴充方法，其CycleGAN通過一致性損失函數生成圖像：L_cyc(G,F)＝E_x～pdata(x)[||F(G(x))-x||₁]+E_y～pdata(y)[||G(F(y))-y||₁]，其中G(x)表示從原始圖像域到生成圖像域的變化，F(G(x))表示再從生成圖像域變化到原始圖像域，模型訓練希望F(G(x))與x盡可能接近，采用L1距離約束，同理也希望G(F(y))與y盡可能接近，該一致性損失確保了原始域與生成域之間映射關系的穩定。

本發明的有益效果是：本發明提出的Cycle-SinGAN的網絡結構融合了SinGAN和CycleGAN的網絡特點，SinGAN通過捕捉給定圖像中各個小塊內的內在分布，來生成帶有和給定圖像中的視覺內容相同的高質量且多樣化的新圖像。本發明通過引入CycleGAN網絡中的循環生成對抗設計，來建立穩定牢固的映射關系，確保生成圖像的穩定。

附圖說明

圖1是本發明SinGAN網絡的基本結構圖；