[發(fā)明專利]一種基于小波噪聲平滑的高保真圖像生成方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211524778.3
• 申請日: 2022-11-29
• 公開（公告）號: CN115761032A
• 公開（公告）日: 2023-03-07
• 發(fā)明（設(shè)計）人: 曾少寧;饒云波;朱佳龍;吳俊君
• 申請（專利權(quán)）人: 電子科技大學長三角研究院（湖州）
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T5/00;G06V10/774;G06N3/0464;G06N3/094
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 唐莉梅

本發(fā)明屬于計算機視覺中的圖像生成技術(shù)領(lǐng)域，公開了一種基于小波噪聲平滑的高保真圖像生成方法及系統(tǒng)，該方法主要包含：S1：初始化隨機噪聲并進行適配輸入圖像尺寸的采樣(Sampling)；S2：基于小波濾波及濾波選擇的噪聲平滑及虛擬樣本生成；S3：生成器對抗網(wǎng)絡(luò)(GAN)訓練。本發(fā)明通過小波濾波技術(shù)，經(jīng)過創(chuàng)新的濾波選擇，實現(xiàn)生成式網(wǎng)絡(luò)生成噪聲的平滑，從而更有利于生成更高保真度的高清圖像，這有利于優(yōu)化生成式對抗網(wǎng)絡(luò)的圖像生成應(yīng)用。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺中的圖像生成技術(shù)領(lǐng)域，尤其涉及一種基于小波噪聲平滑的高保真圖像生成方法。

背景技術(shù)

生成式對抗網(wǎng)絡(luò)是一種有效的高保真圖像生成技術(shù)。大部分現(xiàn)有生成式對抗網(wǎng)絡(luò)均依賴于隨機生成的噪聲來生成虛擬樣本，然后再通過判別器對該虛擬樣本的判定真?zhèn)蝸頉Q定訓練微調(diào)過程。然而，這種隨機生成的噪聲，增大了訓練難度，使訓練過程的收斂變得困難，從而難以保證生成最優(yōu)的高保真圖像。

通過上述分析，現(xiàn)有技術(shù)存在的問題及缺陷為：

在現(xiàn)有生成式網(wǎng)絡(luò)中，圖像生成依賴于隨機初始化的噪聲，極大地增加了網(wǎng)絡(luò)的訓練難度。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)存在的問題，本發(fā)明提供了一種基于小波噪聲平滑的高保真圖像生成方法。

本發(fā)明是這樣實現(xiàn)的，一種基于小波噪聲平滑的高保真圖像生成方法，其特征在于，該方法主要包含：

S1：初始化隨機噪聲z₀并進行適配輸入圖像尺寸的采樣(Sampling)；

S2：基于小波濾波及濾波選擇的噪聲平滑及虛擬樣本生成；

S3：生成器對抗網(wǎng)絡(luò)(GAN)訓練。

進一步，所述S1具體包括：

初始化長度dim_z＝128的隨機噪聲，符合高斯分布或平均分布，將其作為生成器網(wǎng)絡(luò)的初始輸入，在生成器(G)的多層次全連接神經(jīng)網(wǎng)絡(luò)(DenseNeuralNetworks)或卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetworks)中，通過深層次多輪逐級采樣之后(具體操作可因網(wǎng)絡(luò)結(jié)構(gòu)不同而不同)，得到與原始圖像尺寸一致的噪聲

進一步，所述S2具體包括：將生成器網(wǎng)絡(luò)產(chǎn)生的噪聲送入反卷積(Deconvolution)小波濾波器，通過基于小波變換的頻率域分析，得到多通道的噪聲濾波結(jié)果，從中選擇一個通道，再上采樣為原始噪聲尺寸，從而實現(xiàn)一種簡化的噪聲平滑操作，將經(jīng)過平滑之后的噪聲與真實圖像樣本結(jié)合，生成虛擬圖像樣本，作為判別器網(wǎng)絡(luò)的輸入數(shù)據(jù)。

進一步，所述S3具體包括：

在生成器網(wǎng)絡(luò)產(chǎn)生虛擬樣本之后，固定其參數(shù)，由判別器網(wǎng)絡(luò)(D)開始對虛擬樣本進行真?zhèn)伪鎰e，觸發(fā)GAN的訓練過程；具體地，根據(jù)原始的生成式對抗網(wǎng)絡(luò)Loss定義：

在增加基于小波的濾波及通道選擇的平滑操作(f_w)之后，其訓練的Loss變成：

從而將基于小波的平滑引入到網(wǎng)絡(luò)的訓練之中，通過將訓練的梯度變化(ΔE)引入到生成器和判別器網(wǎng)絡(luò)的目標函數(shù)，通過梯度上升法更新判別器網(wǎng)絡(luò)的權(quán)重：ω＝ω+ηΔE，使判別器目標函數(shù)最大化max_D()；再通過梯度下降法更新生器網(wǎng)絡(luò)權(quán)重：ω＝ω-ηΔE，使生成器目標函數(shù)最小化min_G()，以此實現(xiàn)整個網(wǎng)絡(luò)的對抗訓練。