[發(fā)明專利]一種基于頻譜特征判別的圖像生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011457259.0
• 申請(qǐng)日: 2020-12-11
• 公開（公告）號(hào): CN112529080B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計(jì)）人: 陳元祺;靳策策;劉杉;李宏;李革
• 申請(qǐng)（專利權(quán)）人: 深圳龍崗智能視聽研究院
• 主分類號(hào): G06V10/764
• 分類號(hào): G06V10/764;G06V10/42;G06V10/82;G06N3/0475;G06N3/08;G06V10/98
• 代理公司: 北京京萬通知識(shí)產(chǎn)權(quán)代理有限公司 11440
• 代理人: 萬學(xué)堂;王躍交

本發(fā)明的基于頻譜特征判別的圖像生成方法，包括如下步驟：將頻譜分類器嵌入原判別器中得到增強(qiáng)后的判別器；將輸入圖像輸入到增強(qiáng)后的判別器中，同時(shí)從空域和頻域兩個(gè)層面對(duì)輸入圖像進(jìn)行真實(shí)度的評(píng)估，得到輸入圖像的頻域真實(shí)度和空域真實(shí)度；以及將頻域真實(shí)度和空域真實(shí)度加權(quán)整合后，得到輸入圖像的總體真實(shí)度。本發(fā)明的基于頻譜特征判別的圖像生成方法使用增強(qiáng)后的判別器，能夠得到學(xué)習(xí)高頻信息的有效激勵(lì)，從而獲得更佳的生成質(zhì)量，在高分辨率和低分辨率的圖像生成任務(wù)上本發(fā)明增強(qiáng)后的模型相較于基準(zhǔn)模型都有一定的提升。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像生成和生成對(duì)抗網(wǎng)絡(luò)領(lǐng)域，具體地，涉及一種基于頻譜特征判別的圖像生成方法。

背景技術(shù)

生成對(duì)抗網(wǎng)絡(luò)近期的迅速發(fā)展極大地推進(jìn)了計(jì)算機(jī)視覺和圖像處理領(lǐng)域，在諸如圖像補(bǔ)全，圖像上色和圖像轉(zhuǎn)換等任務(wù)上，基于生成對(duì)抗網(wǎng)絡(luò)的模型取得了較好地效果。生成對(duì)抗網(wǎng)絡(luò)包括生成器和判別器兩個(gè)部分，其中，訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)的過程是一個(gè)極大極小博弈的過程。在其中，生成器的目標(biāo)是產(chǎn)生足夠以假亂真的樣本來混淆判別器；判別器則嘗試將來自真實(shí)數(shù)據(jù)分布的樣本和生成的樣本區(qū)分開。通過這種對(duì)抗訓(xùn)練，最終生成器將能夠生成與真實(shí)數(shù)據(jù)較接近的樣本。

在標(biāo)準(zhǔn)的生成對(duì)抗網(wǎng)絡(luò)框架下，對(duì)于判別器，對(duì)抗損失函數(shù)為：

其中，D(x)代表樣本x來自分布P_data的概率，即，D(x)衡量了樣本x的真實(shí)度。若x為真實(shí)的，則從所有角度來看，它都將被認(rèn)定為真實(shí)樣本。然而，近期的研究顯示，即使生成對(duì)抗網(wǎng)絡(luò)能夠生成在空域上足夠真實(shí)的圖像，但是當(dāng)從頻域來評(píng)估真實(shí)度時(shí)，生成模型往往不能獲得較好的性能。這表明不能僅僅從空域來衡量生成樣本的真實(shí)度。

生成對(duì)抗網(wǎng)絡(luò)所生成的圖像頻域真實(shí)度不足，表現(xiàn)在與真實(shí)圖像相比，在高頻部分的分布具有較大差異。這種差異會(huì)帶來兩種問題：其一是由于空域和頻域的對(duì)應(yīng)性，頻域差異意味著生成模型在空域也沒有很好地捕捉到真實(shí)數(shù)據(jù)分布的特征；其二，高頻影響著圖像的細(xì)節(jié)準(zhǔn)確度，對(duì)于圖像生成任務(wù)，高頻信息同樣重要，高頻部分的異常將導(dǎo)致生成圖像中細(xì)節(jié)的失真。

生成對(duì)抗網(wǎng)絡(luò)之所以無法學(xué)習(xí)數(shù)據(jù)分布的高頻信息，是因?yàn)樯蓪?duì)抗網(wǎng)絡(luò)中的判別器缺乏對(duì)于高頻部分的判別能力。當(dāng)對(duì)輸入圖像的高頻部分進(jìn)行不同的調(diào)整，判別器網(wǎng)絡(luò)將輸出近似的判別概率。這導(dǎo)致生成器缺乏來自判別器的激勵(lì)，以學(xué)習(xí)真實(shí)數(shù)據(jù)分布的高頻信息。

判別器對(duì)高頻部分判別能力的缺失源域判別器網(wǎng)絡(luò)中的下采樣層。下采樣層可以分為兩類，無抗混疊的下采樣層和抗混疊的下采樣層。對(duì)于無抗混疊的下采樣層，包括現(xiàn)今深度學(xué)習(xí)中常用的極大值池化層、均值池化層和帶步長卷積層等，由于忽視了奈奎斯特采樣定理，在下采樣之后，高頻部分往往會(huì)產(chǎn)生混疊，從而使高頻信息失效。對(duì)于抗混疊的下采樣層，在下采樣操作之前，會(huì)先對(duì)信號(hào)進(jìn)行低通濾波，過濾掉部分高頻信息。雖然減輕了混疊效應(yīng)，但在進(jìn)行低通濾波時(shí)高頻信息會(huì)被抑制。總而言之，兩類下采樣層都會(huì)導(dǎo)致判別器喪失對(duì)高頻部分的判別能力。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于頻譜特征判別的圖像生成方法，能夠得到學(xué)習(xí)高頻信息的有效激勵(lì)，從而獲得更佳的生成質(zhì)量。

本發(fā)明的技術(shù)方案如下：

本發(fā)明的基于頻譜特征判別的圖像生成方法，包括如下步驟：步驟一：將頻譜分類器嵌入原判別器中得到增強(qiáng)后的判別器；步驟二：將輸入圖像輸入到增強(qiáng)后的判別器中，同時(shí)從空域和頻域兩個(gè)層面對(duì)輸入圖像進(jìn)行真實(shí)度的評(píng)估，得到輸入圖像的頻域真實(shí)度和空域真實(shí)度；以及步驟三：將頻域真實(shí)度和空域真實(shí)度加權(quán)整合后，得到輸入圖像的總體真實(shí)度。

優(yōu)選的，在上述圖像生成方法中，在步驟一中，還包括構(gòu)造頻譜分類器以對(duì)輸入圖像頻譜進(jìn)行真實(shí)度的衡量。