[發(fā)明專利]基于結(jié)合圖像像素先驗(yàn)和圖像梯度先驗(yàn)的圖像去模糊方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010543543.3
• 申請(qǐng)日: 2020-06-15
• 公開（公告）號(hào): CN111681188B
• 公開（公告）日: 2022-06-17
• 發(fā)明（設(shè)計(jì)）人: 祁清
• 申請(qǐng)（專利權(quán)）人: 青海民族大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 劉子文

本發(fā)明公開了一種基于結(jié)合圖像像素先驗(yàn)和圖像梯度先驗(yàn)的圖像去模糊方法，包括以下步驟：準(zhǔn)備數(shù)據(jù)；搭建生成對(duì)抗網(wǎng)絡(luò)模型，包括兩個(gè)子網(wǎng)分別記做DNet和GNet。DNet從圖像像素域?qū)D像的內(nèi)容進(jìn)行恢復(fù)，GNet從圖像梯度域?qū)D像的梯度進(jìn)行恢復(fù)；設(shè)置目標(biāo)損失函數(shù)：包括約束DNet子網(wǎng)的目標(biāo)損失函數(shù)包括：圖像內(nèi)容目標(biāo)損失函數(shù)L_content、圖像像素級(jí)重建目標(biāo)損失函數(shù)L_pixel；另一方面，GNet子網(wǎng)的目標(biāo)損失函數(shù)由L_GradientNet構(gòu)成，L_GradientNet的作用是縮小標(biāo)簽圖像的梯度強(qiáng)度圖和生成的模糊圖像梯度強(qiáng)度圖之間的差距；判別器中的目標(biāo)損失函數(shù)L_adv，L_adv用于對(duì)生成圖像與標(biāo)簽圖像的真假進(jìn)行判別，驅(qū)使生成器生成圖像接近標(biāo)簽圖像。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理、計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體涉及一種基于結(jié)合圖像像素先驗(yàn)和圖像梯度先驗(yàn)的圖像去模糊方法。

背景技術(shù)

作為外界客觀世界信息記錄和傳遞的載體，圖像一直是人類獲取和辨別客觀世界信息的主要來(lái)源和手段。然而，在圖像的拍攝過程中會(huì)經(jīng)常發(fā)生由相機(jī)抖動(dòng)或物體運(yùn)動(dòng)引發(fā)的圖像模糊問題。由于模糊的圖像失去了清晰的邊緣和豐富的紋理信息，使得人們很難從中獲取清晰的內(nèi)容和精細(xì)的信息。因此，如何清晰化運(yùn)動(dòng)模糊圖像，使其可以更好的應(yīng)用于高級(jí)圖像處理(圖像檢測(cè)、圖像識(shí)別)等領(lǐng)域已經(jīng)成為了一個(gè)研究熱點(diǎn)。

針對(duì)圖像去模糊這個(gè)問題，現(xiàn)有的技術(shù)方法可以概括以下兩個(gè)方面：基于傳統(tǒng)的圖像先驗(yàn)的圖像去模糊方法和基于深度學(xué)習(xí)的圖像去模糊方法。基于傳統(tǒng)方法的圖像去模糊方法依靠于從圖像中手動(dòng)提取先驗(yàn)或圖像的統(tǒng)計(jì)信息，并在此基礎(chǔ)上建模優(yōu)化方程，通過迭代求解優(yōu)化方程得到恢復(fù)后的圖像。由于傳統(tǒng)方法僅在有限的圖像上提取先驗(yàn)，因此這類方法只在特定模糊圖像上獲得較好的去模糊結(jié)果，而在其他模糊圖像上泛化性較低。此外，迭代求解優(yōu)化函數(shù)需要耗費(fèi)大量的時(shí)間，因而這類方法并不能很好的滿足算法對(duì)實(shí)時(shí)性的要求。基于深度學(xué)習(xí)的圖像去模糊問題通過在大量的數(shù)據(jù)集上提取特征，并在網(wǎng)絡(luò)模型訓(xùn)練的過程中不斷迭代選取更適合圖像恢復(fù)的權(quán)值，從而恢復(fù)潛在的標(biāo)簽圖像。雖然圖像去模糊問題已經(jīng)取得了一些成績(jī)，但恢復(fù)得到的圖像并不十分令人滿意。例如，一些基于深度學(xué)習(xí)的方法中存在網(wǎng)絡(luò)參數(shù)過多、網(wǎng)絡(luò)模型過大的問題，而這無(wú)疑對(duì)網(wǎng)絡(luò)訓(xùn)練在硬件配置方面提出了更高的要求；另外一些方法僅適用于合成的模糊圖像，在實(shí)際的模糊圖像中泛化性和魯棒性較弱。

發(fā)明內(nèi)容

本發(fā)明的目的是為了克服現(xiàn)有圖像去模糊技術(shù)中的不足，聯(lián)合利用圖像梯度先驗(yàn)和對(duì)抗生成模型，研究一種能夠有效提升圖像去模糊性能，恢復(fù)圖像的細(xì)節(jié)以及結(jié)構(gòu)的圖像去模糊方法。

本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：

基于結(jié)合圖像像素先驗(yàn)和圖像梯度先驗(yàn)的圖像去模糊方法，包括以下步驟：

(1)準(zhǔn)備實(shí)驗(yàn)數(shù)據(jù)，具體包括模糊圖像和標(biāo)簽圖像；

(2)設(shè)置生成器和判別器的網(wǎng)絡(luò)結(jié)構(gòu)框架；生成器由DNet和GNet兩個(gè)獨(dú)立的子網(wǎng)組成，每個(gè)子網(wǎng)均采用U型網(wǎng)絡(luò)結(jié)構(gòu)，U型網(wǎng)絡(luò)結(jié)構(gòu)包括編碼器和解碼器兩部分；將模糊圖像輸入到判別器中，所述編碼器用于下采樣并提取模糊圖像中的細(xì)節(jié)特征進(jìn)行編碼，解碼器用于上采樣并得到生成圖像(在網(wǎng)絡(luò)的訓(xùn)練過程中，經(jīng)過生成器學(xué)習(xí)得到的圖像)；其中，DNet從圖像像素域的層面對(duì)模糊圖像的內(nèi)容進(jìn)行恢復(fù)，GNet從圖像梯度域的層面對(duì)模糊圖像的梯度進(jìn)行恢復(fù)；

判別器采用PatchGAN作為判別器的網(wǎng)絡(luò)結(jié)構(gòu)，具體包括一個(gè)平卷積層、三個(gè)下采樣卷積層、以及一個(gè)經(jīng)過Sigmoid激活函數(shù)激活的卷積層；將生成圖像和標(biāo)簽圖像輸入到判別器中，所述下采樣卷積層用于下采樣并編碼用于表征分類響應(yīng)的生成圖像和標(biāo)簽圖像的局部特征；經(jīng)過Sigmoid激活函數(shù)激活的卷積層用于得到最終的分類響應(yīng)；判別器內(nèi)每個(gè)卷積層后面都添加有Instance Normalization樣本標(biāo)準(zhǔn)化層和Leaky ReLU激活函數(shù)，且每個(gè)卷積層的卷積核大小為4×4；