[發(fā)明專利]一種進(jìn)行運動模糊復(fù)原的雙重生成對抗網(wǎng)絡(luò)及其運行方法

在審

• 申請?zhí)枺?/td>: 202010565935.X
• 申請日: 2020-06-19
• 公開（公告）號: CN111833267A
• 公開（公告）日: 2020-10-27
• 發(fā)明（設(shè)計）人: 崔光茫;陳穎;趙巨峰
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 杭州杭誠專利事務(wù)所有限公司 33109
• 代理人: 尉偉敏

本發(fā)明提出一種進(jìn)行運動模糊復(fù)原的雙重生成對抗網(wǎng)絡(luò)，包括數(shù)據(jù)集清晰域、數(shù)據(jù)集模糊域、偶合的第一生成對抗網(wǎng)絡(luò)和第二生成對抗網(wǎng)絡(luò)，所述第一生成對抗網(wǎng)絡(luò)包括原始生成器G_A以及對應(yīng)的原始判別器D_A，所述第二生成對抗網(wǎng)絡(luò)包括對偶生成器G_B以及對應(yīng)的對偶判別器D_B。本發(fā)明解決了去模糊數(shù)據(jù)集難獲取的難題，只需分別獲取足夠多的模糊圖像和清晰圖像即可，用兩個一樣的生成對抗網(wǎng)絡(luò)形成一個雙重對抗網(wǎng)絡(luò)，實現(xiàn)可以在非成數(shù)據(jù)集上訓(xùn)練。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其是涉及一種進(jìn)行運動模糊復(fù)原的雙重生成對抗網(wǎng)絡(luò)及其運行方法。

背景技術(shù)

在電子設(shè)備廣泛普及的今天，照片成了記錄生活的重要方式，監(jiān)控成了找到犯罪嫌疑人的有利手段。在圖像獲取的過程中經(jīng)常會受到一些因素的影響導(dǎo)致圖像質(zhì)量下降，例如攝影設(shè)備未聚焦，電路噪聲，相機(jī)抖動和被攝物體運動等。因此圖像模糊分為很多種，其中最常見也是處理難度最大的就是運動模糊。相機(jī)運動和目標(biāo)物體運動是產(chǎn)生運動模糊的主要兩大原因。在街道上的智能監(jiān)控和自動駕駛都需要有效的去模糊算法先去除運動模糊增加識別率。因此，圖像去模糊是機(jī)器識別任務(wù)中預(yù)處理的一環(huán)，可以增加應(yīng)用在實際場景中的識別率。

當(dāng)深度學(xué)習(xí)讓計算機(jī)視覺領(lǐng)域獲得突飛猛進(jìn)的發(fā)展后，各地學(xué)者也紛紛開始使用深度網(wǎng)絡(luò)來處理圖像去模糊問題。2016年，Nah等人提出使用多尺度的卷積神經(jīng)網(wǎng)絡(luò)直接對圖像進(jìn)行去模糊。他們使用了“端到端”(End-to-end)的訓(xùn)練方式，讓網(wǎng)絡(luò)直接輸出重建后的清晰圖像。

這種端到端的訓(xùn)練方式讓數(shù)據(jù)集占據(jù)著很重要的地位。然而與圖像超分辨任務(wù)和圖像風(fēng)格轉(zhuǎn)換任務(wù)不一樣的是，圖像去模糊數(shù)據(jù)集很難獲得。在某個場景下拍攝得到一張模糊圖像，把它拿回原位置再重新拍攝一張清晰的圖像，由于拍攝的角度、光線、位置不可能完全相同，這兩張圖像的構(gòu)圖并不會完全相同。所以去模糊數(shù)據(jù)集的獲取成為了去模糊過程中的一大難題。大多數(shù)學(xué)者們專注于研究如何合成盡可能真實的模糊圖像，并在合成的數(shù)據(jù)集中訓(xùn)練去模糊模型。合成的數(shù)據(jù)集和真實場景中拍攝的模糊圖數(shù)據(jù)分布有很大的區(qū)別，使得在合成的數(shù)據(jù)集上訓(xùn)練的去模糊算法運用到真實拍攝的模糊圖像時去模糊效果下降，缺乏良好的泛化能力。此外，強(qiáng)有力的監(jiān)督可能導(dǎo)致算法過度擬合訓(xùn)練數(shù)據(jù)，因此不能很好地推廣到真實圖像。

發(fā)明內(nèi)容

本發(fā)明解決了去模糊數(shù)據(jù)集難獲取以及去模糊算法實用性低的問題，提出一種進(jìn)行運動模糊復(fù)原的雙重生成對抗網(wǎng)絡(luò)及其運行方法，在非成對去模糊數(shù)據(jù)集上訓(xùn)練，解決了去模糊數(shù)據(jù)集難獲取的難題，只需分別獲取足夠多的模糊圖像和清晰圖像即可，用兩個一樣的生成對抗網(wǎng)絡(luò)形成一個雙重對抗網(wǎng)絡(luò)，實現(xiàn)可以在非成數(shù)據(jù)集上訓(xùn)練。

為實現(xiàn)上述目的，本發(fā)明提供以下的技術(shù)方案：

一種進(jìn)行運動模糊復(fù)原的雙重生成對抗網(wǎng)絡(luò)，包括數(shù)據(jù)集清晰域、數(shù)據(jù)集模糊域、偶合的第一生成對抗網(wǎng)絡(luò)和第二生成對抗網(wǎng)絡(luò)，所述第一生成對抗網(wǎng)絡(luò)包括原始生成器G_A以及對應(yīng)的原始判別器D_A，所述第二生成對抗網(wǎng)絡(luò)包括對偶生成器G_B以及對應(yīng)的對偶判別器D_B，所述原始生成器G_A將模糊圖像轉(zhuǎn)化為清晰圖像，原始判別器D_A判斷原始生成器G_A生成的清晰圖像與數(shù)據(jù)集清晰域中的清晰圖像的擬合程度，優(yōu)化原始生成器G_A；所述對偶生成器G_B將清晰圖像轉(zhuǎn)換為模糊圖像，對偶判別器D_B判斷對偶生成器G_B生成的模糊圖像與數(shù)據(jù)集模糊域中的模糊圖像的擬合程度，優(yōu)化對偶生成器G_B。