[發明專利]基于RRDB的生成對抗網絡的圖像去模糊算法

在審

• 申請號: 202011594945.2
• 申請日: 2020-12-29
• 公開（公告）號: CN112651894A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 王娟;蔡霖康;劉子杉;陳關海;丁暢;袁旭亮;柯聰
• 申請（專利權）人: 湖北工業大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魯力

1.基于RRDB的生成對抗網絡的圖像去模糊算法，其特征在于，該算法基于DeblurGAN(盲去模糊生成對抗網絡)模型，模型包括RRDB(嵌套殘差密集塊)，模型中，損失函數包含對抗損失函數、由像素空間損失和感知損失構成的內容損失函數，即L＝L_GAN+aL_percep+bL_pixel：

步驟1：采集模糊圖像樣本，輸入基于RRDB的生成器中，生成去模糊后的清晰圖像樣本；

步驟2：利用判別器判別數據集中原始清晰樣本和步驟1生成清晰樣本，最終得到去模糊圖像的真實樣本；

步驟3：使用總體去模糊損失函數L對生成圖像判別，進行損失計算；使用Wasserstein距離來衡量真實清晰樣本圖像與生成樣本圖像的相似性，從而實現對真實樣本和生成樣本的分類。

2.根據權利要求1所述的基于RRDB的生成對抗網絡的圖像去模糊算法，其特征在于，所述損失函數中，L_GAN、aL_percep、bL_pixel分別基于如下：

a為感知損失加權參數；b為像素空間損失加權參數；

對抗損失計算表達式為：

其中，為判別器D和判別器參數θ_D，為生成器G和生成器參數θ_G；I_B為輸入給生成器的模糊樣本圖像，I_S為真實樣本圖像，N為樣本數量；

像素空間損失表達式為：

其中，W和H分別為樣本圖像的長度和寬度；

感知損失表達式為：

其中，W_i,j和H_i,j分別是特征圖的維度，φ_i,j是VGG19網絡里第j個卷積層之前，第i個最大池化層之后的特征圖。

3.根據權利要求1所述的基于RRDB的生成對抗網絡的圖像去模糊算法，其特征在于，所述步驟1具體包括：

生成器前端是一個7×7的和兩個3×3的卷積層，對輸入進來的圖像進行卷積來實現對圖像的下采樣，從而得到圖像的特征圖；中間是使用跳躍連接的方式相互連接的9個RRDB網絡單元；與普通的殘差單元不同，RRDB結合了多層的殘差網絡和密集連接，可以進一步加強網絡對圖像的細節特征學習；末端是兩個轉置卷積層，對輸入特征圖進行反卷積來實現圖像的上采樣；最后再經過7×7的卷積層，輸出清晰圖像；整個過程來實現端對端的圖像去模糊。

4.根據權利要求1所述的基于RRDB的生成對抗網絡的圖像去模糊算法，其特征在于，所述步驟2具體包括：

判別器實質是一個基于CNN的分類器，里面有4個4×4和一個1×1卷積層，每個卷積層包含一個實例歸一化層IN(Instance Normalization)和帶泄露整流激活函數(LReLU)；判別器對輸入的生成清晰樣本和真實樣本經5個卷積層處理后，將輸入圖像映射為N×N的概率矩陣；矩陣中的每一個元素X_ij的值，代表每一個像素補丁為真實樣本的概率；然后對每一個元素X_ij進行均值計算，最終得到判別器的輸出。

5.根據權利要求1所述的基于RRDB的生成對抗網絡的圖像去模糊算法，其特征在于，所述步驟3具體包括：

總體去模糊損失函數為三種損失函數加權求和，其表達式為：

L＝L_GAN+aL_percep+bL_pixel

其中，對抗損失加權值參數取值1，感知損失加權參數取值100，像素空間損失加權值參數取值160；

Wasserstein距離用來衡量兩個概率分布之間的距離，定義如下：

其中，П(P₁,P₂)是分布P₁和P₂的聯合分布集合；在每一個可能的聯合分布γ中采樣一個樣本x和y，計算這對樣本的距離||x-y||，從而得到在聯合分布γ下樣本對距離的期望值E(x,y)；取聯合分布中期望值的下確界得到Wasserstein距離；從而衡量真實清晰樣本圖像與生成樣本圖像的相似性，最終實現對真實樣本和生成樣本的分類。