[發明專利]基于生成對抗網絡的圖像去馬賽克方法

在審

• 申請號: 201910804744.1
• 申請日: 2019-08-28
• 公開（公告）號: CN110634103A
• 公開（公告）日: 2019-12-31
• 發明（設計）人: 侯春萍;黃丹陽;楊陽
• 申請（專利權）人: 天津大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 12201 天津市北洋有限責任專利代理事務所
• 代理人: 劉國威

1.一種基于生成對抗網絡的圖像去馬賽克方法，其特征是，步驟如下：

(1)數據集的構建：選取ImageNet數據集作為生成對抗網絡的訓練，在ImageNet數據集中隨機挑選m個種類的圖像，每個種類隨機挑選n張圖像作為訓練數據，每個類別n張圖像以外的圖像作為測試數據，構建出數據集；

(2)馬賽克的加入：利用Matlab在10000張訓練圖像上隨機位置上加入馬賽克，馬賽克的大小和程度都隨機選取；

(3)生成對抗網絡模型的構建：生成對抗網絡由兩部分構成：生成器和判別器；利用卷積神經網絡分別構成生成器和判別器，利用AlexNet為基礎構建生成器，將生成器中的前兩層網絡設計成4×4和2×2大小的卷積核的卷積層，并且以與卷積核尺寸一致的步長進行卷積，從而實現特征圖的下采樣，壓縮了特征圖的空間分辨率，并且便于特征提取，此外，要去除AlexNet中的全連接層，并且為網絡添加反卷積層，構成一個全卷積網絡，保持輸入圖像和輸出圖像的尺寸不變；

(4)生成對抗網絡的訓練：將上述構建完成的訓練數據集輸入進生成對抗網絡中，對于訓練數據，網絡每次隨機選取一批圖像進行學習，分別對判別器和生成器進行交替訓練，訓練過程采用隨機梯度下降法SGD(Stochastic gradient descent)，利用Adam(adaptivemoment estimation)優化器進行最優化。

2.如權利要求1所述的基于生成對抗網絡的圖像去馬賽克方法，其特征是，還包括網絡性能的測試步驟：對于測試數據集，利用與訓練數據同樣的處理方法加入馬賽克，然后把訓練完成的GAN中的生成器單獨拿出來作為去馬賽克器，將含有馬賽克的測試數據輸入進生成器中，輸出的圖像被認為就是去馬賽克后的圖像，通過計算去馬賽克后的輸出圖像與不含馬賽克的原始圖像之間的峰值功率信噪比PSNR(Peak Signal to Noise Ratio)來衡量去馬賽克效果。

3.如權利要求1所述的基于生成對抗網絡的圖像去馬賽克方法，其特征是，具體步驟細化如下：

對判別器進行訓練：

對判別網絡進行訓練時將32張圖像作為一批，輸入到網絡中，把每張含有馬賽克的圖像和不含馬賽克的原始圖像連接成六通道圖像，并加入標簽為‘0’；把含有馬賽克的圖像輸入到生成器中，得到一個去馬賽克后的輸出圖像，把含有馬賽克的圖像和經過生成器處理得到的去馬賽克圖像連接成六通道圖像，并加入標簽為‘1’；六通道圖像輸入到判別器后得到判別輸出，利用二元互熵損失計算損失，二元互熵損失的定義公式如下：

式中o_i代表第圖像對的實際標簽，t_i代表第i個圖像對的輸出判別標簽，計算出的損失值的均值進行反向回傳BP(Back Propagation)實現網絡的訓練；

對生成器進行訓練：

對生成網絡的訓練中，首先從讀入的一批含有馬賽克的圖像中選取出一張圖像，然后輸入到生成器中，輸出一張去馬賽克后的圖像，將輸出的圖像與不含馬賽克的圖像進行二范數損失計算，定義如下：

其中x_i是不含馬賽克的原始圖像，y_i是去馬賽克后的圖像；

對生成網絡進行訓練：

對生成網絡的訓練過程中，首先將讀入的含有噪聲的圖像輸入到生成網絡中，輸出一張去噪后的圖像，將輸出的去噪后的圖像與圖像對中不含噪聲的圖像做一范數損失，定義如下：

然后將含有馬賽克的圖像和去馬賽克后圖像連接成六通道圖輸入進判別器中，得到輸出標簽，對輸出的標簽和標簽‘1’做二元湖上損失，得到L_E，將兩種損失值進行加權求和得到最終的生成器損失：

L_G＝L_E+λL₁

上式中λ設置為100，得到的生成器損失L_G利用BP算法進行回傳，實現生成器的訓練。