[發明專利]一種基于有監督逐像素生成對抗網絡的人臉超分辨率方法

有效

• 申請號: 201910879159.8
• 申請日: 2019-09-18
• 公開（公告）號: CN110689482B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 凌強;張夢磊;李峰
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 鄧治平;賈玉忠

1.一種基于有監督逐像素生成對抗網絡的人臉超分辨率方法，其特征在于，包括以下步驟：

Step 1：建立用于訓練有監督逐像素的生成對抗網絡的原始人臉圖片數據集，將數據集分為訓練集和測試集；生成對抗網絡包含生成器網絡和逐像素判別器網絡；

Step 2：對數據集中的人臉圖片進行檢測和裁剪，并篩選出符合條件的訓練集中的人臉圖片；

Step 3：隨機分批提取訓練集中的人臉圖片作為高分辨率人臉圖片，將高分辨率人臉圖片進行雙三次插值下采樣到指定分辨率作為低分辨率人臉圖片，獲得用于訓練有監督逐像素生成對抗網絡的高分辨率人臉圖像-低分辨率人臉圖像對；

Step 4：將低分辨率人臉圖像輸入到生成器網絡，生成超分辨率人臉圖像，生成器網絡生成的人臉圖像即超分辨率人臉圖像；

Step 5：將高分辨率人臉圖像和超分辨率人臉圖像分別輸入到逐像素判別器網絡中，使用逐像素判別器網絡輸出的逐像素判別矩陣計算有監督的逐像素對抗損失函數，使用誤差反向傳播訓練生成器網絡；

Step 6；計算驗證集中高分辨率人臉圖像和超分辨率人臉圖像之間的峰值信噪比是否達到設計要求，即峰值信噪比不再提高即符合設計要求；如果達到設計要求，則輸出最終訓練好的生成器網絡，否則繼續提取訓練集中的人臉圖片；

Step 7：最終得到訓練完成的生成器網絡作為低分辨率人臉超分辨率重建模型，輸入低分辨率人臉圖像得到超分辨率人臉圖像。

2.根據權利要求1所述的一種基于有監督逐像素生成對抗網絡的人臉超分辨率方法，其特征在于：所述Step 4中，生成器網絡結構如下：

生成對抗網絡輸入為低分辨率人臉圖像，首先使用9個卷積核大小3×3、步長為1的卷積層提取特征，卷積層通道數分別為128-128-128-256-256-512-512-1024-1024；然后使用卷積核大小3×3步長為1的子像素卷積層將特征圖放大到高分辨率圖像大小，輸出通道數為64；最后使用通道數為3、卷積核大小為3×3、步長為1的卷積層輸出超分辨率人臉圖像。

3.根據權利要求1所述的一種基于有監督逐像素生成對抗網絡的人臉超分辨率方法，其特征在于：所述Step 5中，逐像素判別器網絡的結構如下：

逐像素判別器網絡輸入為高分辨率人臉圖像或者超分辨率人臉圖像，然后使用9個卷積核大小為3×3、步長為1的卷積層提取特征，卷積層通道數分別為8-8-8-16-16-32-32-64-64；然后通過卷積核大小為3×3、步長為1、通道數為1的卷積層，輸出通道數為1的逐像素判別矩陣

其中：W和H代表低分辨率圖像的寬和高，r代表超分辨率倍數；D(·，·)代表逐像素判別器網絡，輸入為超分辨率圖像或者高分辨率圖片y和上采樣的低分辨率圖像x；輸出矩陣上的每個值p_i，j代表輸入圖像第i行第j列像素屬于高分辨率的概率。

4.根據權利要求3所述的一種基于有監督逐像素生成對抗網絡的人臉超分辨率方法，其特征在于：所述Step5中，有監督的逐像素對抗損失函數為：包含生成器損失函數和判別器損失函數：

D_sp(x，y)＝D(x，y)-D(x，G(x))

其中：L(D)是判別器損失函數，L(G)是生成器損失函數，生成器和判別器分別使用對應損失函數交替訓練；D(x，y)是高分辨率人臉圖像的逐像素判別器輸出，G(x)是超分辨率人臉圖像，D(x，G(x))是超分辨率人臉圖像的逐像素判別器輸出，D_sp(x，y)是根據逐像素判別器輸出計算的有監督逐像素判別矩陣，D_sp(x，y)_i，j是逐像素判別矩陣第i行第j列元素；α_i，j是逐像素判別矩陣第i行第j列元素監督參數，a是逐像素判別矩陣元素小于0時的監督參數，當a≤0時，生成的超分辨率圖像被強制與真實的高分辨率圖像相同，當a＞0時，生成的超分辨率圖像比相應的高分辨率圖像更逼真。