[發明專利]基于漸進式感知和超輕量級網絡的圖像超分辨率重建方法

有效

• 申請號: 202110381620.4
• 申請日: 2021-04-09
• 公開（公告）號: CN113096015B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 高新波;惠政;路文;張弘毅;孫曉鵬;何立火;張立澤
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

1.一種基于漸進式感知和超輕量級網絡的圖像超分辨率重建方法，其特征在于，將分別構建的低參數密度內容重建生成網絡和感知重建生成網絡組成超輕量級網絡；生成包括高分辨率圖像和符合真實圖像降質的低分辨率圖像的訓練集；通過訓練集訓練內容重建網絡得到內容特征，再利用訓練集和內容特征訓練感知重建網絡和判別網絡；得到訓練好的漸進式感知網絡；該方法具體步驟包括如下：

(1)構建低參數密度的內容重建生成網絡：

(1a)搭建一個由內容特征提取模塊和上采樣模塊組成的低參數密度的內容重建生成網絡；

所述內容特征提取模塊的結構依次為：第1卷積層，第1殘差模塊，第2殘差模塊，第3殘差模塊，第4殘差模塊，第2卷積層；

第1至第4殘差模塊的結構相同，每個殘差模塊的結構依次為：第1卷積層，第1激活層，第2卷積層，其中第1卷積層的輸入和第2卷積層的輸出相連接；

所述上采樣模塊的結構依次為：最近鄰插值放大層，第1卷積層，第1激活層，第2卷積層；

(1b)設置內容重建生成器網絡中每層的參數：

將所有卷積層中卷積核大小均設置為3×3，卷積核個數均設置為12，卷積步長均設置為1，所有激活層均由ReLU函數實現；

(2)構建低參數密度的感知重建生成網絡：

搭建一個由感知特征提取模塊和上采樣模塊組成的低參數密度的感知重建生成網絡；

所述感知特征提取模塊的結構依次為，第1殘差模塊，第2殘差模塊，第3殘差模塊，第4殘差模塊級聯構成，每個殘差模塊與步驟(1)中搭建的殘差模塊結構和設置的參數相同；

所述上采樣模塊與(1)中搭建的上采樣模塊結構和設置的參數相同；

(3)生成訓練集：

(3a)將至少1500張高分辨率的自然圖像、至少100張高分辨率文字圖像和至少100張高分辨率動畫圖像組成高分辨率圖像的數據集；

(3b)對每張高分辨率自然圖像依次做1/2倍下采樣和各向異性高斯模糊核處理，得到與該高分辨率自然圖像對應的低分辨率圖像；

(3c)對每張高分辨率文字圖像，動畫圖像依次做1/2倍下采樣得到與該高分辨率文字圖像，動畫圖像對應的低分辨率圖像；

(3d)將每張高分辨率圖像裁剪為大小為512×512的圖像塊，將每張低分辨率圖像裁剪為大小為256×256的低分辨率圖像塊；

(3f)將裁剪后所有的高分辨率圖像塊和低分辨率圖像塊組成訓練集；

(4)訓練內容重建生成網絡：

(4a)將訓練集中的低分辨率圖像塊依次輸入到內容重建生成網絡中，輸出該圖像塊超分后的高分辨率圖像塊，利用內容重建生成網絡損失函數，計算內容重建生成網絡的損失值；

(4b)將內容重建生成網絡的損失值輸入到Adam優化器中，計算內容重建生成網絡每個卷積層的每個卷積核的所有梯度，迭代更新內容重建生成網絡每個卷積層的每個卷積核的所有權重500代，得到訓練好的內容重建生成網絡；保存訓練好的內容重建生成網絡中每個卷積層的每個卷積核的所有權重；

(4c)將訓練集中的每個低分辨率圖像塊依次輸入到訓練好的內容重建網絡中，內容特征提取模塊輸出該低分辨率圖像塊內容的特征；

(5)利用訓練集和內容特征訓練感知重建網絡和判別網絡：

(5a)將每個低分辨率圖像塊內容的特征輸入到感知重建生成網絡，經感知特征提取模塊和上采樣模塊輸出該圖像塊的高分辨率圖像塊，利用感知重建生成網絡損失函數計算感知重建生成網絡損失值，將感知重建生成網絡的損失值輸入到Adam優化器中，計算感知重建生成網絡每個卷積層的每個卷積核的所有梯度，更新內容感知生成網絡每個卷積層的每個卷積核的所有權重；

(5b)將每個低分辨率圖像塊內容的特征輸入到感知重建生成網絡中，經感知特征提取模塊和上采樣模塊輸出該圖像塊的高分辨率圖像塊，將高分辨率圖像塊和真實的高分辨率圖像塊輸入到判別網絡中，利用判別損失函數計算判別網絡的損失值，將判別網絡的損失值輸入到Adam優化器中，計算判別網絡每個卷積層的每個卷積核的所有梯度，更新判別網絡每個卷積層的每個卷積核的所有權重；

(5c)依次重復執行步驟(5a)、(5b)，對感知重建生成網絡和判別網絡進行交替訓練，迭代更新參數180代，得到訓練好感知重建生成網絡；保存訓練好的感知重建生成網絡中每個卷積層的每個卷積核的所有權重；

(6)對自然圖像進行超分辨率重建：

將待重建的低分辨率自然圖像輸入到訓練好的內容重建生成網絡，輸出結果再經感知重建生成網絡，最終輸出該圖像的高分辨率圖像。