[發明專利]基于盲超分辨率網絡的圖像重建方法

在審

• 申請號: 202210083251.5
• 申請日: 2022-01-25
• 公開（公告）號: CN114494015A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 路文;胡健;孫曉鵬;張立澤;高新波;何立火
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 陳宏社;王品華

1.一種基于盲超分辨率網絡的圖像重建方法，其特征在于，包括如下步驟：

(1)獲取訓練樣本集和測試樣本集：

(1a)選取K幅RGB圖像進行高斯模糊處理，并對每幅高斯模糊處理后的RGB圖像進行1/4降采樣，得到降采樣后的K幅RGB圖像；

(1b)將每幅RGB圖像裁剪為大小為H×H的圖像塊，同時將該幅RGB圖像對應的降采樣后的RGB圖像裁剪為大小為的圖像塊，并將每幅RGB圖像裁剪的圖像塊作為對應的降采樣后裁剪的圖像塊的標簽，然后隨機選取其中半數以上的降采樣后的圖像塊及其標簽組成訓練樣本集R₁，將剩余降采樣后的圖像塊及其標簽組成測試樣本集E₁，其中，K≥2000，H≥256；

(2)構建基于盲超分辨率網絡的圖像重建模型O：

構建由D個圖像還原網絡和D-1個模糊核估計網絡相間排布的盲超分率圖像重建網絡模型O，O的損失函數L由L1范數損失函數L₁和結構相似度損失函數L_SSIM組成，L＝L₁+L_SSIM，其中，D≥2；

圖像還原網絡包括順次級聯的第一卷積層、R個殘差蒸餾模塊、上采樣模塊級；殘差蒸餾模塊包括級聯的V個殘差蒸餾單元和第二卷積層，殘差蒸餾單元包括順次級聯的第三卷積層、第四卷積層和第一非線性激活層，以及第五卷積層，第五卷積層的輸入端同時與第三卷積層和第四卷積層的輸出端相連，第五卷積層的輸出端與非線性激活層的輸出端級聯，其中，V≥2，R≥2；

模糊核估計網絡，包括順次級聯的卷積模塊、圖像質量回歸網絡和第一池化層；卷積模塊包括兩個并行排布的第六卷積層和第七卷積層；圖像質量回歸網絡包括U個級聯的圖像質量回歸模塊，圖像質量回歸模塊包括順次級聯的第八卷積層、第二非線性激活層、第九卷積層和通道注意力模塊，通道注意力模塊包括順次級聯的第二池化層、第十卷積層、第三非線性激活層、第十一卷積層、第四非線性激活層，通道注意力模塊的輸出與圖像注意力模塊的輸入相加作為標準圖像注意力模塊的輸出；其中，U≥2；

(3)對盲超分率圖像重建網絡模型O進行迭代訓練：

(3a)隨機初始化模糊核為Q，初始化模糊核池為M，初始化模糊核特征向量為T＝M·Q，初始化迭代次數為s，最大迭代次數為S，S≥10000，當前重建網絡模型為O_s，O_s的權值參數、模糊核特征向量分別為ω_s、T_s，并令s＝0，O_s＝O，T_s＝T，Q_s＝Q；

(3b)將從訓練樣本集R₁中隨機且有放回的選取N個訓練樣本和模糊核特征向量T_s作圖像重建模型O_s的輸入，圖像還原網絡對訓練樣本和模糊核特征向量T_s進行圖像重建，得到中間圖像，模糊核估計網絡對中間圖像和訓練樣本進行模糊核估計，得到模糊核特征向量Q_s，并采用模糊核損失函數，通過模糊核Q_s計算損失值L_{regularization}，然后求L_{regularization}對模糊核參數b的偏導再采用梯度下降法，對模糊核參數b進行更新，最后將更新后模糊核映射回模糊核特征向量T_s，將更新后的模糊核特征向量T_s′與訓練樣本輸入下一個圖像還原網絡進行圖像重建，如此交替往復，最后一個圖像還原網絡輸出該次迭代的重建圖像；

(3c)采用O的損失函數，并通過重建圖像和其對應訓練樣本標簽計算O_s的損失值L_s，求取L_s對權值參數ω_s的偏導再采用梯度下降法，通過將在O_s中進行反向傳播的方式對權值參數ω_s進行更新；

(3d)判斷s≥S是否成立，若是，得到訓練好的盲超分率圖像重建網絡模型O^*和模糊核特征向量T^*，否則，令s＝s+1，并執行步驟(3b)；

(4)獲取圖像重建結果：

將測試樣本集和模糊核特征向量T^*作為訓練好的圖像重建模型O^*的輸入進行前向傳播，得到重建圖像。