[發明專利]一種盲超分網絡建立方法、盲超分方法及存儲介質

在審

• 申請號: 202211081493.7
• 申請日: 2022-09-06
• 公開（公告）號: CN115526777A
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 鄒臘梅;連志祥;李廣磊;謝佳;王皓;黎云
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 夏倩;李智

1.一種盲超分網絡建立方法，其特征在于，包括：

對高分辨率圖像數據集中的各高分辨率圖像分別進行退化操作，得到對應的退化圖像；由高分辨率圖像及對應的退化圖像構建訓練樣本，并將所有訓練樣本劃分為訓練集、測試集和驗證集；

構建待訓練的盲超分網絡；所述盲超分網絡包括退化估計網絡和生成網絡；所述退化估計網絡用于估計輸入圖像中各像素位置的退化信息，所述生成網絡用于利用所述退化信息對所述輸入圖像進行超分辨率重建；所述生成網絡包括特征提取網絡和上采樣網絡；所述特征提取網絡包括交替連接的多個可變形卷積層和多個特征提取模塊，所述退化估計網絡輸出的退化信息分別輸入至各可變形卷積層，所述特征提取網絡用于對所述輸入圖像進行特征提取，得到特征圖；所述上采樣模塊用于將所述特征圖重建為所述輸入圖像尺寸的指定放大倍數，得到超分圖像；

以訓練樣本中的退化圖像為輸入圖像，利用所述訓練集、所述測試集和所述驗證集分別對所述待訓練的盲超分網絡進行訓練、測試和驗證，得到用于對圖像進行超分辨率重建的盲超分網絡。

2.如權利要求1所述的盲超分網絡建立方法，其特征在于，所述退化估計網絡為UNet網絡，且其中的編碼模塊中插入了空間注意力模塊。

3.如權利要求2所述的盲超分網絡建立方法，其特征在于，所述UNet網絡的解碼模塊中插入了通道注意力模塊。

4.如權利要求1～3任一項所述的盲超分網絡建立方法，其特征在于，對所述待訓練的盲超分網絡進行訓練，包括：

預訓練階段：利用所述訓練集對所述退化估計網絡進行訓練，得到訓練好的退化估計網絡；

聯合訓練階段：利用所述訓練集對所述訓練好的退化估計網絡和所述生成網絡進行聯合訓練。

5.如權利要求4所述的盲超分網絡建立方法，其特征在于，所述退化操作包括：利用空間變化模糊核對高分辨率圖像進行模糊化操作后進行下采樣，并且，所述訓練樣本還包括退化圖像對應的空間變化模糊核，并且，所述退化估計網絡估計的退化信息為空間變化模糊核；

所述預訓練階段的損失函數為：

loss_p＝||k_p-k_g||₁+||k_p-k_g||₁*g(I_LR)

所述聯合訓練階段的損失函數為：

loss＝ω₁*loss_p+ω₂*loss_g

其中，loss表示所述盲超分網絡的損失；loss_p和loss_g分別表示退化估計網絡和生成網絡的損失，ω₁和ω₂分別表示對應的權重；k_p表示退化估計網絡估計的空間變化模糊核，k_g表示退化操作中所使用的空間變化模糊核；I_LR表示輸入的退化圖像，g()表示梯度算子；‖‖₁表示平均絕對誤差。

6.如權利要求5所述的盲超分網絡建立方法，其特征在于，

loss_g＝‖I_SR-I_HR‖₁+‖g(I_SR)-g(I_HR)‖₁

其中，I_SR表示所述生成網絡輸出的超分圖像，I_HR表示高分辨率圖像。

7.如權利要求5所述的盲超分網絡建立方法，其特征在于，所述梯度算子為Scharr算子。

8.如權利要求4所述的盲超分網絡建立方法，其特征在于，對所述待訓練的盲超分網絡進行訓練的過程中，使用含有動量項的隨機梯度下降作為優化器。