[發明專利]超分修復網絡模型生成方法、圖像超分修復方法及裝置

在審

• 申請號: 202110459814.1
• 申請日: 2021-04-27
• 公開（公告）號: CN113177888A
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 孫佳;袁澤寰;王長虎
• 申請（專利權）人: 北京有竹居網絡技術有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京信遠達知識產權代理有限公司 11304
• 代理人: 姚瑩麗

1.一種超分修復網絡模型生成方法，其特征在于，所述方法包括：

獲取待訓練圖像，所述待訓練圖像為低分變率圖像；

將所述待訓練圖像分別輸入學生網絡模型和教師網絡模型，獲得所述學生網絡模型對應的損失函數；

根據所述損失函數對所述學生網絡模型的參數進行更新，以使得所述學生網絡模型的損失函數滿足預設條件，生成超分修復網絡模型；

所述學生網絡模型為增強型超分辨生成對抗網絡ESRGAN，所述ESRGAN網絡包括基本模塊、上采樣模塊以及卷積模塊，所述基本模塊包括一個或多個殘差密度模塊RRDB，所述RRDB包括多個處理模塊，每個所述處理模塊的輸入作為后續的處理模塊的輸入，所述處理模塊包括依次相連的第一卷積層、第二卷積層和激活層，所述第一卷積層的卷積核小于所述第二卷積層的卷積核。

2.根據權利要求1所述的方法，其特征在于，所述第一卷積層的卷積核為1*1。

3.根據權利要求1或2所述的方法，其特征在于，所述基本模塊包括一個RRDB模塊。

4.根據權利要求1或2所述的方法，其特征在于，所述卷積模塊包括第三卷積層，所述第三卷積層的卷積核等于所述第一卷積層的卷積核。

5.根據權利要求1所述的方法，其特征在于，所述將所述待訓練圖像分別輸入學生網絡模型和教師網絡模型，獲得所述學生網絡模型對應的損失函數，包括：

將所述待訓練圖像分別輸入學生網絡模型和教師網絡模型，以獲得像素蒸餾對應的第一損失函數、整體蒸餾對應的第二損失函數；

根據所述第一損失函數和所述第二損失函數獲得所述學生網絡模型對應的損失函數。

6.根據權利要求1所述的方法，其特征在于，所述將所述待訓練圖像分別輸入學生網絡模型和教師網絡模型，獲得所述學生網絡模型對應的損失函數，包括：

將所述待訓練圖像分別輸入學生網絡模型和教師網絡模型，以獲得像素蒸餾對應的第一損失函數、整體蒸餾對應的第二損失函數以及判別器對應的第三損失函數；

對所述第一損失函數、第二損失函數以及第三損失函數進行加權，獲得所述學生網絡模型對應的損失函數。

7.根據權利要求5或6所述的方法，其特征在于，所述第一損失函數表示所述學生網絡模型針對所述待訓練圖像中第一像素的輸出結果與所述教師網絡模型針對所述待訓練圖像中所述第一像素的輸出結果之間的損失函數；所述第二損失函數表示所述學生網絡模型針對所述待訓練圖像的輸出結果與所述教師網絡模型針對所述待訓練圖像的輸出結果之間的損失函數；第三損失函數表示所述學生網絡模型對應的判別器與所述教師網絡模型對應的判別器之間的損失函數，所述第一像素為所述待訓練圖像中的任一像素。

8.根據權利要求1所述的方法，其特征在于，在將所述待訓練圖像分別輸入學生網絡模型之前，所述方法還包括：

將所述待訓練圖像分別輸入初始網絡模型和教師網絡模型，以獲得像素蒸餾對應的第四損失函數；

根據所述第四損失函數對所述初始網絡模型的參數進行更新，以獲得學生網絡模型。

9.根據權利要求8所述的方法，其特征在于，所述第四損失函數表示所述初始網絡模型針對所述待訓練圖像中第二像素的輸出結果與所述教師網絡模型針對所述待訓練圖像中所述第二像素的輸出結果之間的損失函數，所述第二像素為所述待訓練圖像中的任一像素。

10.一種圖像超分修復方法，其特征在于，所述方法包括：

獲取待處理圖像，所述待處理圖像為低分辨率圖像；

將所述待處理圖像輸入超分修復網絡模型，獲得目標圖像，所述目標圖像為所述待處理圖像對應的超分辨率圖像，所述超分修復網絡模型是根據權利要求1-9任一項所述的方法訓練生成的。