[發明專利]超分修復網絡模型生成方法、圖像超分修復方法及裝置

在審

• 申請號: 202110459814.1
• 申請日: 2021-04-27
• 公開（公告）號: CN113177888A
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 孫佳;袁澤寰;王長虎
• 申請（專利權）人: 北京有竹居網絡技術有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京信遠達知識產權代理有限公司 11304
• 代理人: 姚瑩麗

本申請實施例公開了一種超分修復網絡模型生成方法，具體地，獲取待訓練圖像，并將該待訓練圖像分別輸入學生網絡模型和教師網絡模型，以獲得該學生網絡模型對應的損失函數。根據損失函數對學生網絡模型的參數進行更新，以使得學生網絡模型的損失函數滿足預設條件，生成獲得超分修復網絡。學生網絡模型為ESRGAN網絡，該ESRGAN網絡包括基本模塊、上采樣模塊以及卷積模塊。基本模塊包括一個或多個RRDB模塊，該RRDB模塊包括多個處理模塊，每個處理模塊的輸入作為后續處理模塊的輸入，增強特征的傳遞，使得后續處理模塊利用更多的圖像特征進行訓練，提高修復效果。在處理模塊中增加具有較小卷積核的第一卷積層，降低圖像特征的維度，減少計算量，提高處理速度。

技術領域

本申請涉及圖像處理技術領域，具體涉及一種超分修復網絡模型生成方法、圖像超分修復方法及裝置。

背景技術

隨著互聯網技術的不斷發展，短平快的大流量傳播內容逐漸獲得各大平臺和用戶的青睞，尤其是短視頻的傳輸。然而，由于噪聲、壓縮等損失導致視頻、圖像畫面模糊、噪點密集等情況，進而造成展示的畫面較差。

為提高圖像的質量，出現了大量的圖像修復方法，如利用超分修復網絡對圖像進行修復。然而，為實現較好的修復效果，很多超分修復方法耗時嚴重，導致無法平衡修復效果和時延。

發明內容

有鑒于此，本申請實施例提供一種超分修復網絡模型生成方法、圖像超分修復方法及裝置，提高修復效果，降低修復時延。

為解決上述問題，本申請實施例提供的技術方案如下：

在本申請實施例第一方面，提供了一種超分修復網絡模型生成方法，該方法可以包括：

獲取待訓練圖像，所述待訓練圖像為低分變率圖像；

將所述待訓練圖像分別輸入學生網絡模型和教師網絡模型，獲得所述學生網絡模型對應的損失函數；

根據所述損失函數對所述學生網絡模型的參數進行更新，以使得所述學生網絡模型的損失函數滿足預設條件，生成超分修復網絡模型；

所述學生網絡模型為增強型超分辨生成對抗網絡ESRGAN，所述ESRGAN網絡包括基本模塊、上采樣模塊以及卷積模塊，所述基本模塊包括一個或多個殘差密度模塊RRDB，所述RRDB包括多個處理模塊，每個所述處理模塊的輸入作為后續的處理模塊的輸入，所述處理模塊包括依次相連的第一卷積層、第二卷積層和激活層，所述第一卷積層的卷積核小于所述第二卷積層的卷積核。

在一種具體的實現方式中，所述第一卷積層的卷積核為1*1。

在一種具體的實現方式中，所述基本模塊包括一個RRDB模塊。

在一種具體的實現方式中，所述卷積模塊包括第三卷積層，所述第三卷積層的卷積核等于所述第一卷積層的卷積核。

在一種具體的實現方式中，所述將所述待訓練圖像分別輸入學生網絡模型和教師網絡模型，獲得所述學生網絡模型對應的損失函數，包括：

將所述待訓練圖像分別輸入學生網絡模型和教師網絡模型，以獲得像素蒸餾對應的第一損失函數、整體蒸餾對應的第二損失函數；

根據所述第一損失函數和所述第二損失函數獲得所述學生網絡模型對應的損失函數。

在一種具體的實現方式中，所述將所述待訓練圖像分別輸入學生網絡模型和教師網絡模型，獲得所述學生網絡模型對應的損失函數，包括：

將所述待訓練圖像分別輸入學生網絡模型和教師網絡模型，以獲得像素蒸餾對應的第一損失函數、整體蒸餾對應的第二損失函數以及判別器對應的第三損失函數；

對所述第一損失函數、第二損失函數以及第三損失函數進行加權，獲得所述學生網絡模型對應的損失函數。