[發明專利]圖像退化處理方法、裝置、存儲介質及電子設備

有效

• 申請號: 202011308390.0
• 申請日: 2020-11-19
• 公開（公告）號: CN112419151B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 王偉;袁澤寰;王長虎
• 申請（專利權）人: 北京有竹居網絡技術有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 魏嘉熹

1.一種圖像退化處理方法，其特征在于，所述方法包括：

獲取高分辨率高質圖像；

對所述高分辨率高質圖像降采樣，以得到低分辨率高質圖像；

將所述低分辨率高質圖像輸入圖像退化模型，以得到低分辨率低質圖像，所述圖像退化模型是根據樣本低分辨率高質圖像的亮度圖像特征和樣本低分辨率低質圖像的亮度圖像特征訓練得到的，所述樣本低分辨率高質圖像是對樣本高分辨率高質圖像降采樣而得到的，其中，所述圖像退化模型的訓練過程包括：針對模擬低分辨率高質圖像的亮度圖像特征、所述樣本低分辨率高質圖像的亮度圖像特征、所述模擬低分辨率低質圖像的亮度圖像特征和所述樣本低分辨率低質圖像的亮度圖像特征，提取低頻信號，以得到目標數據集；根據所述目標數據集包括的圖像特征對所述圖像退化模型進行訓練；

所述低分辨率低質圖像用于訓練超分辨重建網絡，所述超分辨重建網絡用于對輸入的低分辨率低質視頻進行修復，以得到高分辨率高質視頻；

其中，所述樣本高分辨率高質圖像和所述樣本低分辨率低質圖像是通過如下方式得到的：

采集多個高分辨率高質視頻和多個低分辨率低質視頻；

針對每一高分辨率高質視頻，將該高分辨率高質視頻對應的每一幀圖像進行圖像分割，以得到多個第一圖像塊，并在所述多個第一圖像塊中，選取像素值滿足預設條件的目標第一圖像塊作為樣本高分辨率高質圖像，所述預設條件為圖像塊中像素值的方差大于或等于預設閾值，或所述預設條件為圖像塊中的像素點的低頻特征所對應的均值或方差大于或等于預設閾值；

針對每一低分辨率低質視頻，將該低分辨率低質視頻對應的每一幀圖像進行圖像分割，以得到多個第二圖像塊，并在所述多個第二圖像塊中，選取像素值滿足所述預設條件的目標第二圖像塊作為樣本低分辨率低質圖像。

2.根據權利要求1所述的方法，其特征在于，所述圖像退化模型包括圖像退化模塊、圖像退化去除模塊、第一判別器和第二判別器；

所述圖像退化模塊用于根據輸入的所述樣本低分辨率高質圖像的亮度圖像特征進行圖像退化處理，并輸出所述樣本低分辨率高質圖像對應的模擬低分辨率低質圖像的亮度圖像特征；

所述圖像退化去除模塊用于根據輸入的所述樣本低分辨率低質圖像的亮度圖像特征進行圖像修復處理，并輸出所述樣本低分辨率低質圖像對應的模擬低分辨率高質圖像的亮度圖像特征；

所述第一判別器用于根據輸入的所述模擬低分辨率高質圖像的亮度圖像特征和所述樣本低分辨率高質圖像的亮度圖像特征進行模型訓練；

所述第二判別器用于根據輸入的所述模擬低分辨率低質圖像的亮度圖像特征和所述樣本低分辨率低質圖像的亮度圖像特征進行模型訓練。

3.根據權利要求1所述的方法，其特征在于，所述提取低頻信號包括：

通過高斯低通濾波器提取低頻信號或通過哈爾小波變換提取低頻信號。

4.根據權利要求1所述的方法，其特征在于，所述根據所述目標數據集包括的圖像特征對所述圖像退化模型進行訓練，包括：

按照如下方式計算損失函數：

L_cont＝λ₁G(Z)_l-Z_l1+λ₂F(X)_l-X_l1

其中，L_cont表示損失函數，λ₁和λ₂表示預設權重值，G(Z)_l表示從模擬低分辨率低質圖像的亮度圖像特征中提取的低頻信號，Z_l表示從樣本低分辨率高質圖像的亮度圖像特征中提取的低頻信號，F(X)_l表示從模擬低分辨率高質圖像的亮度圖像特征中提取的低頻信號，X_l表示從樣本低分辨率低質圖像的亮度圖像特征中提取的低頻信號；

根據所述損失函數調整所述圖像退化模型的參數。