[發明專利]一種基于任務解耦的有參圖像超分辨率方法和系統

在審

• 申請號: 202210148649.2
• 申請日: 2022-02-18
• 公開（公告）號: CN114529455A
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 張小云;黃一軒;張婭;王延峰
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/33;G06V10/54;G06V10/75;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀;張琳

1.一種基于任務解耦的有參圖像超分辨率方法，其特征在于，包括：

生成輸入圖像的超分辨率：將輸入的低分辨率圖像通過深度卷積網絡提取特征，并生成初始缺乏細節紋理的高分辨率圖像；

提取參考圖像的紋理：將輸入的參考圖像通過深度卷積網絡提取特征，并與所述高分辨率圖像進行特征對齊，提取所述參考圖像中的細節紋理信息；

遷移紋理到輸出圖像：計算所述輸入圖像和參考圖像的相似程度，將所述細節紋理信息依照所述相似程度遷移到所述高分辨率圖像中，生成帶有高頻紋理細節的高分辨率結果。

2.根據權利要求1所述的基于任務解耦的有參圖像超分辨率方法，其特征在于，

使用超分辨率網絡執行所述生成輸入圖像的超分辨率；

所述超分辨率網絡包括：

卷積層，所述卷積層提取所述輸入的低分辨率圖像的圖像特征；

上采樣模塊，所述上采樣模塊將所述低分辨率圖像的圖像特征轉變高分辨率的圖像。

3.根據權利要求2所述的基于任務解耦的有參圖像超分辨率方法，其特征在于，

所述超分辨率網絡的損失函數為，

其中I_HR代表高分辨率圖像的真值，I_SISR代表超分辨率網絡重建的高分辨率圖像。

4.根據權利要求1所述的基于任務解耦的有參圖像超分辨率方法，其特征在于，

所述提取參考圖像的紋理的網絡，包括：

空間相關計算模塊：計算所述參考圖像與所述高分辨率圖像在特征空間的相似度，得到所述參考圖像與輸入圖像的空間關系圖；

特征提取模塊：提取所述參考圖像的視覺特征；

特征對齊模塊：依照所述空間關系圖，將所述視覺特征對齊到所述高分辨率圖像中。

5.根據權利要求4所述的基于任務解耦的有參圖像超分辨率方法，其特征在于，所述空間相關計算模塊，包括：

將所述輸入圖像和所述參考圖像映射到特征空間中；

將所述輸入圖像和所述參考圖像在塊層面進行匹配；

所述匹配公式為：

s_i,j＝P_i(φ(I_SISR)),P_j(φ(I_Ref))

其中,代表內積計算，P_i(·)代表圖像的第i個塊，φ(·)代表特征提取網絡，I_Ref代表參考圖像，I_SISR代表輸入圖像；

得到s_i,j作為所述輸入圖像與所述參考圖像的空間關系圖；

得到對應的位置索引圖S_i以及位置置信圖C_i：

S_i＝argmax_js_i,j

C_i＝max_js_i,j。

6.根據權利要求5所述的基于任務解耦的有參圖像超分辨率方法，其特征在于，

特征對齊模塊包括兩支網絡，分別為基于可變卷積的特征對齊以及基于光流直接的特征對齊；

所述位置索引圖S_i以及參考圖像特征圖作為所述特征對齊模塊的輸出；

所述特征對齊模塊輸出參考圖像中的細節紋理信息。

7.根據權利要求3所述的基于任務解耦的有參圖像超分辨率方法，其特征在于，對所述提取參考圖像的紋理的監督，為高分辨率真值與所述高分辨率圖像殘差，其優化損失函數為：

其中I_Tex為提取參考圖像紋理網絡的輸出。