[發明專利]基于參考圖的多匹配搜索和超分辨率重建方法

在審

• 申請號: 202210798917.5
• 申請日: 2022-07-08
• 公開（公告）號: CN116049469A
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 曾坤;薛世奇;閆志強;鄭虹
• 申請（專利權）人: 閩江學院
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06V10/44;G06V10/75;G06V10/74;G06T3/40
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 丘鴻超;蔡學俊

1.一種基于參考圖的多匹配搜索和超分辨率重建方法，其特征在于：以參考圖的多匹配搜索和超分辨率重建網絡作為基于參考圖像的超分辨率重建的深度網絡，將低分辨率圖像I_LR輸入到參考圖的多匹配搜索和超分辨率重建網絡，重建網絡輸出高分辨率圖像I_SR。

2.根據權利要求1所述的基于參考圖的多匹配搜索和超分辨率重建方法，其特征在于：所述參考圖的多匹配搜索和超分辨率重建網絡包括：編碼模塊、多匹配搜索與提取模塊和解碼模塊；通過所述編碼模塊提取低分辨率圖像、參考圖像、bicubic下采樣的參考圖像的特征，然后利用多匹配搜索與提取模塊在bicubic下采樣的參考圖像上匹配搜索多個與低分辨率圖像相似的圖像塊，并在高分辨率參考圖像特征圖上提取相應的圖像塊進行加權求和得到新的參考圖；最后，通過解碼模塊將低分辨率圖像I_LR和新的參考圖多尺度融合重建出高分辨率圖像I_SR。

3.根據權利要求2所述的基于參考圖的多匹配搜索和超分辨率重建方法，其特征在于：所述多匹配搜索與提取模塊包括：粗匹配階段、精匹配階段和特征提取階段；所述精匹配階段用于計算出每個參考圖像塊所對應的權重以及新的參考圖像塊與低分辨率圖像塊之間的相似度。

4.根據權利要求3所述的基于參考圖的多匹配搜索和超分辨率重建方法，其特征在于：

所述多匹配搜索與提取模塊在第一個階段，將LR特征圖展開多個圖像塊，對于每個LR圖像塊，通過獲取到的LR圖像塊中心與每一個參考圖像塊計算余弦相似度初步搜索到與其最相關的經過bicubic下采樣的參考圖像塊；隨后在參考圖像中與LR圖像相似的圖像塊周圍截取多個dx×dy大小的塊；并在相應的不同尺度的參考圖特征圖上截取相應位置的參考圖像塊，截取后的參考圖像塊用于第二階段的精匹配；

在第二階段，使用第一階段的粗匹配獲得LR圖像塊patch所對應的多個Ref圖像塊Block，對LR圖像塊patch和所對應的多個Ref圖像塊Block中的3×3的patch進行匹配并計算余弦相似度；為了獲得多個參考圖像塊與LR圖像塊之間的對應聯系，使用唯一解的線性方程組獲得每個參考圖塊所對應的權重，再將多個參考圖像塊加權求和得到與LR圖像塊相近的新參考圖像塊；并計算低分辨率圖塊和新的參考圖像塊之間的相似度；第二階段得到的參考圖像塊所對應的坐標、權重和余弦相似度輸入到下一個階段；

在第三個階段，根據第二個階段得到的坐標在參考圖像特征圖F_ref上找到所對應的位置并提取出來，然后對多個參考圖像塊使用加權求和得到具有高頻細節的參考圖像塊，其中使用第二階段得到的權重；隨后將每個LR圖像塊所對應的參考圖像塊按照LR圖像塊順序進行遷移拼接得到warp圖像；將warp圖像與余弦相似度相乘得到新的warp圖；獲得新的warp圖之后將其折疊回去。

5.根據權利要求4所述的基于參考圖的多匹配搜索和超分辨率重建方法，其特征在于：所述多匹配搜索與提取模塊的第三個階段的最后，將新的warp圖輸入到解碼模塊中，與LR特征圖進行多尺度融合重建出具有高頻細節的SR圖像。

6.根據權利要求4所述的基于參考圖的多匹配搜索和超分辨率重建方法，其特征在于：在所述多匹配搜索與提取模塊的第二個階段，采用單個LR圖像塊與多個參考圖像塊進行對應匹配搜索，以更加充分的利用到參考圖像塊的高頻信息。