[發明專利]一種基于網絡反饋的圖像超分辨率學習方法

在審

• 申請號: 202010132826.9
• 申請日: 2020-02-29
• 公開（公告）號: CN111353938A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 顏成鋼;樓杰棟;孫垚棋;張繼勇;張勇東
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于網絡反饋的圖像超分辨率學習方法，其特征在于，包括以下步驟：

步驟(1)、使用卷積網絡對低分辨率圖像進行處理，獲得淺層特征；

將低分辨率圖像輸入到一個具有4×m個卷積核大小為3×3以及m個卷積核大小為1×1的卷積網絡中得到淺層特征輸出作為反饋網絡的輸入；下一時刻的低分辨率圖像由下采樣得到，由于為初期重建的超分辨率圖像，將重建后圖像通過采樣得到的圖像作為下一時刻迭代的輸入，形成反饋提升后期重建效果；

步驟(2)、將獲得的低分辨率圖像的淺層特征以及前一時刻反饋網絡輸出的高級特征通過反饋連接作為反饋網絡的輸入，通過反饋網絡將高級特征作為低級特征的一種校正得到一個更高級的特征；具體步驟如下：

(2.1)將淺層特征以及高級特征作為反饋網絡輸入,通過m個卷積核大小為1×1的卷積層，將與連接并壓縮，反饋信息細化輸入特征產生細化的輸入特征其中為其中卷積核k的大小取決于縮放倍數；

(2.2)將輸入特征通過1個由m個卷積核大小為k×k，卷積核數量為m個的反卷積層進行上采樣，生成1個高分辨率特征將高分辨率特征通過1個卷積核大小為k×k，卷積核數量為m個的的卷積層進行上采樣,得到細化后的高級特征

(2.3)將得到細化后的高級特征作為輸入特征，在步驟(2.2)中的卷積與反卷積操作前分別加入1層由卷積核大小為1×1，卷積核數量為m個的卷積層，進行步驟(2.2)相同操作，重復G次，得到低級特征生成的高級特征向量組以及對應的細化后的特征向量組

(2.4)為了下一個時刻的反饋輸入包含更好的特征，將細化后的特征通過1層卷積核大小為1×1，卷積核數量為m個的卷積層進行融合生成反饋網絡的輸出

步驟(3)、將反饋網絡的輸出通過反卷積后再通過卷積得到殘差圖像，將原圖像通過雙線性插值上采樣得到的圖像與殘差圖像相加得到超分辨率圖像；具體步驟如下：

(3.1)將反饋網絡的輸出通過m層卷積核大小為k的反卷積層，生成高分辨率特征圖；將原圖通過雙線性插值得到一個大分辨率圖

(3.2)將高分辨率特征圖通過一個n層的卷積核大小為3×3的卷積層得到殘差圖像最后將大分辨率圖與殘差圖像相加得到超分辨率圖像當為灰度圖時n＝1，彩色時n＝3。