[發(fā)明專利]一種基于網(wǎng)絡反饋的圖像超分辨率學習方法

在審

• 申請?zhí)枺?/td>: 202010132826.9
• 申請日: 2020-02-29
• 公開（公告）號: CN111353938A
• 公開（公告）日: 2020-06-30
• 發(fā)明（設計）人: 顏成鋼;樓杰棟;孫垚棋;張繼勇;張勇東
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發(fā)明提供一種基于網(wǎng)絡反饋的圖像超分辨率學習方法。本發(fā)明首先使用卷積網(wǎng)絡對低分辨率圖像進行處理，獲得淺層特征，然后將獲得的低分辨率圖像的淺層特征以及前一時刻反饋網(wǎng)絡輸出的高級特征通過反饋連接作為反饋網(wǎng)絡的輸入，通過反饋網(wǎng)絡將高級特征作為低級特征的一種校正得到一個更高級的特征。最后將反饋網(wǎng)絡的輸出通過反卷積后再通過卷積得到殘差圖像，將原圖像通過雙線性插值上采樣得到的圖像與殘差圖像相加得到超分辨率圖像。本發(fā)明解決了現(xiàn)有的深度學習方法沒有利用人類視覺系統(tǒng)中普遍存在的反饋機制，面對多個高分辨率圖像對應同一低分辨率圖像，以及超分辨率縮放因子的增大圖像細節(jié)無法修復的問題。

技術領域

本發(fā)明涉及本發(fā)明涉及圖像、視頻處理技術領域，具體地說是涉及一種基于網(wǎng)絡反饋的圖像超分辨率學習方法。

背景技術

圖像超分辨率重建(super resolution,SR),是指從觀測到的低分辨率圖像重建出相應的高分辨率圖像,是計算機視覺和圖像處理領域里一種重要的圖像處理技術,由于圖像超分辨率方法能夠在一定程度上修正設備或環(huán)境對圖像造成的損壞，在許多領域有著重要的應用價值，比如目標檢測、醫(yī)學成像、安防監(jiān)控和衛(wèi)星遙感等。

近年來，隨著深度學習的迅速發(fā)展，深度學習被應用于各種人工智能任務，比如圖像分類和目標檢測等，并取得了突破性進展，研究學者們也積極地探索用深度學習來解決超分辨率問題，一種更加有效的方法被廣泛用于解決圖像超分辨率問題:基于深度學習的圖像超分辨率方法。通過訓練端到端的網(wǎng)絡模型，直接學習低分辨率圖像與高分辨率之間的映射關系.

隨著提出了各種各樣的基于深度學習的超分辨率方法，從早期的基于卷積神經(jīng)網(wǎng)絡的方法再到后來的基于生成對抗網(wǎng)絡的方法，都展示了很好的性能。然而人類視覺系統(tǒng)中普遍存在的反饋機制尚未在現(xiàn)有的深度學習中得到充分利用。由于總有多個高分辨率圖像對應同一個低分辨率圖像，因此超分辨率問題非常具有挑戰(zhàn)性且是一個不適用問題，此外，隨著超分辨率縮放因子的增大，圖像丟失細節(jié)的恢復會更加復雜。因此在這里通過一種基于網(wǎng)絡反饋的方式，用一個RNN使用其中的隱藏狀態(tài)來實現(xiàn)信息反饋，并通過這種反饋得到高級信息，并不斷迭代生成最終高分辨率圖像。

發(fā)明內容

針對現(xiàn)有的深度學習方法沒有利用人類視覺系統(tǒng)中普遍存在的反饋機制，面對多個高分辨率圖像對應同一低分辨率圖像，以及超分辨率縮放因子的增大圖像細節(jié)無法修復問題，本發(fā)明提出一種基于網(wǎng)絡反饋的圖像超分辨率學習方法，通過具有約束的RNN將前一時刻狀態(tài)進行反饋生成具有高級信息的特征表示，并通過引入遞歸學習策略，由自上而下的反饋連接的遞歸結構提供強大的早期超分辨率重建能力，并最終生成魯棒的超分辨率圖像。

一種基于網(wǎng)絡反饋的圖像超分辨率學習方法，包括以下步驟：

步驟(1)、使用卷積網(wǎng)絡對低分辨率圖像進行處理，獲得淺層特征。

將低分辨率圖像輸入到一個具有4×m個卷積核大小為3×3以及m個卷積核大小為1×1的卷積網(wǎng)絡中得到淺層特征輸出作為反饋網(wǎng)絡的輸入。下一時刻的低分辨率圖像由下采樣得到，由于為初期重建的超分辨率圖像，將重建后圖像通過采樣得到的圖像作為下一時刻迭代的輸入，形成反饋提升后期重建效果。

步驟(2)、將獲得的低分辨率圖像的淺層特征以及前一時刻反饋網(wǎng)絡輸出的高級特征通過反饋連接作為反饋網(wǎng)絡的輸入，通過反饋網(wǎng)絡將高級特征作為低級特征的一種校正得到一個更高級的特征。具體步驟如下：

(2.1)將淺層特征以及高級特征作為反饋網(wǎng)絡輸入,通過m個卷積核大小為1×1的卷積層，將與連接并壓縮，反饋信息細化輸入特征產生細化的輸入特征其中為其中卷積核k的大小取決于縮放倍數(shù)。

(2.2)將輸入特征通過1個由m個卷積核大小為k×k，卷積核數(shù)量為m個的反卷積層進行上采樣，生成1個高分辨率特征將高分辨率特征通過1個卷積核大小為k×k，卷積核數(shù)量為m個的的卷積層進行上采樣,得到細化后的高級特征