[發明專利]一種基于三并行殘差網絡的圖像超分辨率重建系統

在審

• 申請號: 202210544551.9
• 申請日: 2022-05-19
• 公開（公告）號: CN114820324A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 朱明甫;李朋坤;張海洋;倪水平;李興旺;王文斌;朱智丹;李炳伸;常振
• 申請（專利權）人: 河南垂天科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 南京品智知識產權代理事務所(普通合伙) 32310
• 代理人: 張明昌

本發明提出的是一種基于三并行殘差網絡的圖像超分辨率重建系統，該系統包括淺層特征提取模塊，深層特征提取模塊，圖像重建模塊；淺層特征提取模塊的輸出作為深層特征提取模塊的輸入，深層特征提取模塊的輸出作為圖像重建模塊的輸入。本發明的有益效果：1）本發明采用偶跳連接的方式，降低了殘差網絡整體參數的計算量；2）本發明采用PRB中三并行的卷積層，可以使網絡同時獲取到低頻和高頻的信息；3）本發明使用GRU網絡保留歷史輸入信息，進而減少了圖像細節的損失。

技術領域

本發明是一種基于三并行殘差網絡的圖像超分辨率重建系統，屬于圖像超分辨率重建技術領域。

背景技術

圖像超分辨率重建：圖像超分辨率重建技術就是利用一組低質量、低分辨率圖像來產生單幅高質量、高分辨率圖像；在計算機視覺領域，圖像超分辨率重建技術有可能使圖像實現從檢出水平向識別水平的轉化，或更進一步實現向細辨水平的轉化；圖像超分辨率重建技術可以提高圖像的識別能力和識別精度，可以實現目標物的專注分析，從而可以獲取感興趣區域更高空間分辨率的圖像，而不必直接采用數據量巨大的高空間分辨率圖像的配置。

卷積神經網絡(Convolutional Neural Network,CNN)是一種前饋神經網絡，它的人工神經元可以響應一部分覆蓋范圍內的周圍單元，對于大型圖像處理有出色表現；目前，卷積神經網絡被廣泛應用于圖像超分辨率重建技術領域；但是隨著卷積神經網絡的深度不斷增加，在對圖像超分辨率進行重建時，卷積神經網絡的訓練過程中很容易丟失圖像的細節信息。

殘差網絡是由來自Microsoft Research的4位學者提出的卷積神經網絡，在2015年的ImageNet大規模視覺識別競賽（ImageNet Large Scale Visual RecognitionChallenge, ILSVRC）中獲得了圖像分類和物體識別的優勝；殘差網絡的特點是容易優化，并且能夠通過增加相當的深度來提高準確率，其內部的殘差塊使用了跳躍連接，緩解了在深度神經網絡中增加深度帶來的梯度消失問題。

發明內容

本發明提出的是一種基于三并行殘差網絡的圖像超分辨率重建系統，其目的旨在解決由于卷積神經網絡深度的增加導致圖像前向傳播過程中圖像細節容易丟失的問題。

本發明的技術解決方案：一種基于三并行殘差網絡的圖像超分辨率重建系統，該系統包括淺層特征提取模塊，深層特征提取模塊，圖像重建模塊；淺層特征提取模塊的輸出作為深層特征提取模塊的輸入，深層特征提取模塊的輸出作為圖像重建模塊的輸入。

進一步地，所述淺層特征提取模塊包括第一卷積層；第一卷積層具體如公式（1）：

（1）；

其中，表示輸入的低分辨率圖像，表示經過淺層特征提取模塊的輸出，表示卷積操作，表示濾波器的權重，表示偏置，表示激活函數。

進一步地，所述第一卷積層的卷積核大小為3×3，輸入通道為3，輸出通道為64；所述激活函數采用ReLU函數；所述淺層特征提取模塊的輸出包括從輸入的低分辨率圖像中提取的像素點的細粒度信息，所述細粒度信息包括圖像的顏色、紋理、邊緣信息。

進一步地，所述深層特征提取模塊包括個PRB塊，第二卷積層，瓶頸層；淺層特征提取模塊的輸出在個PRB塊之間傳輸的過程中，每經過兩個PRB塊，便將兩個PRB塊得到的特征圖一起直接輸出到瓶頸層，同時偶數PRB塊得到的特征圖與前一個PRB塊得到的特征圖做元素和后作為偶數PRB塊的輸出，偶數PRB塊的輸出作為下一個PRB塊的輸入，最后一個PRB塊的輸出經過第二卷積層后也輸出給瓶頸層。

進一步地，所述個PRB塊為奇數個；其中，每個PRB塊的輸出如下式（3）所示：

（3）；

其中，表示第個PRB塊的作用，為第個PRB塊輸入，為第個PRB塊的輸出結果,。