[發明專利]基于遞歸極深網絡的超分辨圖像重構方法及系統

在審

• 申請號: 201911370222.1
• 申請日: 2019-12-26
• 公開（公告）號: CN111145096A
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 張莉;徐石;王邦軍;周偉達
• 申請（專利權）人: 蘇州大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 蘇州市中南偉業知識產權代理事務所(普通合伙) 32257
• 代理人: 張榮

本發明涉及一種基于遞歸極深網絡的超分辨圖像重構方法及系統,包括設定訓練集，對所述訓練集進行數據增強；利用所述訓練集對已經搭建好的神經網絡模型進行訓練；利用訓練完成的神經網絡模型在測試圖像上進行重建。本發明使得卷積網絡的前一層可以使用后一層的有用信息，達到使用高級信息來完善低級信息的目的。

技術領域

本發明涉及圖像處理的技術領域，尤其是指一種基于遞歸極深網絡的超分辨圖像重構方法及系統。

背景技術

圖像超分辨率(super resolution,簡稱SR)是指從低分辨率(low resolution,簡稱LR)圖像中恢復高分辨率(high resolution,簡稱HR)圖像的過程，是計算機視覺和圖像處理中重要技術手段，具有廣泛的實際應用，例如醫學成像，安防監控和遙感圖像等領域。除了提高圖像感知質量外，還有助于改善其它計算機視覺任務。由于所述圖像超分辨率非常具有挑戰性，是一種不適定的逆問題，因為存在有多個HR圖像對應于單個LR圖像的情形。

所述圖像超分辨率方法大致可以分為兩大類：傳統方法和深度學習方法。在過去，已經提出了多種經典的SR方法，包括基于預測的方法、基于邊緣的方法、統計方法、基于補丁的方法和稀疏表示方法等。近年來，隨著深度學習技術的飛速發展，基于深度學習的SR模型已得到積極探索，并經常在各種SR基準上達到最先進的性能。各種各樣的深度學習方法已應用于解決SR任務，包括基于早期卷積神經網絡(convolution neural network,簡稱CNN)、超分辨率卷積神經網絡(super resolution convolution neural network，簡稱SRCNN)以及加速超分辨率卷積神經網絡(accelerating the super resolutionconvolutional neural network，簡稱FSRCNN)，不同類型的損失函數，不同類型的學習原理和策略等。Kim等人提出了一種VDSR網絡模型，在“Accurate Image Super-ResolutionUsing Very Deep Convolutional Networks”中提出了一個極深網絡的體系結構，其與所述SRCNN和FSRCNN中使用的淺層網絡體系結構不同。為了避免在深層網絡中緩慢收斂，該極深網絡不是直接生成HR圖像，而是學習殘差映射，該映射會生成HR和LR圖像之間的差異，提供了一個更容易實現的目標，并且網絡僅關注高頻信息。其次，將梯度限制在允許非常高的學習速率以加快訓練過程的范圍內。但是，即使遞歸極深網絡采用了跳躍連接，前饋方式也使得網絡前一層無法從后一層訪問有用的信息，從而影響最終的結果。

發明內容

為此，本發明所要解決的技術問題在于克服現有技術中網絡前一層無法從后一層訪問有用的信息，導致圖像分辨率低的問題，提供一種使得網絡前一層可以使用后一層的有用信息，從而提高圖像分辨率的基于遞歸極深網絡的超分辨圖像重構方法及系統。

為解決上述技術問題，本發明的一種基于遞歸極深網絡的超分辨圖像重構方法，包括如下步驟：設定訓練集，對所述訓練集進行數據增強；利用所述訓練集對已經搭建好的神經網絡模型進行訓練；利用訓練完成的神經網絡模型在測試圖像上進行重建。

在本發明的一個實施例中，所述設定訓練集包括：輸入T91與BSD200組合的291張HR圖像作為訓練集，其中所述T91是包含91張汽車、花卉、水果、人臉等圖像的經典數據集；所述BSD200是包含200張動物、建筑物、食物、風景、人、植物等圖像的經典數據集。

在本發明的一個實施例中，對所述訓練集進行數據增強的方法為：若訓練集為集其中，N表示高分辨率圖像數量，Yⁱ表示訓練集中第i張高分辨圖像，使用指定函數將原始圖像Yⁱ先下采樣s倍，再上采樣s倍，獲得具有抗鋸齒的雙三次插值處理的低分辨率圖像其中s＝[2，3，4]；接著在兩者對應位置裁剪指定大小的子圖，然后進行垂直旋轉、水平翻轉操作，得到一個新數據集其中xⁱ表示訓練集D′中第i張低分辨率圖像，yⁱ表示訓練集中第i張高分辨率圖像，N′為計算值。