[發明專利]一種基于分組連接網絡的圖像超分辨率重建方法

有效

• 申請號: 202110174059.2
• 申請日: 2021-02-07
• 公開（公告）號: CN112907446B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 李劼;任春輝;付毓生
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 成都點睛專利代理事務所(普通合伙) 51232
• 代理人: 孫一峰

本發明屬于圖像處理領域，具體是涉及一種基于卷積神經網絡的圖像超分辨率重建方法。本發明方法根據分組卷積將特征圖像分組、跳躍連接可以改變特征圖像的卷積順序的原理，利用分組卷積與跳躍連接結合的方式對卷積神經網絡進行改進，分組卷積的方式將不同組特征圖像在不同的層數進行卷積，使得卷積神經網絡具有更加豐富的非線性映射特性；跳躍連接的方式有效的減少了卷積中所使用的參數數目，將不同組的特征圖像利用跳躍連接的方式進行結合，得到更深的卷積層，能夠對圖像的高級特征進行提取而不加大計算量。本發明方法能夠在相較于傳統網絡的參數數目沒有較大提升的基礎上提升重建圖像質量。

技術領域

本發明屬于圖像處理技術領域，具體是涉及一種基于分組連接網絡的圖像超分辨率重建方法。

背景技術

圖像超分辨率重建是低分辨率圖像重建成高分辨率圖像的圖像處理技術。隨著設備顯示能力的提升，用戶需要有更高分辨率的圖像帶來更好的視覺體驗，同時更高的分辨率也能方便更多行業的從業人員進行科研，這就需要對圖像進行超分辨率重建。

圖像超分辨率重建方法包括基于插值的圖像超分辨率重建、基于擬合的圖像超分辨率重建和基于學習的圖像超分辨率重建。基于學習的圖像超分辨率重建是當前較為熱門的一種重建方法，其具有重建質量好、重建圖像細節豐富和人眼觀感好等特點，在醫療、衛星和民用領域均得到廣泛的應用，因此對圖像超分辨率重建的重建質量提升具有重要意義。基于學習的圖像超分辨率重建方法又有基于字典學習的圖像超分辨率重建方法和基于卷積神經網絡的圖像超分辨率重建方法，基于卷積神經網絡的圖像超分辨率重建方法由于其具有較好的特征提取能力和非線性映射能力，使其重建圖像質量優于其他方法。

目前針對基于卷積神經網絡的圖像超分辨率重建方法主要集中在以下幾種:

1.卷積神經網絡

卷積神經網絡方法通過將卷積神經網絡利用在圖像超分辨率重建問題上，該方法主要利用三層卷積層對圖像進行超分辨率重建：特征提取層、非線性映射層和超分辨率重建層，該方法有效的提升了重建圖像質量，但是由于網絡層數少、圖像特征利用率低等弊端，并沒有充分使用圖像信息，重建效果還可以進一步提升。

2.循環神經網絡

循環神經網絡方法是利用循環神經網絡對圖像進行超分辨率重建，在特征提取層之后，利用循環卷積的原理，對特征圖像進行循環卷積，并將每次卷積的結果傳給最后一層卷積層，實現對圖像特征的提取。利用循環神經網絡進行圖像超分辨率重建的方法雖然改動不大，但是循環卷積的方式可以對圖像的某些特征進行充分的提取，避免了一部分卷積神經網絡層數少，沒有充分提取特征的問題；但是循環神經網絡使用同一層卷積層進行循環卷積，無法充分提取圖像的不同特征，使得重建圖像會對某類重復出現的特征的重建效果較好、其他特征效果一般的問題。

3.對抗神經網絡

該方法基于對抗神經網絡，利用生成網絡和對抗網絡兩個網絡同時訓練，得到能夠重建出具有豐富紋理的圖案，但是由于該網絡在訓練過程中用到了對抗網絡對圖像的觀感進行提升，會造成重建圖像與真實圖像所呈現的內容有較大的差異，并且同時訓練兩個網絡需要較長的時間和較多的資源，對設備的要求非常高，實用性有一定的限制。

發明內容

本發明的目的在于，針對上述問題，提出一種基于改進的卷積神經網絡——分組連接網絡的圖像超分辨率重建方法，是一種重建圖像性能好且網絡參數較少的圖像超分辨率重建方法。

本發明的技術方案為，一種基于卷積神經網絡的圖像超分辨率重建方法，如圖1所示，包括以下步驟：

S1、選取n張圖像作為訓練集{P_H1,P_H2,...,P_Hn}，下標H表示圖像為高分辨率圖像；