[發明專利]一種基于卷積神經網絡的圖像超分辨率重建方法

有效

• 申請號: 202110105967.6
• 申請日: 2021-01-26
• 公開（公告）號: CN112767252B
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 李劼;任春輝;王斌;付毓生
• 申請（專利權）人: 電子科技大學;中國電子科技集團公司第五十四研究所
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 成都點睛專利代理事務所(普通合伙) 51232
• 代理人: 孫一峰

本發明屬于圖像技術領域，具體是涉及一種基于卷積神經網絡的圖像超分辨率重建方法。本發明方法根據不同卷積核的感受野差異原理，利用異形卷積核對卷積神經網絡進行改進，使得網絡在具有較少的參數的情況下能夠提取圖像的豐富特征。同時，利用tanh函數作為激活函數以及跳躍連接的方式將多層特征圖像信息充分利用，使得重建圖像的質量有所提高。另外，本發明方法利用卷積神經網絡輕量化原理，對卷積神經網絡進行輕量化優化，使得網絡在重建圖像質量略有下降的情況下整個網絡的參數減少，運算量有下降。本發明方法能夠在相較于傳統網絡的參數沒有較大提升的基礎上提升重建圖像質量，同時重建圖像相較與傳統方法所重建的圖像在人眼觀感上有明顯提升。

技術領域

本發明屬于圖像處理技術領域，具體是涉及一種基于卷積神經網絡的圖像超分辨率重建方法。

背景技術

圖像超分辨率重建是低分辨率圖像重建成高分辨率圖像的圖像處理技術。隨著設備顯示能力的提升，用戶需要有更高分辨率的圖像帶來更好的視覺體驗，同時更高的分辨率也能方便更多行業的從業人員進行科研，這就需要對圖像進行超分辨率重建。

圖像超分辨率重建方法包括基于插值的圖像超分辨率重建、基于擬合的圖像超分辨率重建和基于學習的圖像超分辨率重建。基于學習的圖像超分辨率重建是當前較為熱門的一種重建方法，其具有重建質量好、重建圖像細節豐富和人眼觀感好等特點，在醫療、衛星和民用領域均得到廣泛的應用，因此對圖像超分辨率重建的重建質量提升具有重要意義。基于學習的圖像超分辨率重建方法又有基于字典學習的圖像超分辨率重建方法和基于卷積神經網絡的圖像超分辨率重建方法，基于卷積神經網絡的圖像超分辨率重建方法由于其具有較好的特征提取能力和非線性映射能力，使其重建圖像質量優于其他方法。

目前針對基于卷積神經網絡的圖像超分辨率重建方法主要集中在以下幾種:

1.卷積神經網絡

卷積神經網絡方法通過將卷積神經網絡利用在圖像超分辨率重建問題上，該方法主要利用三層卷積層對圖像進行超分辨率重建：特征提取層、非線性映射層和超分辨率重建層，該方法有效的提升了重建圖像質量，但是由于網絡層數少、圖像特征利用率低等弊端，并沒有充分使用圖像信息，重建效果還可以進一步提升。

2.循環神經網絡

循環神經網絡方法是利用循環神經網絡對圖像進行超分辨率重建，在特征提取層之后，利用循環卷積的原理，對特征圖像進行循環卷積，并將每次卷積的結果傳給最后一層卷積層，實現對圖像特征的提取。利用循環神經網絡進行圖像超分辨率重建的方法雖然改動不大，但是循環卷積的方式可以對圖像的某些特征進行充分的提取，避免了一部分卷積神經網絡層數少，沒有充分提取特征的問題；但是循環神經網絡使用同一層卷積層進行循環卷積，無法充分提取圖像的不同特征，使得重建圖像會對某類重復出現的特征的重建效果較好、其他特征效果一般的問題。

3.對抗神經網絡

該方法基于對抗神經網絡，利用生成網絡和對抗網絡兩個網絡同時訓練，得到能夠重建出具有豐富紋理的圖案，但是由于該網絡在訓練過程中用到了對抗網絡對圖像的觀感進行提升，會造成重建圖像與真實圖像所呈現的內容有較大的差異，并且同時訓練兩個網絡需要較長的時間和較多的資源，對設備的要求非常高，實用性有一定的限制。

發明內容

本發明的目的在于，針對上述問題，提出一種基于改進的卷積神經網絡——水平垂直網絡(Horizonal and Vertical Super-Resolution，HVSR)的圖像超分辨率重建方法，是一種重建圖像性能好且網絡參數較少的圖像超分辨率重建方法。

本發明的技術方案為，一種基于卷積神經網絡的圖像超分辨率重建方法，如圖1所示，包括以下步驟：

S1、選取n張圖像作為訓練集{P_H1,P_H2,...,P_Hn}，下標H表示圖像為高分辨率圖像；