[發明專利]基于角點引導級聯沙漏網絡結構學習的真實圖像超分辨率模型及方法

有效

• 申請號: 202010375538.6
• 申請日: 2020-05-07
• 公開（公告）號: CN111696033B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 謝子維;魏朋旭;詹宗沅;林倞
• 申請（專利權）人: 中山大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種基于角點引導級聯沙漏網絡結構學習的真實圖像超分辨率模型及方法，模型包括：多尺度特征提取單元，利用級聯沙漏網絡結構提取輸入圖像的多尺度信息的特征；分區域重建單元，利用不同深度的多尺度特征分別重建多個初始的超分辨率圖像；分區域監督單元，利用角點檢測算法將高分辨率圖像解耦為平坦、邊緣和角點區域，分別監督各個初始的超分辨率圖像；角點引導重建單元，利用提取到的圖像各區域信息；梯度加權約束單元，基于圖像的梯度信息來加權損失函數，加強角點區域的擬合能力。本發明能夠避免一幅圖像的所有區域被同等對待，最終將重建得到的三個結果加權融合成更符合人類視覺感受的超分辨率圖像，有效地提升圖像質量。

技術領域

本發明屬于圖像處理的技術領域，具體涉及一種基于角點引導級聯沙漏網絡結構學習的真實圖像超分辨率模型及方法。

背景技術

圖像超分辨率技術旨在從觀測到的低分辨率圖像中重建出對應的高分辨率圖像，在監控設備、衛星圖像和醫學影像等領域都有重要的應用價值。由于一張低分辨率圖像可能對應多種高分辨率圖像，所以圖像超分辨率問題，尤其是單幀超分辨率，是一個病態的逆問題。圖像超分辨率的核心就在于如何從眾多可能的高分辨率圖像中找到一個邊緣清晰、細節豐富且符合人類視覺審美的結果。

隨著深度學習的發展，圖像超分辨率結果的峰值信噪比(PSNR)已經得到了很顯著的提升。但是現有的方法總是采用像素級別的擬合，而沒有考慮圖像本身的結構信息。從人類視覺角度而言，逐像素擬合生成的圖像大都過于平滑且細節缺失過多。事實上，一幅圖像的不同區域具有不一樣的特征，對人眼的吸引力也是不同的，人類視覺更關注于像素變化劇烈且復雜的圖像區域，例如樹的年輪、地毯的花紋等各種紋理，而像晴朗的天空背景這種平坦的區域往往容易被忽略。然而像素級的擬合把所有的區域都一視同仁，進行了相同的處理，這就使得模型會更偏向于簡單的平坦和邊緣區域，因為二者經常占據了一幅圖像的大部分區域且更加容易被擬合。過度的平滑和真實細節的缺失使得現有的超分辨率模型只能在人工合成的數據集上表現良好，而在真實場景拍攝的圖像上表現不佳，甚至有可能不如傳統的上采樣方法。

發明內容

本發明的主要目的在于克服現有技術的缺點與不足，提供一種基于角點引導級聯沙漏網絡結構學習的真實圖像超分辨率模型及方法，通過構建級聯沙漏網絡結構，對輸入圖像的多尺度信息進行提取和融合，并基于學習到的特征分別重建具有不同區域特性的超分辨率結果，這樣就能夠避免一幅圖像的所有區域被同等對待，最終將重建得到的三個結果加權融合成更符合人類視覺感受的超分辨率圖像，有效地提升圖像質量。

為了達到上述目的，本發明采用以下技術方案：

基于角點引導級聯沙漏網絡結構學習的真實圖像超分辨率模型，包括多尺度特征提取單元、分區域重建單元、分區域監督單元、角點引導重建單元以及梯度加權約束單元，所述多尺度特征提取單元和分區域監督單元均與分區域重建單元連接，所述分區域重建單元和梯度加權約束單元均與角點引導重建單元連接；

所述多尺度特征提取單元，用于通過級聯沙漏網絡結構提取輸入圖像的多尺度信息的特征；

所述分區域重建單元，用于通過不同深度的多尺度特征分別重建多個初始的超分辨率圖像；

所述分區域監督單元，用于通過角點檢測算法將高分辨率圖像解耦為平坦、邊緣和角點區域，分別監督各個初始的超分辨率圖像；

所述角點引導重建單元，用于通過提取到的圖像各區域信息，尤其是角點信息來引導重建超分辨率圖像；

所述梯度加權約束單元，用于通過圖像的梯度信息來加權損失函數，從而約束模型的擬合方向，加強角點區域的擬合能力。

作為優選的技術方案，所述多尺度特征提取單元包括沙漏型網絡模塊和多尺度連接模塊，每兩個沙漏型網絡模塊之間通過多尺度連接模塊連接；

所述沙漏型網絡模塊，用于獲取不同尺度下的特征并融合；