[發明專利]一種圖像超分辨率重建方法及系統

在審

• 申請號: 202210020461.X
• 申請日: 2022-01-10
• 公開（公告）號: CN114519667A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 劉李漫
• 申請（專利權）人: 武漢圖科智能科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 武漢藍寶石專利代理事務所(特殊普通合伙) 42242
• 代理人: 方菲

本發明涉及一種圖像超分辨率重建方法及系統，其方法包括：獲取一張或多張第一分辨率圖像，提取其淺層信息；基于信息蒸餾方法，對提取到的淺層信息進行深層提取，得到每張第一分辨率圖像的多個不同層級粒度和分辨率的特征；將每張第一分辨率圖像及其多個不同層級粒度和分辨率的特征，輸入到訓練完成的重建網絡中，得到高于第一分辨率的第二分辨率圖像。本發明通過分層級蒸餾的方法，提取低分辨率圖像的不同粒度和不同分辨率的特征，再將這些特征進行融合和上采樣，從而重建出高于原低分辨率圖像的超分辨率圖像。

技術領域

本發明屬于計算機視覺技術領域，具體涉及一種圖像超分辨率重建方法及系統。

背景技術

近年來，隨著智慧城市、平安城市等國家主導工程的推動，視頻監控攝像頭在全國范圍內迅速普及。據IDC于2018年9月30日預測，中國視頻監控攝像頭在2022年部署量將達到27.6億臺。此外，隨著視覺通信和圖像處理技術的高速發展，人們可以獲取的數字圖像數據已經呈現爆炸式的增長，極大地促進了計算機視覺領域的快速發展。數字圖像作為記錄視覺任務的信息載體，已與人們的日常生活息息相關。近年來，基于計算機視覺的科學研究日益重要，數字圖像被廣泛地應用于安防監控、醫療識別、衛星探測以及人們的日常生活中。因此，當前迫切要求數字圖像處理技術不斷提高和完善。

日前，日常生活中常見的成像設備有數碼相機、移動手機和監控攝像頭等。然而，在成像過程中受限于傳感器質量等因素，可能造成采集到的數字圖像分辨率過低和圖像模糊，無法清晰明確地記錄場景中信息。其直觀的影響是圖像的視覺效果無法滿足人類感知要求，限制了數字圖像的應用價值。更進一步地影響了后續其他視覺任務的處理效果。因此，亟需一種有效的圖像超分辨率算法，以從低分辨率圖像復原出可靠的高清圖像。為了解決這個問題，有許多超分辨率方法被提出，包括早期的傳統方法和最近的基于學習的方法。傳統方法極依賴先驗信息且處理優化過程非常耗時，而深度學習方法通過增大網絡深度來提升圖像分辨性能，會增大網絡計算代價，不適用于諸如手機和相機等便攜式設備。后續提出的輕量級超分辨率算法卻通過犧牲性能換取較小的計算代價。

發明內容

為解決傳統基于深度學習的圖像超分辨率重建方法依賴網絡先驗信息且效率低，無法適配便攜式設備的問題，在本發明的第一方面，提供了一種圖像超分辨率重建方法，包括：獲取一張或多張第一分辨率圖像，提取其淺層信息；基于信息蒸餾方法，對提取到的淺層信息進行深層提取，得到每張第一分辨率圖像的多個不同層級粒度和分辨率的特征；將每張第一分辨率圖像及其多個不同層級粒度和分辨率的特征，輸入到訓練完成的重建網絡中，得到高于第一分辨率的第二分辨率圖像。

在本發明的一些實施例中，所述基于信息蒸餾方法，對提取到的淺層信息進行深層提取，得到每張第一分辨率圖像的多個不同層級粒度和分辨率的特征包括：構建深層特征提取模塊，所述深層特征提取模塊包括多個組－信息蒸餾模塊、多個密集快捷連接；多個組－信息蒸餾模塊分別對提取到的淺層信息進行信息蒸餾，得到每張第一分辨率圖像的多個不同層級粒度和分辨率的特征；每兩個組－信息蒸餾模塊之間通過密集快捷連接，構成一個組－信息蒸餾殘差組模塊；多個組－信息蒸餾殘差組模塊，用于學習所述多個不同層細粒度和分辨率的特征。

進一步的，所述多個每組－信息蒸餾模塊對提取到的淺層信息進行信息蒸餾包括：構建多個級聯的分組可分離卷積殘差塊，每組可分離卷積殘差塊的輸出作為下一組可分離卷積殘差塊的輸入；融合所有可分離卷積殘差塊的輸出特征圖；對融合后的輸出特征圖進行壓縮和加權相乘，得到加權的輸出特征圖。

在本發明的一些實施例中，所述重建網絡包括非對稱殘差模塊和上采樣重建模塊，所述非對稱殘差模塊，用于根據輸入特征圖的不同空間尺寸和通道數，建立多個分支采樣路徑，并根據其和softmax操作，得到包含全局信息的特征圖；所述上采樣重建模塊，用于將所述全局信息的特征圖進行上采樣，得到高于第一分辨率的第二分辨率圖像。

進一步的，所述上采樣重建模塊通過將擴大的全局信息的特征圖的通道數，并對擴大后的特征圖進行周期排列，得到高于第一分辨率的第二分辨率圖像。