[發明專利]基于增強注意力網絡的壓縮圖像超分辨率重建方法

在審

• 申請號: 202010585043.6
• 申請日: 2020-06-24
• 公開（公告）號: CN113837935A
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 何小海;王新歡;王正勇;任超;熊淑華;陳洪剛;滕奇志
• 申請（專利權）人: 四川大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于增強注意力網絡的壓縮圖像超分辨率重建方法。本發明構建了一個端到端的網絡，可同時實現去壓縮和超分辨率任務，主要包括以下步驟：構建一種基于增強注意力的去壓縮子網絡和超分辨率重建子網絡；利用訓練圖像數據集，分別訓練構建的兩個子網絡；在去壓縮子網絡和超分辨率重建子網絡基礎上，構建一種端到端的基于增強注意力的壓縮圖像超分辨率重建網絡；利用圖像訓練集，訓練該壓縮超分網絡；在圖像重建階段，輸入低分辨率壓縮圖像，直接在輸出端得到高分辨率重建結果。本發明所述的方法能獲得很好的主客觀效果，是一種有效的單幅圖像超分辨率重建方法。

技術領域

本發明涉及圖像分辨率提升技術，具體涉及一種基于增強注意力網絡的壓縮圖像超分辨率重建方法，屬于圖像處理領域。

背景技術

研究表明，人類活動中絕大部分的信息是通過視覺系統進行感知的。圖像作為記錄和傳遞視覺信息的載體，具有形象直觀、信息量大、通俗易懂等優點，在天文觀測、定位跟蹤、醫學成像、交通監控等諸多領域均有著極為重要的應用。隨著移動互聯網時代的到來以及信息技術的推陳出新，人們對圖像質量和分辨率的需求日益增長，這使圖像的數據量也呈指數式上升。一方面，拍攝圖像的分辨率越來越高，若不采用高效的圖像壓縮技術，將大大加重存儲空間和帶寬的壓力，導致可存儲的圖像數量急劇下降。另一方面，在圖像采集與傳輸過程中，壓縮后的圖像可能存在壓縮失真、分辨率太低等問題，不利于圖像的后續處理，達不到實際應用的要求，使現有的技術和設備面臨著巨大的挑戰。

超分辨率重建通過軟件技術將已有的降質圖像進行重建處理，在提升圖像分辨率的同時恢復圖像丟失的高頻細節，具有成本低、實用性強的特點，成為圖像處理領域的研究熱點。現階段，面向非壓縮圖像的常規超分辨率重建方法已經得到了廣泛的研究，但針對壓縮圖像的超分辨率重建研究開展得并不深入。在實際應用中，觀測到的圖像往往同時受到下采樣以及壓縮降質的影響，壓縮效應的產生增加了超分重建任務的難度。若對壓縮圖像進行常規意義上的超分重建，則壓縮產生的量化噪聲與圖像本身信息之間的強相關性將會導致壓縮效應被一并超分增強。

發明內容

本發明的目的就是為解決上述問題而提供一種基于增強注意力網絡的壓縮圖像超分辨率重建方法。在本發明中，將針對非壓縮圖像的超分辨率重建方法統稱為常規超分，將針對壓縮圖像的超分辨率重建方法稱為壓縮超分。本發明使用深度學習方法，構建了一個端到端的卷積神經網絡，并在網絡中加入增強的注意力模塊，使得網絡可在提升圖像分辨率的同時，有效去除圖像中的壓縮偽影，同時恢復壓縮和下采樣降質中損失的高頻細節。

本發明提出的基于增強注意力網絡的壓縮圖像超分辨率重建方法，主要包括以下操作步驟：

(1)對于輸入的低分辨率壓縮圖像，構建一種基于增強注意力的去壓縮效應子網絡，用于消除壓縮偽影，得到去噪后的低分辨率圖像；

(2)利用訓練圖像集，訓練步驟(1)中構建的去壓縮效應子網絡；

(3)對于去噪后的低分辨率圖像，構建一種基于增強注意力的超分辨率重建子網絡，用于提升圖像分辨率，得到高分辨率圖像；

(4)利用訓練圖像數據集，訓練步驟(3)中構建的超分辨率重建子網絡；

(5)將步驟(1)和步驟(3)構建的網絡融合，構建一種端到端的基于增強注意力的壓縮圖像超分辨率網絡，用于同時實現去壓縮和超分辨率，即直接由壓縮低分辨率圖像得到去壓縮高分辨率圖像；

(6)利用訓練圖像集，在步驟(2)和步驟(4)的基礎上，訓練步驟(5)中構建的壓縮超分網絡；

(7)在圖像重建階段，將低分辨率壓縮圖像作為輸入，利用步驟(6)中訓練出的網絡直接重建出去除壓縮噪聲的高分辨率圖像。

附圖說明

圖1是本發明基于增強注意力網絡的壓縮圖像超分辨率重建方法的原理框圖

圖2是本發明卷積神經網絡中用到的寬激活殘差塊結構圖