[發明專利]一種盲超分網絡建立方法、盲超分方法及存儲介質

在審

• 申請號: 202211081493.7
• 申請日: 2022-09-06
• 公開（公告）號: CN115526777A
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 鄒臘梅;連志祥;李廣磊;謝佳;王皓;黎云
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 夏倩;李智

本發明公開了一種盲超分網絡建立方法、盲超分方法及存儲介質，屬于計算機視覺領域，包括：由高分辨率圖像及對應的退化圖像構建訓練樣本，并劃分訓練集、測試集和驗證集；構建盲超分網絡，包括退化估計網絡和生成網絡；生成網絡包括上采樣網絡和含有交替連接的多個可變形卷積層和特征提取模塊的特征提取網絡；退化估計網絡估計輸入圖像中各像素位置的退化信息并分別輸入至各可變形卷積層；特征提取網絡提取輸入圖像的特征圖后，由上采樣模塊重建為輸入圖像尺寸的指定放大倍數，得到超分圖像；以訓練樣本中的退化圖像為輸入圖像，對盲超分網絡進行訓練、測試和驗證，得到用于對圖像進行超分辨率重建的盲超分網絡。本發明能夠提高超分辨率重建效果。

技術領域

本發明屬于計算機視覺領域，更具體地，涉及一種盲超分網絡建立方法、盲超分方法及存儲介質。

背景技術

當今社會隨著智能手機的普及、網絡直播的興起，以及遍布大街小巷的監控設備，圖像已成為日常生活不可或缺的一部分。然而受拍攝設備的限制、復雜拍攝環境的影響，以及網絡傳輸的壓縮損失，圖像總是存在各種各樣的問題，如噪聲、壓縮偽影、分辨率低等，這些缺陷大大降低了視覺感受，并且給目標檢測、人臉識別等任務帶來不利影響。因此，如何在現有硬件水平的基礎上，提高圖像分辨率成為亟待解決的問題。

圖像超分辨率技術可以在不提升硬件水平基礎上，僅通過相應算法就可提升圖像分辨率，因此引發了廣泛關注。然而現有超分辨率技術主要針對理想圖像，其假設低分辨率圖像是由高分辨率圖像經過Bicubic下采樣得來，并以這種方式構造數據集訓練超分辨率網絡。然而其在面對真實場景圖像時，由于真實場景圖像往往存在噪聲、偽影等缺陷，使得現有的超分辨率技術的性能大大降低。因此，針對真實場景圖像的盲超分辨率方法具有極高實際應用價值，也是超分辨率技術的發展趨勢。近年來，隨著以卷積神經網絡為代表的深度學習的發展，研究者開始將其應用到超分辨率技術中，讓網絡自動從低分辨率圖像中提取特征，進而構造高分辨率圖像。

但是由于真實場景圖像缺陷種類繁多、背景復雜多樣，現有的基于深度學習的盲超分方法，不能較好的關注到圖像中紋理豐富、退化嚴重的區域，導致超分辨率重建結果不理想。

發明內容

針對現有技術的缺陷和改進需求，本發明提供了一種盲超分網絡建立方法、盲超分方法及存儲介質，其目的在于，提高超分辨率重建效果。

為實現上述目的，按照本發明的一個方面，提供了一種盲超分網絡建立方法，包括：

對高分辨率圖像數據集中的各高分辨率圖像分別進行退化操作，得到對應的退化圖像；由高分辨率圖像及對應的退化圖像構建訓練樣本，并將所有訓練樣本劃分為訓練集、測試集和驗證集；

構建待訓練的盲超分網絡；盲超分網絡包括退化估計網絡和生成網絡；退化估計網絡用于估計輸入圖像中各像素位置的退化信息，生成網絡用于利用退化信息對輸入圖像進行超分辨率重建；生成網絡包括特征提取網絡和上采樣網絡；特征提取網絡包括交替連接的多個可變形卷積層和多個特征提取模塊，退化估計網絡輸出的退化信息分別輸入至各可變形卷積層，特征提取網絡用于對輸入圖像進行特征提取，得到特征圖；上采樣模塊用于將特征圖重建為所述輸入圖像尺寸的指定放大倍數，得到超分圖像；

以訓練樣本中的退化圖像為輸入圖像，利用訓練集、測試集和驗證集分別對待訓練的盲超分網絡進行訓練、測試和驗證，得到用于對圖像進行超分辨率重建的盲超分網絡。

本發明所建立的盲超分網絡，包括用于估計輸入圖像中各像素位置退化信息的退化估計網絡和用于生成超分圖像的生成網絡，生成網絡的特征提取網絡采用可變形卷積模塊將退化估計網絡預測的各像素位置的退化信息引入生成網絡，引入后會生成可變形卷積的偏移量，由于不同像素位置的退化信息可能存在差異，相應地，偏移量在不同位置也存在差異，使得可變形卷積對輸入的退化圖像不同位置針對性地提取到更有用的信息，提高超分辨率重建的效果。

進一步地，退化估計網絡為UNet網絡，且其中的編碼模塊中插入了空間注意力模塊。