[發(fā)明專利]一種基于金字塔融合注意力網(wǎng)絡(luò)的圖像超分辨率方法

在審

• 申請?zhí)枺?/td>: 202210639755.0
• 申請日: 2022-06-08
• 公開（公告）號: CN114926343A
• 公開（公告）日: 2022-08-19
• 發(fā)明（設(shè)計）人: 唐杰;何昊;鄭秀;武港山
• 申請（專利權(quán)）人: 南京大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京天翼專利代理有限責任公司 32112
• 代理人: 奚銘

一種基于金字塔融合注意力網(wǎng)絡(luò)的圖像超分辨率方法，通過引入一種金字塔融合注意力機制來從給定的低分辨圖像中恢復高分辨圖像，首先采用金字塔融合結(jié)構(gòu)，每層金字塔使用殘差塊進行堆疊，同時使用降采樣操作和多尺度融合策略來確保完整的感受野并掌握更多的上下文細節(jié)信息。此外，本發(fā)明還提出了一種漸進式后向融合策略，以充分利用中間金字塔融合注意力模塊產(chǎn)生的分層特征。本發(fā)明金字塔融合注意力模塊通過對像素之間的關(guān)系進行建模，以更好地增強網(wǎng)絡(luò)的判別能力，從而更好地恢復高頻信息。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學習、計算機視覺和計算機圖像處理技術(shù)領(lǐng)域，涉及單張圖像超分辨率，為一種基于金字塔融合注意力網(wǎng)絡(luò)的圖像超分辨率方法。

背景技術(shù)

圖像超分辨率(Single Image Super-Resolution，SISR)作為計算機視覺領(lǐng)域一項長期存在的基本任務(wù)之一，近年來越來越受到廣泛的關(guān)注。該任務(wù)旨在通過一定的技術(shù)手段，將低分辨率圖像(Low Resolution，LR)恢復為高分辨率圖像(High Resolution，HR)，從而獲得更清晰的圖像細節(jié)。在現(xiàn)實場景下，受成像設(shè)備能力、網(wǎng)絡(luò)帶寬及存儲成本等多方面的影響，往往無法直接獲取分辨率較高的圖像。因此，從低分辨率圖像中重建高分辨率圖像在這些情況下顯得尤為重要。圖像超分辨率在軍事、醫(yī)學、安防、衛(wèi)星成像、HDTV等多個領(lǐng)域都有著十分廣闊的應(yīng)用前景，具有十分重要的研究價值。然而，由于從LR圖像到HR圖像的解空間存在一對多映射，因此SISR任務(wù)是高度不適定的。

近年來，深度學習技術(shù)在多個領(lǐng)域都取得了優(yōu)于傳統(tǒng)技術(shù)的效果。自從AlexNet在2010 年的ImageNet競賽中大放異彩，基于深度學習的方法在計算機視覺的各個領(lǐng)域都得到了廣泛的應(yīng)用。而圖像超分辨率任務(wù)作為計算機視覺中的一項長期存在底層視覺任務(wù)，同樣深受其影響。Dong等學者在2015年首次將卷積神經(jīng)網(wǎng)絡(luò)(Concolutional NeuralNetwork，CNN)引入該領(lǐng)域，提出了SRCNN。該模型首先將LR圖像上采樣相應(yīng)尺度，繼而使用3層卷積搭建的網(wǎng)絡(luò)將圖像映射到HR圖像域。與傳統(tǒng)算法相比，SRCNN取得更優(yōu)的效果。在此之后，基于CNN的方法在該領(lǐng)域取得了長足的發(fā)展。

為了進一步提升網(wǎng)絡(luò)的性能，多數(shù)模型在CNN的基礎(chǔ)上使用了注意力機制。注意力機制試圖模仿人類視覺系統(tǒng)捕捉信息的能力，從而使得網(wǎng)絡(luò)更關(guān)注于顯著區(qū)域特征，同時降低對無關(guān)特征的關(guān)注度。傳統(tǒng)的注意力機制主要基于兩方面的考慮：1.沿通道域計算相關(guān)性，為每個通道計算其權(quán)重，平等對待通道內(nèi)的特征。2.沿空間域計算相關(guān)性，為通道內(nèi)的每個像素點計算相關(guān)性，不同通道內(nèi)的同一坐標位置的相關(guān)性相同。在此基礎(chǔ)上，大量的注意力機制被提出。

發(fā)明內(nèi)容

本發(fā)明要解決的問題是：現(xiàn)有的多數(shù)注意力機制只注重沿通道域或空間域捕捉固有的特征相關(guān)性，平等的對待了相應(yīng)維度內(nèi)的特征，而這阻礙了注意力機制的能力；在圖像超分的整個網(wǎng)絡(luò)架構(gòu)中存在多個模塊，中間模塊的輸出即為中間特征，現(xiàn)有的大多數(shù)方法都未能充分利用中間特征，而這些特征對于重建空間上下文細節(jié)有著重要意義，因此導致性能相對較弱。

本發(fā)明的技術(shù)方案為：一種基于金字塔融合注意力網(wǎng)絡(luò)的單張圖像超分辨率方法，構(gòu)建一個圖像超分網(wǎng)絡(luò)PFAN從給定的低分辨圖像中恢復高分辨圖像，圖像超分網(wǎng)絡(luò)由依次設(shè)置的淺層特征提取模塊、堆疊的特征提取基本組BG、上采樣模塊和重建模塊四個部分組成，包括以下流程：

1)淺層特征提取模塊使用一層卷積對低分辨率圖像I_LR提取淺層特征F₀：

F₀＝H₀(I_LR)

其中H₀(·)表示卷積函數(shù)；

2)使用堆疊的特征提取基本組BG進行深層次特征提取：