[發明專利]基于頻域和空域的圖像超分辨率方法

在審

• 申請號: 202210134149.3
• 申請日: 2022-02-14
• 公開（公告）號: CN114463183A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 張師超;謝方鑫;章成源
• 申請（專利權）人: 中南大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06K9/62
• 代理公司: 長沙永星專利商標事務所(普通合伙) 43001
• 代理人: 周詠;米中業

1.一種基于頻域和空域的圖像超分辨率方法，包括如下步驟：

S1.獲取原始數據集；

S2.對步驟S1獲取的原始數據集進行處理，從而構建訓練數據集；

S3.基于增強超分辨率生成對抗網絡，并結合小波變換和注意力機制，從頻域和空域兩個角度，構建圖像超分辨率原始模型；

S4.采用步驟S2得到的訓練數據集，對步驟S3構建的圖像超分辨率原始模型進行訓練，從而得到圖像超分辨率模型；

S5.采用步驟S5得到的圖像超分辨率模型，對實際的圖像進行超分辨率處理，完成實際圖像的超分辨率。

2.根據權利要求1所述的基于頻域和空域的圖像超分辨率方法，其特征在于步驟S2所述的對步驟S1獲取的原始數據集進行處理，從而構建訓練數據集，具體包括如下步驟：

A.設定訓練數據集中的高分辨率圖像的分辨率和低分辨率圖像的分辨率；

B.將步驟S1獲取的原始數據集中的圖像進行切分，獲取若干子圖作為高分辨率圖像；

C.將步驟B得到的高分辨率圖像進行下采樣處理，從而得到對應的低分辨率圖像；

D.將步驟B得到的高分辨率圖像和步驟C得到的低分辨率圖像進行一一匹配，從而得到訓練數據集。

3.根據權利要求2所述的基于頻域和空域的圖像超分辨率方法，其特征在于步驟S3所述的基于增強超分辨率生成對抗網絡，并結合小波變換和注意力機制，從頻域和空域兩個角度，構建圖像超分辨率原始模型，具體包括如下步驟：

a.構建空域超分網絡，用于將輸入的低分辨率圖像進行特征提取、上采樣和重建，從而得到重建空域圖像特征；

b.構建頻域超分網絡，用于將輸入的低分辨率圖像進行頻域分解、特征提取、上采樣和重建，從而得到重建頻域圖像特征；

c.構建注意力融合網絡，用于將步驟a得到的重建空域圖像特征和步驟b得到的重建頻域圖像特征進行融合，并重建得到高分辨率圖像。

4.根據權利要求3所述的基于頻域和空域的圖像超分辨率方法，其特征在于步驟a所述的構建空域超分網絡，具體包括如下步驟：

空域超分網絡包括依次串接的空域淺層特征提取模塊、空域深層特征提取模塊、空域上采樣模塊和空域特征重建模塊；

空域淺層特征提取模塊包括一層卷積層，卷積核大小為3*3；空域淺層特征提取模塊用于對輸入的低分辨率圖像進行淺層特征提取，并將提取到的淺層圖像特征上傳至空域深層特征提取模塊；

空域深層特征提取模塊包括23個密集殘差塊和一層卷積層，卷積層的卷積核大小為3*3；輸入的淺層圖像特征依次通過密集殘差塊和卷積層后得到深層圖像特征，并保留中間特征；空域深層特征提取模塊用于進行圖像的深層特征提取，并將提取到的深層圖像特征上傳至空域上采樣模塊；

空域上采樣模塊包括依次串接的上采樣層、一層卷積層和relu激活函數層，上采樣層采用最近鄰采樣模式，卷積層的卷積核大小為3*3；輸入的深層圖像特征通過上采樣層得到目標分辨率的空域圖像特征，然后經過卷積層進行卷積操作，最后經過relu函數進行激活，完成上采樣處理，并將最終得到的空域圖像特征上傳至空域特征重建模塊；

空域特征重建模塊包括依次串接的第一卷積層、一層relu激活函數層和第二卷積層，第一卷積層的卷積核大小為3*3，第二卷積層的卷積核大小為3*3；輸入的空域圖像特征通過第一卷積層進行卷積操作后，再通過relu函數進行激活，然后再通過第二卷積層進行卷積操作后，得到最終的重建空域圖像特征。