[發(fā)明專利]基于頻域-紋理特征融合的圖像超分辨率重建方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211710695.3
• 申請日: 2022-12-29
• 公開（公告）號: CN116128722A
• 公開（公告）日: 2023-05-16
• 發(fā)明（設(shè)計）人: 蔡強;常浩東;李海生
• 申請（專利權(quán)）人: 北京工商大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/54;G06V10/80;G06V10/42;G06V10/82
• 代理公司: 北京科迪生專利代理有限責(zé)任公司 11251
• 代理人: 金怡

1.一種基于頻域-紋理特征融合的圖像超分辨率重建方法，其特征在于，包括：

步驟S1：將高分辨率圖像劃分為大小相同的一系列子圖像塊，將所述子圖像塊輸入紋理特征提取網(wǎng)絡(luò)，得到高分辨率圖像深度紋理特征F_PC；

步驟S2：將低分辨率圖像輸入頻域信息提取網(wǎng)絡(luò)，得到低分辨率圖像高頻域深層特征F_PL；

步驟S3：將F_PC和F_PL輸入多尺度分層特征重建模塊，利用金字塔結(jié)構(gòu)并行構(gòu)建頻域和紋理的分層特征和

步驟S4：將和輸入特征融合反饋模塊，基于分級特征反饋融合策略,在不同層間傳遞結(jié)構(gòu)信息，利用卷積自適應(yīng)地分配不同層特征融合時的權(quán)重系數(shù)，并生成包含多級感受野的邊緣引導(dǎo)圖像；

步驟S5：通過所述邊緣引導(dǎo)圖像,重建所述高分辨率圖像，同時，使用均方誤差損失函數(shù)優(yōu)化網(wǎng)絡(luò)參數(shù)，最終獲得邊緣圖像引導(dǎo)的高分辨率圖像。

2.根據(jù)權(quán)利要求1所述基于頻域-紋理特征融合的圖像超分辨率重建方法，其特征在于，所述步驟S1：將高分辨率圖像劃分為大小相同的一系列子圖像塊，將所述子圖像塊輸入紋理特征提取網(wǎng)絡(luò)，得到高分辨率圖像深度紋理特征F_PC，具體包括：

將所述高分辨率圖像按切割成相同大小的子圖像塊，將所述子圖像塊輸入所述紋理特征提取網(wǎng)絡(luò)，其中，所述紋理特征提取網(wǎng)絡(luò)由一個卷積層和M個殘差塊組成，每個所述殘差塊包含一個線性激活函數(shù)和兩個卷積層，最后輸出高分辨率圖像的深度紋理特征F_PC。

3.根據(jù)權(quán)利要求2所述基于頻域-紋理特征融合的圖像超分辨率重建方法，其特征在于，所述步驟S2：將低分辨率圖像輸入頻域信息提取網(wǎng)絡(luò)，得到低分辨率圖像高頻域深層特征F_PL，具體包括：

所述頻域信息提取網(wǎng)絡(luò)包括1個卷積層和M個頻域信息提取模塊；首先對所述低分辨率圖像利用所述卷積層進行1x1的卷積操作，然后利用所述頻域信息提取模塊進行頻域信息提取操作，獲得傅里葉變換后的低分辨率圖像高頻域深層特征F_PL，變換公式如下所示；

其中，x[n]代表一個復(fù)數(shù)，n＝[0…N-1]，F(xiàn)_PL[k]代表頻率為的頻譜，j為虛數(shù)單位。

4.根據(jù)權(quán)利要求3所述基于頻域-紋理特征融合的圖像超分辨率重建方法，其特征在于，所述步驟S3：將F_PC和F_PL輸入多尺度分層特征重建模塊，利用金字塔結(jié)構(gòu)并行構(gòu)建頻域和紋理的分層特征和具體包括：

利用所述多尺度分層特征重建模塊分別提取F_PC和F_PL在不同尺度下的分層特征，即，利用第j-1層的分層特征和通過卷積提取其邊緣結(jié)構(gòu)信息，并利用最大池化層分別構(gòu)建頻域和紋理第j層的分層特征和

其中，“*”表示卷積操作，“σ”表示激活函數(shù)，H_↓表示二倍下采樣操作，和表示卷積的權(quán)重，和表示卷積的偏置。

5.根據(jù)權(quán)利要求4所述基于頻域-紋理特征融合的圖像超分辨率重建方法，其特征在于，所述步驟S4：將和輸入特征融合反饋模塊，基于分級特征反饋融合策略,在不同層間傳遞結(jié)構(gòu)信息,利用卷積自適應(yīng)地分配不同層特征融合時的權(quán)重系數(shù)，并生成包含多級感受野的邊緣引導(dǎo)圖像，具體包括：

將和輸入融合反饋模塊，利用大小為1x1卷積核對其進行卷積操作后進行特征融合，得到多尺度融合特征向量，并利用上采樣進行尺度變化，使得所述多尺度融合特征向量與輸入的所述高分辨率圖像的尺度一致，并生成邊緣引導(dǎo)圖像。

6.根據(jù)權(quán)利要求1所述基于頻域-紋理特征融合的圖像超分辨率重建方法，其特征在于，所述步驟S5：通過所述邊緣引導(dǎo)圖像,重建所述高分辨率圖像，同時，使用均方誤差損失函數(shù)優(yōu)化網(wǎng)絡(luò)參數(shù)，最終獲得邊緣圖像引導(dǎo)的高分辨率圖像，具體包括：

利用所述邊緣引導(dǎo)圖像進一步增強重建所述高分辨率圖像的邊緣細節(jié)信息,使用均方誤差損失函數(shù)優(yōu)化網(wǎng)絡(luò)參數(shù)，直至所述損失函數(shù)收斂，得到具有清晰紋理邊緣的高分辨率圖像結(jié)果。

7.一種基于頻域-紋理特征融合的圖像超分辨率重建系統(tǒng)，其特征在于，包括下述模塊：

獲取高分辨率圖像紋理特征模塊，用于將高分辨率圖像劃分為大小相同的一系列子圖像塊，將所述子圖像塊輸入紋理特征提取網(wǎng)絡(luò)，得到高分辨率圖像深度紋理特征F_PC；

獲取低分辨率圖像頻域特征模塊，用于將低分辨率圖像輸入頻域信息提取網(wǎng)絡(luò)，得到低分辨率圖像高頻域深層特征F_PL；

多尺度分層特征重建模塊，用于將F_PC和F_PL輸入多尺度分層特征重建模塊，利用金字塔結(jié)構(gòu)并行構(gòu)建頻域和紋理的分層特征和

特征融合反饋模塊，用于將和輸入特征融合反饋模塊，基于分級特征反饋融合策略,在不同層間傳遞結(jié)構(gòu)信息,利用卷積自適應(yīng)地分配不同層特征融合時的權(quán)重系數(shù)，并生成包含多級感受野的邊緣引導(dǎo)圖像；

高分辨率圖像重建模塊，用于通過所述邊緣引導(dǎo)圖像,重建所述高分辨率圖像，同時，使用均方誤差損失函數(shù)優(yōu)化網(wǎng)絡(luò)參數(shù)，最終獲得邊緣圖像引導(dǎo)的高分辨率圖像。