[發(fā)明專利]基于角點(diǎn)引導(dǎo)級聯(lián)沙漏網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)的真實(shí)圖像超分辨率模型及方法

有效

• 申請?zhí)枺?/td>: 202010375538.6
• 申請日: 2020-05-07
• 公開（公告）號(hào): CN111696033B
• 公開（公告）日: 2023-04-28
• 發(fā)明（設(shè)計(jì)）人: 謝子維;魏朋旭;詹宗沅;林倞
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T5/50
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

1.基于角點(diǎn)引導(dǎo)級聯(lián)沙漏網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)的真實(shí)圖像超分辨率模型的系統(tǒng)，其特征在于，包括多尺度特征提取單元、分區(qū)域重建單元、分區(qū)域監(jiān)督單元、角點(diǎn)引導(dǎo)重建單元以及梯度加權(quán)約束單元，所述多尺度特征提取單元和分區(qū)域監(jiān)督單元均與分區(qū)域重建單元連接，所述分區(qū)域重建單元和梯度加權(quán)約束單元均與角點(diǎn)引導(dǎo)重建單元連接；

所述多尺度特征提取單元，用于通過級聯(lián)沙漏網(wǎng)絡(luò)結(jié)構(gòu)提取輸入圖像的多尺度信息的特征；

所述分區(qū)域重建單元，用于通過不同深度的多尺度特征分別重建多個(gè)初始的超分辨率圖像；

所述分區(qū)域監(jiān)督單元，用于通過角點(diǎn)檢測算法將高分辨率圖像解耦為平坦、邊緣和角點(diǎn)區(qū)域，分別監(jiān)督各個(gè)初始的超分辨率圖像；

所述角點(diǎn)引導(dǎo)重建單元，用于通過提取到的角點(diǎn)信息來引導(dǎo)重建超分辨率圖像；

所述梯度加權(quán)約束單元，用于通過圖像的梯度信息來加權(quán)損失函數(shù)，從而約束模型的擬合方向，加強(qiáng)角點(diǎn)區(qū)域的擬合能力。

2.根據(jù)權(quán)利要求1所述基于角點(diǎn)引導(dǎo)級聯(lián)沙漏網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)的真實(shí)圖像超分辨率模型的系統(tǒng)，其特征在于，所述多尺度特征提取單元包括沙漏型網(wǎng)絡(luò)模塊和多尺度連接模塊，每兩個(gè)沙漏型網(wǎng)絡(luò)模塊之間通過多尺度連接模塊連接；

所述沙漏型網(wǎng)絡(luò)模塊，用于獲取不同尺度下的特征并融合；

所述多尺度連接模塊，用于串聯(lián)多個(gè)所述沙漏型網(wǎng)絡(luò)模塊的特征輸出，并進(jìn)一步增強(qiáng)多尺度的信息融合。

3.根據(jù)權(quán)利要求2所述基于角點(diǎn)引導(dǎo)級聯(lián)沙漏網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)的真實(shí)圖像超分辨率模型的系統(tǒng)，其特征在于，所述沙漏型網(wǎng)絡(luò)模塊包括多層Top-Down結(jié)構(gòu)和Bottom-Up結(jié)構(gòu)；所述Top-Down結(jié)構(gòu)每一層的輸入都先經(jīng)過一個(gè)卷積層，再進(jìn)行最大值池化處理，類比于圖像高斯金字塔的流程，卷積層對應(yīng)于高斯金字塔的高斯濾波，最大值池化對應(yīng)于高斯金字塔的下采樣；所述Bottom-Up結(jié)構(gòu)每一層先進(jìn)行最近鄰上采樣，再經(jīng)過一個(gè)卷積層，最后加上來自于Top-Down部分對應(yīng)分辨率的輸入，同樣類比于圖像拉普拉斯金字塔的流程，最近鄰上采樣對應(yīng)于拉普拉斯金字塔的上采樣，卷積層對應(yīng)于拉普拉斯金字塔的插值濾波器，相加過程對應(yīng)于拉普拉斯金字塔的插值圖像與預(yù)測殘差相加過程；所述Top-Down結(jié)構(gòu)構(gòu)建了不同尺度的特征，Bottom-Up結(jié)構(gòu)給不同尺度的特征分別增加了信息，最后還原回初始的分辨率大小，即輸入經(jīng)過沙漏型網(wǎng)絡(luò)模塊時(shí)，在不同的尺度空間附加了相應(yīng)的信息，最終得到了優(yōu)化的特征。

4.根據(jù)權(quán)利要求3所述基于角點(diǎn)引導(dǎo)級聯(lián)沙漏網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)的真實(shí)圖像超分辨率模型的系統(tǒng)，其特征在于，所述分區(qū)域重建單元在不同深度的多個(gè)沙漏型網(wǎng)絡(luò)模塊之后分別接了一個(gè)重建模塊用于生成超分辨率圖像，讓不同深度的沙漏型網(wǎng)絡(luò)模塊都提取有利于最終超分辨率結(jié)果的信息，隨著深度的增加不斷加強(qiáng)其特征表達(dá)能力，最后得到更好的超分辨率結(jié)果。

5.根據(jù)權(quán)利要求1所述基于角點(diǎn)引導(dǎo)級聯(lián)沙漏網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)的真實(shí)圖像超分辨率模型的系統(tǒng)，其特征在于，所述分區(qū)域監(jiān)督單元包括角點(diǎn)檢測模塊和監(jiān)督模塊；

所述角點(diǎn)檢測模塊，利用角點(diǎn)檢測算法處理高分辨率圖像，再根據(jù)設(shè)定的閾值將圖像劃分為平坦、邊緣和角點(diǎn)區(qū)域；

所述監(jiān)督模塊，利用劃分的三種區(qū)域監(jiān)督各初始超分辨率圖像的重建，所述監(jiān)督模塊的實(shí)施過程表示為：

L_i＝l(f_i*hr,f_i*sr_i)

其中L_i為優(yōu)化目標(biāo)；l(hr,sr_i)為任意的常用損失函數(shù)，f_i是角點(diǎn)檢測算法劃分的區(qū)域；下標(biāo)i表示不同深度的重建模塊以及對應(yīng)的劃分區(qū)域；通過優(yōu)化目標(biāo)函數(shù)L_i，不同深度的模塊分別學(xué)習(xí)不同區(qū)域的特征，使得重建的初始超分辨率圖像具有各自區(qū)域的特點(diǎn)。