[發(fā)明專利]基于深度學(xué)習(xí)局部與非局部信息的超分辨率重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910711664.1
• 申請(qǐng)日: 2019-08-02
• 公開（公告）號(hào): CN112308772B
• 公開（公告）日: 2022-11-01
• 發(fā)明（設(shè)計(jì)）人: 何小海;占文樞;陳正鑫;任超;熊淑華;王正勇;滕奇志
• 申請(qǐng)（專利權(quán)）人: 四川大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/04;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開了一種基于深度學(xué)習(xí)局部與非局部信息的超分辨率重建方法。主要包括以下步驟：搭建基于深度學(xué)習(xí)局部與非局部信息的超分辨率卷積神經(jīng)網(wǎng)絡(luò)模型，包括局部網(wǎng)絡(luò)和非局部增強(qiáng)網(wǎng)絡(luò)兩大模塊；利用前一步驟搭建的卷積神經(jīng)網(wǎng)絡(luò)，分別訓(xùn)練不同放大因子的超分辨率模型；以訓(xùn)練好的超分辨率重建模型為基礎(chǔ)，將低分辨率圖像作為輸入，得到最終的超分辨率重建圖像。本發(fā)明所述的方法能夠利用非局部增強(qiáng)網(wǎng)絡(luò)挖掘到圖像更廣泛區(qū)域的有效信息，因此可以有效地對(duì)低分辨率圖像進(jìn)行超分辨率重建，能獲得很好的主客觀效果，是一種有效的低分辨率圖像復(fù)原方法。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像超分辨率重建技術(shù)，具體涉及一種基于深度學(xué)習(xí)局部與非局部信息的超分辨率重建方法，屬于數(shù)字圖像處理領(lǐng)域。

背景技術(shù)

超分辨率重建技術(shù)因其能提升圖像的分辨率，而被廣泛應(yīng)用于實(shí)際生活中，如從安全領(lǐng)域的成像到醫(yī)療成像，因此在圖像處理領(lǐng)域中，超分辨率重建技術(shù)受到不少研究學(xué)者的青睞并被深入地研究。提高圖像分辨率的方法主要有兩種：一種是通過改善硬件設(shè)備條件獲取高分辨率圖像；另一種是通過軟件提升圖像的分辨率。通過改善硬件條件實(shí)現(xiàn)的方式，往往成本比較高，不能增加已拍攝圖像的分辨率，局限性強(qiáng)。因此，軟件超分辨率重建技術(shù)成為了近年來(lái)圖像處理的一個(gè)研究熱點(diǎn)。

超分辨率重建技術(shù)是一種后處理技術(shù)，主要的優(yōu)點(diǎn)在于能夠在不改變現(xiàn)有硬件條件的情況下提高圖像的分辨率。此類方法大致分為基于插值的方法，基于重建的方法，以及基于學(xué)習(xí)的方法。其中，基于學(xué)習(xí)的方法，由于復(fù)原速度快和復(fù)原后的圖像質(zhì)量好，往往具有更多的實(shí)際意義。近年來(lái)，隨著計(jì)算機(jī)技術(shù)的發(fā)展和設(shè)備的更新?lián)Q代，基于卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方法取得了較大發(fā)展，相比之前的一些基于學(xué)習(xí)的方法，其學(xué)習(xí)效率高且能夠更好地恢復(fù)低分辨率圖像損失的細(xì)節(jié)信息。然而，現(xiàn)有的基于深度學(xué)習(xí)的超分辨率重建方法，大多是局部卷積神經(jīng)網(wǎng)絡(luò)，在復(fù)原圖像的質(zhì)量上還有進(jìn)一步提升的空間。

發(fā)明內(nèi)容

本發(fā)明的目的是結(jié)合基于深度學(xué)習(xí)局部與非局部信息的優(yōu)點(diǎn)，進(jìn)而構(gòu)建一種有效的超分辨率重建方法。

本發(fā)明提出的基于深度學(xué)習(xí)局部與非局部信息的超分辨率重建方法，主要包括以下操作步驟：

(1)搭建基于深度學(xué)習(xí)局部與非局部信息的超分辨率卷積神經(jīng)網(wǎng)絡(luò)模型，包括局部網(wǎng)絡(luò)和非局部增強(qiáng)網(wǎng)絡(luò)兩大模塊；

(2)利用步驟一的卷積神經(jīng)網(wǎng)絡(luò)，分別訓(xùn)練不同放大因子的超分辨率模型；

(3)以訓(xùn)練好的超分辨率重建模型為基礎(chǔ)，將低分辨率圖像作為輸入，得到最終的超分辨率重建圖像。

附圖說(shuō)明

圖1是本發(fā)明基于深度學(xué)習(xí)局部與非局部信息的超分辨率重建方法的原理框圖

圖2為局部殘差模塊

圖3為非局部相似性模塊運(yùn)算過程說(shuō)明

圖4為非局部殘差模塊

圖5是本發(fā)明與另外六種方法對(duì)雙三次下采樣圖像“216081”超分辨率重建結(jié)果的對(duì)比圖(超分辨率重建因子為2)：其中，(a)為原始圖像，(b)(c)(d)(e)(f)(g)(h)分別為方法1、方法2、方法3、方法4、方法5、方法6及本發(fā)明的重建結(jié)果

圖6是本發(fā)明與另外六種方法對(duì)雙三次下采樣圖像“223061”超分辨率重建結(jié)果的對(duì)比圖(超分辨率重建因子為4)：其中，(a)為原始圖像，(b)(c)(d)(e)(f)(g)(h)分別為方法1、方法2、方法3、方法4、方法5、方法6及本發(fā)明的重建結(jié)果

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步說(shuō)明：

圖1中，基于深度學(xué)習(xí)局部與非局部信息的超分辨率重建方法，具體可以分為以下幾個(gè)步驟：

(1)搭建基于深度學(xué)習(xí)局部與非局部信息的超分辨率卷積神經(jīng)網(wǎng)絡(luò)模型，包括局部網(wǎng)絡(luò)和非局部增強(qiáng)網(wǎng)絡(luò)兩大模塊；