[發(fā)明專利]一種基于遞進(jìn)學(xué)習(xí)的圖像超分辨率方法

有效

• 申請?zhí)枺?/td>: 202010023379.3
• 申請日: 2020-01-09
• 公開（公告）號: CN111260552B
• 公開（公告）日: 2023-05-30
• 發(fā)明（設(shè)計(jì)）人: 莊嚇海;高尚奇
• 申請（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/045;G06N3/08
• 代理公司: 上海科盛知識(shí)產(chǎn)權(quán)代理有限公司 31225
• 代理人: 丁云

本發(fā)明涉及一種基于遞進(jìn)學(xué)習(xí)的圖像超分辨率方法，該方法包括如下步驟：(1)獲取成對的低分辨率和高分辨率圖像，生成訓(xùn)練樣本；(2)構(gòu)建圖像超分辨率網(wǎng)絡(luò)，所述的圖像超分辨率網(wǎng)絡(luò)用于輸入低分辨率圖像并輸出高分辨率圖像；(3)確定度量高分辨率圖像局部細(xì)節(jié)特征的局部細(xì)節(jié)度量；(4)確定隨訓(xùn)練次數(shù)遞進(jìn)增加的難度系數(shù)，結(jié)合局部細(xì)節(jié)度量與難度系數(shù)確定每一次訓(xùn)練過程中各訓(xùn)練樣本的自適應(yīng)權(quán)重；(5)基于自適應(yīng)權(quán)重定義圖像超分辨率網(wǎng)絡(luò)的加權(quán)損失函數(shù)；(6)利用優(yōu)化器最小化加權(quán)損失函數(shù)，訓(xùn)練圖像超分辨率網(wǎng)絡(luò)；(7)獲得用于圖像超分辨率的圖像超分辨率網(wǎng)絡(luò)。與現(xiàn)有技術(shù)相比，本發(fā)明魯棒性高，泛化能力強(qiáng)，計(jì)算時(shí)間短，實(shí)現(xiàn)方便。

技術(shù)領(lǐng)域

本發(fā)明涉及一種圖像超分辨率方法，尤其是涉及一種基于遞進(jìn)學(xué)習(xí)的圖像超分辨率方法。

背景技術(shù)

圖像超分辨任務(wù)旨在根據(jù)成像系統(tǒng)中退化的低分辨率圖像重建出高分辨率的圖像。在自然條件下，成像系統(tǒng)會(huì)受到內(nèi)在和外在等多種因素的干擾，因此圖像退化過程會(huì)是多種退化情形的組合。此外，圖像本身具有很強(qiáng)的非局部相似性，因此我們不僅可以通過額外樣本學(xué)習(xí)圖像間的局部相似性，更應(yīng)該通過模型充分開發(fā)圖像本身的非局部相似性。傳統(tǒng)的非學(xué)習(xí)方法通過建模圖像的退化過程，利用先驗(yàn)知識(shí)和優(yōu)化方法來復(fù)原圖像。然而這些方法針對不同的任務(wù)需要人工設(shè)置參數(shù)，由于它們的非全自動(dòng)缺陷，在應(yīng)用中會(huì)產(chǎn)生昂貴的人力成本。此外非學(xué)習(xí)方法的實(shí)現(xiàn)一般是通過一個(gè)迭代框架，因此在測試的時(shí)候圖像超分辨率時(shí)間較長。新的基于學(xué)習(xí)的方法通過構(gòu)建網(wǎng)絡(luò)來模擬圖像超分辨率過程，并利用大量訓(xùn)練樣本來訓(xùn)練網(wǎng)絡(luò)。基于學(xué)習(xí)的方法在圖像超分辨率任務(wù)上產(chǎn)生了非常客觀的效果，其一是因?yàn)榛趯W(xué)習(xí)的方法通過大量的樣本可以學(xué)習(xí)圖像的局部相似性特征，因此可以大大提升圖像超分辨率質(zhì)量；其二是因?yàn)榛趯W(xué)習(xí)的方法可以通過深度學(xué)習(xí)框架并行實(shí)現(xiàn)，所以在測試的時(shí)候會(huì)大大縮短圖像超分辨率時(shí)間。然而在實(shí)際測試中，基于學(xué)習(xí)的圖像超分辨率方法依然存在著如下兩方面的挑戰(zhàn)：

(1)針對同一圖像超分辨率任務(wù)中的不同樣本，利用學(xué)習(xí)方法得到的結(jié)果差異很大，這是因?yàn)橥粓D像中不同像素的條件分布各不同，因此學(xué)習(xí)方法的魯棒性不夠。

(2)針對不同的圖像超分辨率任務(wù)，基于學(xué)習(xí)的方法缺乏適應(yīng)不同任務(wù)的靈活性，這是因?yàn)椴煌蝿?wù)下退化圖像像素分布的差異很大，因此學(xué)習(xí)方法的泛化能力不夠。

經(jīng)過對現(xiàn)有文獻(xiàn)的調(diào)研發(fā)現(xiàn)，通過充分開發(fā)圖像本身的非局部相似性，可以很大程度上提升圖像超分辨率方法的魯棒性。此外，設(shè)計(jì)有效的網(wǎng)絡(luò)結(jié)構(gòu)，可以提高學(xué)習(xí)方法的泛化能力。然而如何提高學(xué)習(xí)方法的魯棒性和泛化能力仍然是一個(gè)開放性的挑戰(zhàn)。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于遞進(jìn)學(xué)習(xí)的圖像超分辨率方法。

本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

一種基于遞進(jìn)學(xué)習(xí)的圖像超分辨率方法，該方法包括如下步驟：

(1)獲取成對的低分辨率和高分辨率圖像，生成訓(xùn)練樣本；

(2)構(gòu)建圖像超分辨率網(wǎng)絡(luò)，所述的圖像超分辨率網(wǎng)絡(luò)用于輸入低分辨率圖像并輸出高分辨率圖像；

(3)確定度量高分辨率圖像局部細(xì)節(jié)特征的局部細(xì)節(jié)度量；

(4)確定隨訓(xùn)練次數(shù)遞進(jìn)增加的難度系數(shù)，結(jié)合局部細(xì)節(jié)度量與難度系數(shù)確定每一次訓(xùn)練過程中各訓(xùn)練樣本的自適應(yīng)權(quán)重；

(5)基于自適應(yīng)權(quán)重定義圖像超分辨率網(wǎng)絡(luò)的加權(quán)損失函數(shù)；

(6)利用優(yōu)化器最小化加權(quán)損失函數(shù)，訓(xùn)練圖像超分辨率網(wǎng)絡(luò)；

(7)獲得用于圖像超分辨率的圖像超分辨率網(wǎng)絡(luò)。

步驟(2)圖像超分辨率網(wǎng)絡(luò)采用神經(jīng)網(wǎng)絡(luò)。

步驟(3)高分辨率圖像的局部細(xì)節(jié)度量通過如下方式獲得：