[發(fā)明專利]一種基于遞進(jìn)學(xué)習(xí)的圖像超分辨率方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010023379.3
• 申請(qǐng)日: 2020-01-09
• 公開(kāi)（公告）號(hào): CN111260552B
• 公開(kāi)（公告）日: 2023-05-30
• 發(fā)明（設(shè)計(jì)）人: 莊嚇海;高尚奇
• 申請(qǐng)（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/045;G06N3/08
• 代理公司: 上海科盛知識(shí)產(chǎn)權(quán)代理有限公司 31225
• 代理人: 丁云

1.一種基于遞進(jìn)學(xué)習(xí)的圖像超分辨率方法，其特征在于，該方法包括如下步驟：

(1)獲取成對(duì)的低分辨率和高分辨率圖像，生成訓(xùn)練樣本；

(2)構(gòu)建圖像超分辨率網(wǎng)絡(luò)，所述的圖像超分辨率網(wǎng)絡(luò)用于輸入低分辨率圖像并輸出高分辨率圖像；

(3)確定度量高分辨率圖像局部細(xì)節(jié)特征的局部細(xì)節(jié)度量；

(4)確定隨訓(xùn)練次數(shù)遞進(jìn)增加的難度系數(shù)，結(jié)合局部細(xì)節(jié)度量與難度系數(shù)確定每一次訓(xùn)練過(guò)程中各訓(xùn)練樣本的自適應(yīng)權(quán)重；

(5)基于自適應(yīng)權(quán)重定義圖像超分辨率網(wǎng)絡(luò)的加權(quán)損失函數(shù)；

(6)利用優(yōu)化器最小化加權(quán)損失函數(shù)，訓(xùn)練圖像超分辨率網(wǎng)絡(luò)；

(7)獲得用于圖像超分辨率的圖像超分辨率網(wǎng)絡(luò)；

步驟(3)高分辨率圖像的局部細(xì)節(jié)度量通過(guò)如下方式獲得：

m(I^HR)＝||min{|DI^HR|-1/β,0}||，

其中，I^HR為高分辨率圖像，m(I^HR)為高分辨率圖像的局部細(xì)節(jié)度量，|DI^HR|為高分辨率圖像的差分矩陣，具體地，對(duì)于高分辨率圖像中的任意一個(gè)像素p_c，p_h表示p_c右邊的像素，p_v表示p_c下方的像素，則該高分辨率圖像在p_c處差分的模為水平方向差分的模和垂直方向差分的模之和，即|p_c-p_h|+|p_c-p_v|，將高分辨率圖像中的每個(gè)像素分別進(jìn)行取差分操作得到各個(gè)像素點(diǎn)的差分的模，組成矩陣|DI^HR|，min{|DI^HR|-1/β,0}表示對(duì)|DI^HR|矩陣各元素減去1/β后逐元素與0比較取較小值得到的矩陣，β為閾值常數(shù)；

步驟(4)中難度系數(shù)確定為：

c(t)為第t次訓(xùn)練的難度系數(shù)，T為設(shè)定常數(shù)；

步驟(4)訓(xùn)練樣本的自適應(yīng)權(quán)重確定為：

w_i(t)為第t次訓(xùn)練第i個(gè)訓(xùn)練樣本的難度系數(shù)，為訓(xùn)練樣本中第i個(gè)高分辨率圖像，為第i個(gè)高分辨率圖像的局部細(xì)節(jié)度量，sigmoid(x)為基于變量x的函數(shù)，sigmoid(x)＝1/(1+e^-x)，e為自然常數(shù)。

2.根據(jù)權(quán)利要求1所述的一種基于遞進(jìn)學(xué)習(xí)的圖像超分辨率方法，其特征在于，步驟(2)圖像超分辨率網(wǎng)絡(luò)采用神經(jīng)網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求1所述的一種基于遞進(jìn)學(xué)習(xí)的圖像超分辨率方法，其特征在于，步驟(5)加權(quán)損失函數(shù)為：

其中，w_i(t)為第t次訓(xùn)練第i個(gè)訓(xùn)練樣本的難度系數(shù)，N為訓(xùn)練樣本的總個(gè)數(shù)，為訓(xùn)練樣本中第i個(gè)高分辨率圖像，為圖像超分辨率網(wǎng)絡(luò)輸出的對(duì)應(yīng)于的高分辨率圖像，表示和的感知損失，γ為圖像超分辨率網(wǎng)絡(luò)的超參數(shù)。

4.根據(jù)權(quán)利要求3所述的一種基于遞進(jìn)學(xué)習(xí)的圖像超分辨率方法，其特征在于，具體為：

其中，表示對(duì)通過(guò)分類網(wǎng)絡(luò)VGG19提取的的高階特征，表示對(duì)通過(guò)分類網(wǎng)絡(luò)VGG19提取的的高階特征。

5.根據(jù)權(quán)利要求1所述的一種基于遞進(jìn)學(xué)習(xí)的圖像超分辨率方法，其特征在于，步驟(6)訓(xùn)練圖像超分辨率網(wǎng)絡(luò)過(guò)程中判斷是否到達(dá)最大訓(xùn)練步數(shù)，若是則執(zhí)行步驟(7)，否則返回步驟(4)更新訓(xùn)練樣本的自適應(yīng)權(quán)重并繼續(xù)執(zhí)行步驟(5)～(6)。