[發(fā)明專(zhuān)利]一種基于質(zhì)量評(píng)價(jià)和特征統(tǒng)計(jì)的圖像超分辨率重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811352647.5
• 申請(qǐng)日: 2018-11-14
• 公開(kāi)（公告）號(hào): CN109559276B
• 公開(kāi)（公告）日: 2020-09-08
• 發(fā)明（設(shè)計(jì)）人: 田勝;鄒煉;范賜恩;陳麗瓊;伏媛;楊燁;胡雨涵
• 申請(qǐng)（專(zhuān)利權(quán)）人: 武漢大學(xué)
• 主分類(lèi)號(hào): G06T3/40
• 分類(lèi)號(hào): G06T3/40;G06T7/00;G06T7/41
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種基于質(zhì)量評(píng)價(jià)和特征統(tǒng)計(jì)的圖像超分辨率重建方法，其特征在于，包括如下步驟：

步驟S1，設(shè)計(jì)對(duì)抗學(xué)習(xí)網(wǎng)絡(luò)模型用于圖像超分辨率重建，該網(wǎng)絡(luò)模型由生成器G和鑒別器D組成，其中生成器包含多層殘差網(wǎng)絡(luò)結(jié)構(gòu)提取圖像的深層語(yǔ)義信息，再根據(jù)提取到的語(yǔ)義信息結(jié)合圖像的結(jié)構(gòu)信息，使用亞像素重組提升圖像的分辨率，最后采用一個(gè)卷積層降維至RGB的維度；

步驟S2，取一系列高分辨圖像，并將圖像長(zhǎng)寬裁剪為倍數(shù)S的最鄰近整倍數(shù)作為目標(biāo)圖像數(shù)據(jù)集，設(shè)目標(biāo)圖像尺寸大小為C_h×C_w，將所有目標(biāo)圖像降采樣S倍后得到低分辨率圖像數(shù)據(jù)集，圖像尺寸大小為將兩者數(shù)據(jù)集作為本網(wǎng)絡(luò)模型的訓(xùn)練數(shù)據(jù)集；

步驟S3，將低分辨率圖像和目標(biāo)圖像一一對(duì)應(yīng)，隨機(jī)取目標(biāo)圖像塊y及其對(duì)應(yīng)的低分辨率圖像塊x作為當(dāng)前圖像的訓(xùn)練樣本對(duì)，設(shè)目標(biāo)塊尺寸大小為P_h×P_w，輸入塊尺寸大小為

步驟S4，將S3中得到的圖像塊輸入到對(duì)抗學(xué)習(xí)網(wǎng)絡(luò)模型中，構(gòu)建生成器總損失函數(shù)和鑒別器損失函數(shù)，通過(guò)前后向傳播算法，逐步更新該網(wǎng)絡(luò)模型的訓(xùn)練參數(shù)，直到整個(gè)訓(xùn)練集訓(xùn)練完成，再通過(guò)epoch次循環(huán)迭代遍歷整個(gè)訓(xùn)練集，至該網(wǎng)絡(luò)模型參數(shù)、生成器總損失函數(shù)和鑒別器損失函數(shù)收斂后，保存整個(gè)網(wǎng)絡(luò)的模型參數(shù)；

步驟S4中所述總損失函數(shù)包括4種，分別為對(duì)抗損失函數(shù)，圖像特征統(tǒng)計(jì)損失函數(shù)，圖像質(zhì)量評(píng)價(jià)損失函數(shù)和L2損失；

步驟S5，輸入測(cè)試低分辨率圖像到訓(xùn)練好的對(duì)抗學(xué)習(xí)網(wǎng)絡(luò)模型中，通過(guò)一次前向傳播計(jì)算，生成高分辨率圖像。

2.如權(quán)利要求1所述的一種基于質(zhì)量評(píng)價(jià)和特征統(tǒng)計(jì)的圖像超分辨率重建方法，其特征在于：鑒別器損失函數(shù)的構(gòu)建方式如下，

將低分辨率圖像塊x輸入到生成器G中，經(jīng)過(guò)多層殘差提取深層特征后，再通過(guò)一個(gè)亞像素重組提升特征圖的分辨率，最后采用一個(gè)卷積層降維至RGB的維度，由此得到尺寸為P_h×P_w高分辨率的生成圖像塊G(x)；

將生成圖像塊G(x)輸入到鑒別器D中，經(jīng)過(guò)一次前向傳播后得到該圖像 鑒別為真實(shí)圖像的概率D(x,G(x))；再將目標(biāo)圖像塊y輸入到鑒別器中，經(jīng)過(guò)一次前向傳播后得到真實(shí)圖片被鑒別為真實(shí)圖像的概率D(x,y)，鑒別器根據(jù)以下優(yōu)化方程進(jìn)行訓(xùn)練：

其中為目標(biāo)函數(shù)的數(shù)學(xué)期望，x～P_data(x)、y～P_data(y)分別指的是低分辨率圖像塊x和目標(biāo)圖像塊y取自特定分布，這個(gè)特定的分布就是S3中定義的訓(xùn)練樣本對(duì) 。

3.如權(quán)利要求2所述的一種基于質(zhì)量評(píng)價(jià)和特征統(tǒng)計(jì)的圖像超分辨率重建方法，其特征在于：所述對(duì)抗損失函數(shù)的定義如下，

4.如權(quán)利要求3所述的一種基于質(zhì)量評(píng)價(jià)和特征統(tǒng)計(jì)的圖像超分辨率重建方法，其特征在于：所述圖像特征統(tǒng)計(jì)損失函數(shù)的構(gòu)建方式如下

圖像的特征統(tǒng)計(jì)損失用于測(cè)量生成圖像塊G(x)與目標(biāo)圖像塊y的特征相似度，首先采用VGG網(wǎng)絡(luò)提取兩種圖像的特征集合，分別記作生成圖像特征集合G_x＝{x_m}，目標(biāo)圖像特征集合Y_y＝{y_n}，其中x_m、y_n分別表示生成圖像和目標(biāo)圖像的特征點(diǎn)，設(shè)特征集合總數(shù)有|G_x|＝|Y_y|＝N，測(cè)量?jī)杉现g的統(tǒng)計(jì)損失為

其中CX_mn表示特征x_m與y_n之間相似度，采用可以保證對(duì)于每一個(gè)目標(biāo)圖像特征點(diǎn)y_n都能在集合G_x＝{x_m}找到最相近的匹配點(diǎn)；

其中d_mn是特征x_m與y_n之間的余弦距離，h與ε是預(yù)設(shè)定的常量因子，有CX_mn∈[0,1]。