[發(fā)明專利]一種基于深度學(xué)習(xí)的高效超分辨率重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010049960.2
• 申請(qǐng)日: 2020-01-15
• 公開（公告）號(hào): CN111311488B
• 公開（公告）日: 2022-03-29
• 發(fā)明（設(shè)計(jì)）人: 黎海生;魯健恒;黃華鋒;薛帆
• 申請(qǐng)（專利權(quán)）人: 廣西師范大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/08
• 代理公司: 南寧新途專利代理事務(wù)所(普通合伙) 45119
• 代理人: 但玉梅

1.一種基于深度學(xué)習(xí)的高效超分辨率重建方法，其特征在于，包括以下步驟：

步驟S1：獲取超分辨率常用標(biāo)準(zhǔn)數(shù)據(jù)集，標(biāo)準(zhǔn)數(shù)據(jù)集包括“91-imags”、”Set 5”、”Set14”、”BSDS100”、“manga109”、”DIV2K”以及“Urban100”，對(duì)標(biāo)準(zhǔn)數(shù)據(jù)集中的圖像進(jìn)行旋轉(zhuǎn)、偏移、切割以及尺度變換，得到增強(qiáng)后的數(shù)據(jù)集；

步驟S2：讀取圖像信息，將低分辨率圖像與高分辨率圖像組合成信息對(duì)，制作成網(wǎng)絡(luò)結(jié)構(gòu)所需的數(shù)據(jù)集；

步驟S3：在網(wǎng)絡(luò)結(jié)構(gòu)中，將輸入圖像進(jìn)行兩分支處理；其中，第一分支利用最近鄰插值法將低分辨率圖像放大至目標(biāo)尺寸，形成插值上采樣后的圖像，然后進(jìn)入到步驟S8處理；第二分支利用卷積網(wǎng)絡(luò)模塊進(jìn)行初步的特征提取，得到初步特征后進(jìn)入到步驟S4處理；

步驟S4：步驟S3第二分支所提取到的初步特征進(jìn)一步分為兩支路，其中，第一支路的初步特征使用殘差連接，后進(jìn)入到步驟S8，第二支路的初步特征直接進(jìn)入到步驟S5進(jìn)行密集殘差模塊特征提取；

步驟S5：密集殘差特征提取具體包括如下步驟：

i)將步驟S4中第二支路的初步特征利用1x1卷積層進(jìn)行特征通道壓縮，再經(jīng)PReLU激活；

ii)對(duì)步驟i)所得的特征分成n個(gè)子特征，并對(duì)n個(gè)子特征采用密集相加的連接方式進(jìn)行特征提取，其中，提取公式如下：

式中，i,j＝1，2，3...n，F(xiàn)_bi為第i次特征提取模塊所得到的特征，H_i為第i次特征提取模塊，F(xiàn)_b0為子特征，亦為步驟i)所得的特征，F(xiàn)_bj為第j次特征提取模塊所得到的特征；

iii)將步驟ii)所得的特征利用1x1的卷積層對(duì)網(wǎng)絡(luò)特征圖的通道數(shù)進(jìn)行特征擴(kuò)張，使得通道數(shù)量恢復(fù)到原來的數(shù)量，即得到末級(jí)殘差特征；

步驟S6：將經(jīng)過步驟S5所得到的特征與步驟S4第一支路所得到的特征進(jìn)行相加，隨后通過反卷積層進(jìn)行尺度放大；

步驟S7：將從步驟S6中的反卷積層出來的圖像與步驟S3經(jīng)最近鄰插值法所得的圖像進(jìn)行相加，形成最終的網(wǎng)絡(luò)結(jié)構(gòu)模型輸出；

步驟S8：進(jìn)行訓(xùn)練網(wǎng)絡(luò)，包括以下步驟：

1)預(yù)訓(xùn)練：將“91-images”圖像數(shù)據(jù)集中的低分辨率圖像分批讀入網(wǎng)絡(luò)結(jié)構(gòu)中，將網(wǎng)絡(luò)結(jié)構(gòu)模型的輸出與對(duì)應(yīng)的高分辨率圖像之間通過MAE計(jì)算誤差，并把誤差進(jìn)行反向傳播，訓(xùn)練網(wǎng)絡(luò)參數(shù)，訓(xùn)練結(jié)束即完成預(yù)訓(xùn)練；

2)二次訓(xùn)練：使用遷移學(xué)習(xí)繼續(xù)進(jìn)行訓(xùn)練，首先，讀取步驟1)所得的網(wǎng)絡(luò)參數(shù)，將“DIV2K”圖像數(shù)據(jù)集中的低分辨率圖像分批讀入網(wǎng)絡(luò)結(jié)構(gòu)中，將網(wǎng)絡(luò)結(jié)構(gòu)模型的輸出與對(duì)應(yīng)的高分辨率圖像之間繼續(xù)通過MAE計(jì)算誤差，并把誤差進(jìn)行反向傳播，訓(xùn)練網(wǎng)絡(luò)參數(shù)，訓(xùn)練結(jié)束即完成網(wǎng)絡(luò)訓(xùn)練過程。

2.如權(quán)利要求1所述的基于深度學(xué)習(xí)的高效超分辨率重建方法，其特征在于，在步驟S3中，第二分支利用卷積網(wǎng)絡(luò)模塊進(jìn)行初步的特征提取的具體步驟為：使用3x3卷積層進(jìn)行初步的特征提取，隨后經(jīng)過PReLU激活，得到初步特征。

3.如權(quán)利要求1所述的基于深度學(xué)習(xí)的高效超分辨率重建方法，其特征在于，在步驟S5中H_i中所指的特征提取模塊是由3x3卷積層進(jìn)行特征提取并經(jīng)過PReLU激活構(gòu)成。

4.如權(quán)利要求1所述的基于深度學(xué)習(xí)的高效超分辨率重建方法，其特征在于，在步驟S8的步驟1)預(yù)訓(xùn)練中，學(xué)習(xí)率設(shè)置為1e-3，訓(xùn)練網(wǎng)絡(luò)參數(shù)，當(dāng)網(wǎng)絡(luò)訓(xùn)練至500迭代后保存參數(shù)。

5.如權(quán)利要求1所述的基于深度學(xué)習(xí)的高效超分辨率重建方法，其特征在于，在步驟S8的步驟2)二次訓(xùn)練中，學(xué)習(xí)率設(shè)置為5e^-4，訓(xùn)練網(wǎng)絡(luò)參數(shù)，當(dāng)網(wǎng)絡(luò)訓(xùn)練200迭代后進(jìn)行保存。