[發(fā)明專利]一種基于分組連接網(wǎng)絡(luò)的圖像超分辨率重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110174059.2
• 申請(qǐng)日: 2021-02-07
• 公開（公告）號(hào): CN112907446B
• 公開（公告）日: 2022-06-07
• 發(fā)明（設(shè)計(jì)）人: 李劼;任春輝;付毓生
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/04;G06N3/08
• 代理公司: 成都點(diǎn)睛專利代理事務(wù)所(普通合伙) 51232
• 代理人: 孫一峰

1.一種分組連接網(wǎng)絡(luò)的圖像超分辨率重建方法，其特征在于，包括以下步驟：

S1、選取n張圖像作為訓(xùn)練集{P_H1,P_H2,...,P_Hn}，下標(biāo)H表示圖像為高分辨率圖像；

S2、對(duì)訓(xùn)練集進(jìn)行預(yù)處理：隨機(jī)提取訓(xùn)練集每張圖像中大小為100×100的像素區(qū)域，圖像像素區(qū)域小于100則用0補(bǔ)齊不足區(qū)域，然后對(duì)這些像素區(qū)域進(jìn)行下采樣，得到對(duì)應(yīng)的低分辨率圖像集{P_L1,P_L2,...,P_Ln}；

S3、構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)從輸入到輸出依次包括第一卷積層、第二卷積層、第三卷積層、第四卷積層、第五卷積層、第六卷積層、第七卷積層、反卷積層；其中，

所述第一卷積層的輸入為低分辨率圖像集，第一卷積層輸出的特征圖像分為數(shù)量相等的兩組，其中一組不變，另一組再細(xì)分為4個(gè)小組，分別定義為A組特征圖像、B組特征圖像、C組特征圖像、D組特征圖像；

所述第二卷積層是通過(guò)第一層第一組特征圖像進(jìn)行卷積，得到的特征圖像再等分為兩組，其中一組直接以跳躍連接的方式傳至第六層，第一層中的A組特征圖像以跳躍連接的方式與另一組結(jié)合，形成一組新的特征圖像；

所述第三卷積層對(duì)第二卷積層中一組新的特征圖像進(jìn)行卷積，得到的特征圖像再等分為兩組，其中一組直接以跳躍連接的方式傳至第六層，第一層中的B組特征圖像以跳躍連接的方式與另一組結(jié)合，形成一組新的特征圖像；

所述第四卷積層與第三卷積層的操作一致，第一層中的C組特征圖像以跳躍連接的方式與其中一組結(jié)合，形成一組新的特征圖像；

所述第五卷積層與第三卷積層的操作一致，第一層中的D組特征圖像以跳躍連接的方式與其中一組結(jié)合，形成一組新的特征圖像；

所述第六卷積層將第五卷積層所得到的一組新的特征圖像進(jìn)行卷積，并將前四層以跳躍連接的方式傳遞到第六卷積層的特征圖像進(jìn)行組合，得到一組新的特征圖像；

所述第七卷積層將第六卷積層所得到的特征圖像進(jìn)行卷積，得到一組新的特征圖像；

所述反卷積層將第七卷積層所得到的特征圖像進(jìn)行反卷積，得到與差值放大后的低分辨率圖像等大的特征圖像；

最后將反卷積層得到的特征圖像與插值放大后的低分辨率圖像按對(duì)應(yīng)像素點(diǎn)位置相加的方式進(jìn)行組合，得到超分辨率圖像；

網(wǎng)絡(luò)中每一次卷積后采用tanh函數(shù)作為激活函數(shù)；

S4、對(duì)構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，具體為：設(shè)置目標(biāo)圖像為殘差圖像，通過(guò)將低分辨率圖像集利用雙線性插值法放大至與訓(xùn)練集中對(duì)應(yīng)圖像等大，得到放大的低分辨率圖像集{P_IL1,P_IL2,...,P_ILn}，將放大的低分辨率圖像集與提取的像素區(qū)域中對(duì)應(yīng)的圖像的對(duì)應(yīng)位置的像素值相減，得到殘差圖像集{P_R1,P_R2,...,P_Rn}；將輸入低分辨率圖像P_Li到網(wǎng)絡(luò)中后所獲得的輸出圖像P_Oi與對(duì)應(yīng)的殘差圖像P_Ri比較，得到均方差將均方差作為網(wǎng)絡(luò)的損失函數(shù)，對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行更新，從而獲得訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)；

S5、利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像的超分辨率重建，具體為：

S51、將需要超分辨率重建的圖像P_L作為輸入圖像，輸入卷積神經(jīng)網(wǎng)絡(luò)后得到輸出圖像P_O；

S52、對(duì)圖像P_L利用雙三次插值法放大至與圖像P_O等大，獲得放大后的圖像P_IL；

S53、將P_IL與P_O對(duì)應(yīng)的像素點(diǎn)的像素值進(jìn)行相加，得到超分辨率圖像P_S。

2.根據(jù)權(quán)利要求1所述的一種分組連接網(wǎng)絡(luò)的圖像超分辨率重建方法，其特征在于，所述的所有卷積層的卷積核為3×3的卷積核，第七卷積層為5×5的卷積核。