[發(fā)明專利]圖像超分辨率重建方法、裝置、終端設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201911423965.0
• 申請日: 2019-12-31
• 公開（公告）號: CN113129212B
• 公開（公告）日: 2023-01-13
• 發(fā)明（設(shè)計(jì)）人: 王汝欣;邱亞軍;陶大鵬
• 申請（專利權(quán)）人: 深圳市聯(lián)合視覺創(chuàng)新科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 深圳中一聯(lián)合知識產(chǎn)權(quán)代理有限公司 44414
• 代理人: 李娟

1.一種圖像超分辨率重建方法，其特征在于，包括：

獲取第一分辨率的待處理圖像；

對所述待處理圖像進(jìn)行圖像特征提取，得到初始特征圖；其中，所述初始特征圖中包含所述待處理圖像的高頻圖像信息和低頻圖像信息；

采用殘差網(wǎng)絡(luò)對所述初始特征圖進(jìn)行分級重建學(xué)習(xí)；其中，所述殘差網(wǎng)絡(luò)具有N個級聯(lián)的塊殘差模塊；在第i個塊殘差模塊中對輸入特征圖進(jìn)行重建學(xué)習(xí)，包括：將輸入特征圖輸入第i個塊殘差模塊；當(dāng)i＝1時，所述輸入特征圖為所述初始特征圖，當(dāng)1＜i≤N時，所述輸入特征圖為第i-1個塊殘差模塊所輸出的第二頻率特征圖；在每一級塊殘差模塊中，對所述輸入特征圖進(jìn)行放大操作，得到放大特征圖；對所述放大特征圖進(jìn)行預(yù)處理操作，得到預(yù)處理特征圖；將所述預(yù)處理特征圖分別輸入第一分支和第二分支；在所述第一分支中對所述預(yù)處理特征圖進(jìn)行卷積處理，得到第一頻率特征圖；在所述第二分支，根據(jù)所述預(yù)處理特征圖和初始特征圖提取高頻圖像信息，得到所述第二頻率特征圖；其中，所述第二頻率大于所述第一頻率；所述預(yù)處理操作用于使所述放大特征圖的畫面細(xì)節(jié)得到恢復(fù)并且使輸出的所述預(yù)處理特征圖中部分高頻圖像信息丟失；

當(dāng)滿足預(yù)設(shè)條件時，獲取所述殘差網(wǎng)絡(luò)輸出的融合特征圖；其中，所述融合特征圖由N個所述塊殘差模塊分別輸出的第一頻率特征圖融合得到；

對所述融合特征圖進(jìn)行重建得到待處理圖像的超分辨率圖像；

在所述第二分支，根據(jù)所述預(yù)處理特征圖和初始特征圖提取出高頻圖像信息，得到第二頻率特征圖，包括：

將所述預(yù)處理特征圖進(jìn)行下采樣，得到下采樣特征圖；

將所述輸入特征圖與所述下采樣特征圖進(jìn)行做差提取出所述輸入特征圖的高頻特征信息，得到高頻特征圖；

對所述高頻特征圖進(jìn)行重建學(xué)習(xí)；

將重建學(xué)習(xí)后的高頻特征圖與重建學(xué)習(xí)前的所述高頻特征圖進(jìn)行融合得到所述第二頻率特征圖；

所述對所述高頻特征圖進(jìn)行重建學(xué)習(xí)，包括：

通過信息蒸餾網(wǎng)絡(luò)對所述高頻特征圖進(jìn)行重建學(xué)習(xí)，具體的，通過3-5個卷積運(yùn)算，將每個卷積運(yùn)算后的高頻特征圖輸入特征圖融合器，同時將每個卷積運(yùn)算后的高頻特征圖輸入相鄰的下一個卷積核進(jìn)行卷積運(yùn)算；

所述對所述初始特征圖進(jìn)行放大操作，包括：

通過反卷積核運(yùn)算、插值算法或者亞像素卷積算法對所述初始特征圖進(jìn)行放大操作。

2.如權(quán)利要求1所述的圖像超分辨率重建方法，其特征在于，所述當(dāng)滿足預(yù)設(shè)條件時，獲取所述殘差網(wǎng)絡(luò)輸出的融合特征圖，包括：

將N的值設(shè)置為預(yù)設(shè)值，當(dāng)i＝N時，獲取所述殘差網(wǎng)絡(luò)輸出的融合特征圖；

或者，將各個塊殘差模塊輸出的所述第一頻率特征圖進(jìn)行融合，得到臨時融合特征圖；當(dāng)所述臨時融合特征圖與原始圖像之間的差異度小于預(yù)設(shè)閾值時，則獲取所述殘差網(wǎng)絡(luò)輸出的融合特征圖。

3.如權(quán)利要求1所述的圖像超分辨率重建方法，其特征在于，在所述第一分支中對所述預(yù)處理特征圖進(jìn)行卷積處理，得到第一頻率特征圖，包括：

對所述預(yù)處理特征圖進(jìn)行特征提取，得到低頻特征圖；

當(dāng)所述塊殘差模塊不為所述殘差網(wǎng)絡(luò)的最后一個塊殘差模塊時，將第i個塊殘差模塊的所述第一頻率特征圖與第i+1個塊殘差模塊的第一頻率特征圖進(jìn)行融合，得到當(dāng)前第i個塊殘差模塊的第一頻率特征圖；

當(dāng)所述塊殘差模塊為所述殘差網(wǎng)絡(luò)的最后一個塊殘差模塊時，將所述最后一個塊殘差模塊的所述第一頻率特征圖進(jìn)行輸出。

4.如權(quán)利要求1-3任一項(xiàng)所述的圖像超分辨率重建方法，其特征在于，獲取第一分辨率的待處理圖像，還包括：

獲取具有第二分辨率的原始圖像，對所述原始圖像進(jìn)行下采樣，得到所述第一分辨率的待處理圖像。