[發(fā)明專利]一種語義分割驅(qū)動的圖像超分辨率重構(gòu)方法

有效

• 申請?zhí)枺?/td>: 201810901713.3
• 申請日: 2018-08-09
• 公開（公告）號: CN109191392B
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計）人: 顏波;牛雪靜;譚偉敏
• 申請（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

1.一種語義分割驅(qū)動的圖像超分辨率重構(gòu)方法，其特征在于，具體步驟如下：

(1)分別獨立預(yù)訓(xùn)練圖像超分辨率網(wǎng)絡(luò)和語義分割網(wǎng)絡(luò)模型

用數(shù)據(jù)集訓(xùn)練超分辨率網(wǎng)絡(luò)，其中，是低分辨率圖像，作為超分辨率網(wǎng)絡(luò)的輸入，是高分辨率圖像，作為訓(xùn)練過程的標(biāo)簽；

用數(shù)據(jù)集訓(xùn)練語義分割網(wǎng)絡(luò)，其中，I_i為語義分割網(wǎng)絡(luò)的輸入，M_i為像素級標(biāo)簽，表示圖像I_i中每個像素的真實類別；

N為圖像數(shù)量；

(2)級聯(lián)獨立訓(xùn)練的超分辨率網(wǎng)絡(luò)和語義分割網(wǎng)絡(luò)

超分辨率網(wǎng)絡(luò)將低分辨率圖像映射為高分辨率圖像其中θ_SR為超分辨率網(wǎng)絡(luò)的參數(shù)；超分辨率網(wǎng)絡(luò)的輸出作為語義分割網(wǎng)絡(luò)的輸入，獲得超分辨率圖像中每個像素分類結(jié)果構(gòu)成級聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)，其中θ_seg為語義分割網(wǎng)絡(luò)的參數(shù)；

(3)在語義分割任務(wù)的驅(qū)動下，訓(xùn)練超分辨率網(wǎng)絡(luò)

在預(yù)訓(xùn)練模型的基礎(chǔ)上微調(diào)網(wǎng)絡(luò)參數(shù)，用超分辨率網(wǎng)絡(luò)的損失函數(shù)和語義分割網(wǎng)絡(luò)的損失函數(shù)共同指導(dǎo)超分辨率網(wǎng)絡(luò)的參數(shù)的更新，使得超分辨率網(wǎng)絡(luò)針對具體的語義分割任務(wù)進行調(diào)整；

(4)低分辨率圖像經(jīng)過任務(wù)驅(qū)動的網(wǎng)絡(luò)處理，獲得準(zhǔn)確的語義分割結(jié)果

對于低分辨率圖像的語義分割任務(wù)，先將低分辨率圖像輸入到訓(xùn)練完成的語義分割驅(qū)動的超分辨率網(wǎng)絡(luò)模型中，重構(gòu)高分辨率圖像，再將重構(gòu)的高分辨率圖像輸入到語義分割網(wǎng)絡(luò)中，獲得準(zhǔn)確的分割結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟(1)中，訓(xùn)練超分辨率網(wǎng)絡(luò)的數(shù)據(jù)集的獲取方法為：

將高分辨率圖像按照一定比例下采樣，獲得低分辨率圖像對于非專業(yè)用于超分辨率任務(wù)的分辨率較高的圖像數(shù)據(jù)集，都按照此方法構(gòu)建超分辨率任務(wù)的數(shù)據(jù)集。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，步驟(1)中，兩種網(wǎng)絡(luò)獨立訓(xùn)練的方法為：

用兩種數(shù)據(jù)集訓(xùn)練超分辨率網(wǎng)絡(luò)，先用常用的超分辨率任務(wù)的數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，收斂后，再用語義分割數(shù)據(jù)集微調(diào)網(wǎng)絡(luò)；

用標(biāo)準(zhǔn)的含有像素級標(biāo)注的語義分割數(shù)據(jù)集訓(xùn)練語義分割網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求3要求所述的方法，其特征在于，所述的常用的超分辨率任務(wù)的數(shù)據(jù)集為DIV2K或91張圖片；所述的語義分割數(shù)據(jù)集為PASCAL VOC 2012、PASCAL context或Cityscapes。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟(2)中，級聯(lián)網(wǎng)絡(luò)的參數(shù)由兩個獨立訓(xùn)練的模型參數(shù)初始化；其中語義分割模型部分的參數(shù)被固定，用于計算重構(gòu)的高分辨率圖像產(chǎn)生的語義分割的損失，預(yù)訓(xùn)練的語義分割網(wǎng)絡(luò)為超分辨率網(wǎng)絡(luò)的參數(shù)更新提供正確的指導(dǎo)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟(3)中，所述的損失函數(shù)為：

超分辨率網(wǎng)絡(luò)的損失函數(shù)為：

其中，N為圖像數(shù)量；

語義分割網(wǎng)絡(luò)的損失函數(shù)為：

其中，

L為像素的類別的集合，為第i個圖像中屬于第l類的像素，為第l類像素的數(shù)量，u是像素的位置；

將超分辨率網(wǎng)絡(luò)的損失函數(shù)和語義分割網(wǎng)絡(luò)的損失函數(shù)結(jié)合，作為最終的損失函數(shù)，所以參數(shù)更新的目標(biāo)函數(shù)為：

其中，α、β用于平衡兩種損失函數(shù)的貢獻；α、β兩者之比取為(0.5—1)：1。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的超分辨率網(wǎng)絡(luò)是一個端到端的網(wǎng)絡(luò)，為VDSR、EDSR或SRCNN；語義分割網(wǎng)絡(luò)為Deeplab、FCN或PSPnet。