[發(fā)明專利]基于成像建模和知識(shí)蒸餾的盲圖像超分辨重建方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110348668.5
• 申請日: 2021-03-31
• 公開（公告）號(hào): CN113096013B
• 公開（公告）日: 2021-11-26
• 發(fā)明（設(shè)計(jì)）人: 潘金山;劉謙;唐金輝
• 申請（專利權(quán)）人: 南京理工大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/04
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 韓雪梅

本發(fā)明提供了一種基于成像建模和知識(shí)蒸餾的盲圖像超分辨重建方法及系統(tǒng)，將第一分辨率圖像分別代入模糊核估計(jì)網(wǎng)絡(luò)和深度圖像超分辨率網(wǎng)絡(luò)進(jìn)行估計(jì)，分別獲得深度內(nèi)蘊(yùn)特征知識(shí)圖像和模糊核；根據(jù)模糊核、第一分辨率圖像和深度內(nèi)蘊(yùn)特征知識(shí)圖像進(jìn)行圖像復(fù)原，獲得中間超分辨率圖像，將中間超分辨率圖像代入圖像修正網(wǎng)絡(luò)進(jìn)行圖像修正，獲得第二分辨率圖像；判斷是否滿足收斂條件；如果滿足收斂條件，則輸出第二分辨率圖像；如果不滿足收斂條件，則更新模糊核估計(jì)網(wǎng)絡(luò)、深度圖像超分辨率網(wǎng)絡(luò)和圖像修正網(wǎng)絡(luò)。本發(fā)明通過設(shè)置圖像修正網(wǎng)絡(luò)對深度內(nèi)蘊(yùn)特征知識(shí)圖像進(jìn)行修正，進(jìn)而剔除深度內(nèi)蘊(yùn)特征知識(shí)圖像中出現(xiàn)偽影，進(jìn)一步提高第二分辨率圖像的分辨率。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻分辨率重建技術(shù)領(lǐng)域，特別是涉及一種基于成像建模和知識(shí)蒸餾的盲圖像超分辨重建方法及系統(tǒng)。

背景技術(shù)

隨著許多高清設(shè)備在日常生活中的廣泛應(yīng)用，人們迫切需要對低分辨率的圖像進(jìn)行超分辨率處理，以便能夠在這些設(shè)備上觀看到清晰的高分辨率圖像，因此，圖像超分辨率技術(shù)受到越來越多的關(guān)注。

單圖像超分辨率技術(shù)的目標(biāo)是從低分辨率圖像中估計(jì)出高分辨率圖像。圖像超分辨率問題的成像建模的退化過程通常被定義為：

L＝SKI+n；

其中，L、I和n分別表示低分辨率圖像、高分辨率圖像和噪聲，S和K分別表示具有比例因子的降采樣矩陣和模糊核的矩陣形式。因?yàn)榇嬖跓o限多成對的模糊核K和高分辨率圖像I可以生成相同的低分辨率圖像L，所以圖像超分辨率是一個(gè)病態(tài)的問題。

目前，隨著深度卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，許多任務(wù)借助深度卷積神經(jīng)網(wǎng)絡(luò)都取得了可觀的效果。但是，因?yàn)閳D像超分辨率問題的病態(tài)性，這些方法生成的高分辨率圖像并不完全滿足退化模型。為了克服這一問題，有些方法利用迭代反投影方法或圖像形成模型來開發(fā)各種反饋機(jī)制，確保生成的高分辨率圖像滿足退化模型，但這樣會(huì)導(dǎo)致復(fù)雜的訓(xùn)練過程。此外，大多數(shù)圖像超分辨率算法都假設(shè)模糊核是已知的(如高斯模糊核和雙三次插值)，而真實(shí)場景下的退化過程中的模糊核是未知的并且十分復(fù)雜，所以在用假設(shè)的模糊核構(gòu)建的數(shù)據(jù)集上訓(xùn)練的深度模型在真實(shí)圖像上的泛化能力較差。但在實(shí)際應(yīng)用場景中圖像退化過程更加復(fù)雜，所以利用上述方式訓(xùn)練的深度模型在對真實(shí)視頻高分辨率重建時(shí)，會(huì)出現(xiàn)虛假偽影以及錯(cuò)誤結(jié)構(gòu)信息，這類錯(cuò)誤信息會(huì)使視覺效果降低，并且在基于重建后的高分辨率視頻進(jìn)行下游任務(wù)時(shí)，會(huì)造成精度下降的影響。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于成像建模和知識(shí)蒸餾的盲圖像超分辨重建方法及系統(tǒng)，以改善重建高分辨率視頻時(shí)出現(xiàn)虛假偽影以及錯(cuò)誤結(jié)構(gòu)信息的現(xiàn)象。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于成像建模和知識(shí)蒸餾的盲圖像超分辨重建方法，所述方法包括：

步驟S1：將第一分辨率圖像代入模糊核估計(jì)網(wǎng)絡(luò)進(jìn)行估計(jì)，獲得模糊核；

步驟S2：將所述第一分辨率圖像代入深度圖像超分辨率網(wǎng)絡(luò)進(jìn)行估計(jì)，獲得深度內(nèi)蘊(yùn)特征知識(shí)圖像；

步驟S3：根據(jù)所述模糊核、所述第一分辨率圖像和所述深度內(nèi)蘊(yùn)特征知識(shí)圖像進(jìn)行圖像復(fù)原，獲得已求解的中間分辨率圖像；

步驟S4：將所述已求解的中間分辨率圖像代入圖像修正網(wǎng)絡(luò)進(jìn)行圖像修正，獲得第二分辨率圖像；第二分辨率圖像的分辨率大于第一分辨率圖像的分辨率；

步驟S5：判斷是否滿足收斂條件；如果滿足收斂條件，則輸出第二分辨率圖像；如果不滿足收斂條件，則執(zhí)行“步驟S6”，令更新后的深度圖像超分辨率網(wǎng)絡(luò)為深度圖像超分辨率網(wǎng)絡(luò)，更新后的模糊核估計(jì)網(wǎng)絡(luò)為模糊核估計(jì)網(wǎng)絡(luò)，更新后的圖像修正網(wǎng)絡(luò)為圖像修正網(wǎng)絡(luò)，并返回“步驟S1”；

步驟S6：更新模糊核估計(jì)網(wǎng)絡(luò)、深度圖像超分辨率網(wǎng)絡(luò)和圖像修正網(wǎng)絡(luò)。

可選地，所述步驟S3包括：

步驟S31：通過卷積操作，根據(jù)所述模糊核確定模糊矩陣K；