[發(fā)明專利]一種基于小波域的標(biāo)準(zhǔn)流超分辨率圖像重建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210969698.2
• 申請(qǐng)日: 2022-08-12
• 公開（公告）號(hào): CN115311144A
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 楊柏林;李紹棒;宋超
• 申請(qǐng)（專利權(quán)）人: 浙江工商大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T5/50;G06V10/77;G06V10/774
• 代理公司: 杭州奧創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 33272
• 代理人: 王佳健

本發(fā)明公開了一種基于小波域的標(biāo)準(zhǔn)流超分辨率重建方法。本發(fā)明首先將圖像數(shù)據(jù)集預(yù)處理，劃分訓(xùn)練集、驗(yàn)證集以及測(cè)試集；其次構(gòu)建標(biāo)準(zhǔn)流模型網(wǎng)絡(luò)用于學(xué)習(xí)復(fù)雜分布與簡單分布之間的映射關(guān)系；并在標(biāo)準(zhǔn)流模型中加入小波變換，將需要學(xué)習(xí)的信息分布轉(zhuǎn)換至小波域中；然后通過替換正態(tài)分布為T?分布，以及通過QR分解原理構(gòu)建QR層，并在標(biāo)準(zhǔn)流模型前加入精煉層，進(jìn)一步細(xì)化編碼器提供的條件特征；最后利用訓(xùn)練集去訓(xùn)練基于小波域的標(biāo)準(zhǔn)流超分辨率模型，再將測(cè)試集低分辨率圖像輸入至訓(xùn)練過的模型中，得到重建的超分辨率圖像。本發(fā)明可以有效改善重建超分辨率圖的質(zhì)量，也使得標(biāo)準(zhǔn)流模型更加穩(wěn)定，并且具有較好的泛化性能。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)圖像處理技術(shù)領(lǐng)域，具體涉及一種基于小波域的標(biāo)準(zhǔn)流超分辨率圖像重建方法。

背景技術(shù)

由于外界環(huán)境或采集設(shè)備的影響，所獲取圖像往往呈現(xiàn)分辨率低、細(xì)節(jié)損失等問題。隨著用戶視覺體驗(yàn)及應(yīng)用需求的增加，對(duì)低分辨率圖像進(jìn)行處理至關(guān)重要。

圖像超分辨率重建算法根據(jù)不同原理可以大致分為基于插值、基于退化模型和基于學(xué)習(xí)三種方法。基于插值的代表算法主要有最近鄰插值法、雙線性插值法和雙立方插值法，這類算法雖然能夠增加分辨率但是圖像的細(xì)節(jié)與質(zhì)量依舊不能很好的提高。基于退化模型方法從圖像的降質(zhì)退化模型出發(fā)，假定超分辨率圖像是經(jīng)過了適當(dāng)?shù)倪\(yùn)動(dòng)變換、模糊及噪聲才得到低分辨率圖像。這種方法通過提取低分辨率圖像中的關(guān)鍵信息，并結(jié)合對(duì)未知的超分辨率圖像的先驗(yàn)知識(shí)來約束超分辨率圖像的生成。常見的方法包括迭代反投影法、凸集投影法和最大后驗(yàn)概率法等，雖然其效果優(yōu)于基于插值重建方法，但是效果依舊不是令人滿意的。

隨著深度學(xué)習(xí)的不斷發(fā)展以及其在計(jì)算機(jī)視覺領(lǐng)域的廣泛應(yīng)用，研究人員設(shè)計(jì)了很多基于深度學(xué)習(xí)的模型去解決該問題。但是圖像超分辨率重建是一個(gè)病態(tài)問題，因?yàn)橐粡堈鎸?shí)的低分辨率圖片可能對(duì)應(yīng)多張高分辨圖片，不能就此確定生成的超分辨率圖片就一定是符合真實(shí)超分辨率的。然而，如今的深度模型大多數(shù)都是確定映射的，由于網(wǎng)絡(luò)模型中參數(shù)的固定，使得一張低分辨率只能對(duì)應(yīng)一張高分辨圖，并且其產(chǎn)生的一些超分辨率圖片也是不盡如人意。如今存在兩種類型的模型，一種是基于PSNR的模型，但是它們產(chǎn)生的圖像局部變現(xiàn)和紋理結(jié)構(gòu)不明顯，導(dǎo)致圖像有些模糊。另一種是基于視覺感知的模型，雖然它們產(chǎn)生的圖像對(duì)于部分圖像其紋理會(huì)更加清晰，但是有一些產(chǎn)生的圖像的紋理則會(huì)不夠清晰或者不真實(shí)。

近年來，標(biāo)準(zhǔn)流模型因?yàn)閺?qiáng)大的生成能力而被廣泛關(guān)注，因此，也被用于超分辨率領(lǐng)域，與之前所提及的網(wǎng)絡(luò)不一樣，它能學(xué)習(xí)一個(gè)由復(fù)雜分布到簡單分布的準(zhǔn)確映射。由于標(biāo)準(zhǔn)流模型的特殊性，當(dāng)其生成圖片時(shí)，它是需要從一個(gè)簡單分布(高斯分布)中采樣，這使得它能從同一張低分辨率圖，生成多張主體類似部分細(xì)節(jié)卻不同的超分辨率圖片，在某種程度上緩解了超分辨重建這種病態(tài)問題。然而，這種標(biāo)準(zhǔn)流模型產(chǎn)生的超分辨率圖像可能也不令人滿意，同時(shí)這種模型在訓(xùn)練過程并不是特別穩(wěn)定，這些存在的問題是亟待解決的。

發(fā)明內(nèi)容

本發(fā)明的目的是克服現(xiàn)有技術(shù)的不足，提供了一種基于小波域的標(biāo)準(zhǔn)流超分辨率圖像重建方法，利用小波域上獲取的信息與強(qiáng)大的生成模型即標(biāo)準(zhǔn)流模型結(jié)合，去實(shí)現(xiàn)圖像超分辨率高質(zhì)量重建，與此同時(shí)提出了能夠在一定程度解決標(biāo)準(zhǔn)流模型訓(xùn)練不穩(wěn)定的解決方案。

本發(fā)明包括以下步驟：

S1：收集基于深度學(xué)習(xí)超分辨率任務(wù)常用的兩個(gè)圖像數(shù)據(jù)集，其中一個(gè)分離出訓(xùn)練集第一分量、驗(yàn)證集以及測(cè)試集。將訓(xùn)練集第一分量與另一個(gè)圖像數(shù)據(jù)集合并，將合并的數(shù)據(jù)集中的每一個(gè)圖像對(duì)(超分辨率圖像-低分辨率圖像)隨機(jī)裁剪成相同的大小，用于構(gòu)建出適合基于小波域的標(biāo)準(zhǔn)流超分辨率模型訓(xùn)練的完整的訓(xùn)練集；

S2：構(gòu)建標(biāo)準(zhǔn)流模型，該模型是多級(jí)架構(gòu)且是可逆的，每一級(jí)主要由擠壓層、2種條件映射層(自我條件特征映射層與其他條件特征映射層)、分裂層、激活標(biāo)準(zhǔn)層與QR層組合而成，這些層用于標(biāo)準(zhǔn)流模型學(xué)習(xí)復(fù)雜分布與簡單分布之間的映射關(guān)系；