[發(fā)明專(zhuān)利]基于自監(jiān)督多尺度金字塔融合網(wǎng)絡(luò)的圖像散景虛化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210292231.9
• 申請(qǐng)日: 2022-03-23
• 公開(kāi)（公告）號(hào): CN114757860A
• 公開(kāi)（公告）日: 2022-07-15
• 發(fā)明（設(shè)計(jì)）人: 江愛(ài)文;汪智峰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 江西師范大學(xué)
• 主分類(lèi)號(hào): G06T5/50
• 分類(lèi)號(hào): G06T5/50;G06T5/00;G06N20/00;G06T7/55
• 代理公司: 北京中政聯(lián)科專(zhuān)利代理事務(wù)所(普通合伙) 11489
• 代理人: 陳超

本發(fā)明實(shí)施例公開(kāi)了一種基于自監(jiān)督多尺度金字塔融合網(wǎng)絡(luò)的圖像散景虛化方法，該方法包括：獲取原始圖像，對(duì)于原始圖像進(jìn)行兩次下采樣，得到具有三種不同分辨率的待處理圖像；對(duì)于待處理圖像進(jìn)行特征提取，得到與待處理圖像對(duì)應(yīng)的特征；對(duì)于提取得到的特征進(jìn)行不同尺度的循環(huán)融合增強(qiáng)，得到增強(qiáng)特征；對(duì)于增強(qiáng)特征進(jìn)行解碼，生成對(duì)應(yīng)的散景虛化分量預(yù)測(cè)圖像；生成不同尺度的散景模糊圖像，并將散景模糊圖像與對(duì)應(yīng)尺度的散景虛化分量預(yù)測(cè)圖像進(jìn)行結(jié)構(gòu)相似性計(jì)算，得到對(duì)應(yīng)尺度的散景虛化分量權(quán)重；將散景虛化分量預(yù)測(cè)圖像與對(duì)應(yīng)尺度的散景虛化分量權(quán)重相乘，得到對(duì)應(yīng)尺度的加權(quán)散景虛化分量預(yù)測(cè)圖像，對(duì)其進(jìn)行上采樣融合，得到最終的散景虛化圖像。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理領(lǐng)域，具體涉及一種基于自監(jiān)督多尺度金字塔融合網(wǎng)絡(luò)的圖像散景虛化方法。

背景技術(shù)

在實(shí)際應(yīng)用中，通常可以通過(guò)專(zhuān)業(yè)的大口徑、長(zhǎng)焦距的單反相機(jī)拍攝具有散景虛化美感的圖像，然而，對(duì)于具有緊湊光學(xué)元件和微型傳感器的移動(dòng)相機(jī)來(lái)說(shuō)，通常是無(wú)法實(shí)現(xiàn)的。為了平衡照片質(zhì)量的美學(xué)要求和昂貴的高端單反相機(jī)成本問(wèn)題，散景虛化效果不得不通過(guò)模擬實(shí)現(xiàn)。因此，合成散景虛化渲染已經(jīng)成為成像系統(tǒng)工程應(yīng)用領(lǐng)域一個(gè)有吸引力的機(jī)器學(xué)習(xí)課題。

近年來(lái)，合成散景虛化渲染的方法在很大程度上比較依賴場(chǎng)景深度信息。在這些基于深度信息的方法中，有一些是利用雙像素自動(dòng)對(duì)焦系統(tǒng)等硬件來(lái)估計(jì)場(chǎng)景深度，但這些專(zhuān)業(yè)硬件比較昂貴，難以廣泛使用。此外，對(duì)于已經(jīng)使用單目相機(jī)拍攝的圖像，也缺乏準(zhǔn)確的深度信息。

在某種程度上，結(jié)合先驗(yàn)知識(shí)來(lái)模擬真實(shí)的散景虛化效果有可能提高圖像的視覺(jué)效果，但基于先驗(yàn)知識(shí)的方法也存在一定的局限性：(1)與深度傳感器相關(guān)的硬件并不總是可以在移動(dòng)設(shè)備上使用；(2)通過(guò)軟件對(duì)先驗(yàn)信息進(jìn)行預(yù)處理通常比較耗費(fèi)時(shí)間；(3)當(dāng)估計(jì)的先驗(yàn)知識(shí)不起作用時(shí)，意外的失焦模糊反而會(huì)降低最終合成圖像的質(zhì)量。

綜上，亟需一種成本低、效果好、魯棒性強(qiáng)的圖像散景虛化方法。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種成本低、效果好、魯棒性強(qiáng)的圖像散景虛化方法，為此，本發(fā)明提供一種基于自監(jiān)督多尺度金字塔融合網(wǎng)絡(luò)的圖像散景虛化方法。

為了實(shí)現(xiàn)上述目的，本發(fā)明提出一種基于自監(jiān)督多尺度金字塔融合網(wǎng)絡(luò)的圖像散景虛化方法，所述方法包括以下步驟：

步驟S1，獲取原始圖像GT，并對(duì)于所述原始圖像進(jìn)行兩次下采樣，得到具有三種不同分辨率的待處理圖像I_i；

步驟S2，對(duì)于所述待處理圖像進(jìn)行特征提取，得到與所述待處理圖像對(duì)應(yīng)的特征f_i；

步驟S3，對(duì)于提取得到的特征f_i進(jìn)行不同尺度的循環(huán)融合增強(qiáng)，得到增強(qiáng)特征t(i,j)，其中，t(i,j)表示將尺度i的信息增強(qiáng)至尺度j；

步驟S4，對(duì)于所述增強(qiáng)特征進(jìn)行解碼，生成對(duì)應(yīng)的散景虛化分量預(yù)測(cè)圖像

步驟S5，生成不同尺度的散景模糊圖像并將所述散景模糊圖像與對(duì)應(yīng)尺度的散景虛化分量預(yù)測(cè)圖像進(jìn)行結(jié)構(gòu)相似性計(jì)算，得到對(duì)應(yīng)尺度的散景虛化分量權(quán)重；

步驟S6，將散景虛化分量預(yù)測(cè)圖像與對(duì)應(yīng)尺度的散景虛化分量權(quán)重相乘，得到對(duì)應(yīng)尺度的加權(quán)散景虛化分量預(yù)測(cè)圖像，并與其他尺度的加權(quán)散景虛化分量預(yù)測(cè)圖像進(jìn)行上采樣融合，得到最終的散景虛化圖像。

進(jìn)一步地，所述步驟S2中，對(duì)于所述待處理圖像進(jìn)行特征提取的步驟，包括：

利用特征提取模塊FE_i對(duì)于所述待處理圖像分別進(jìn)行特征提取，其中，特征提取模塊FE_i包括四個(gè)具有相似內(nèi)部結(jié)構(gòu)但參數(shù)不同的連續(xù)子塊，四個(gè)連續(xù)子塊順次連接。