[發(fā)明專利]一種單圖像去反光的方法、裝置及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010193974.1
• 申請(qǐng)日: 2020-03-18
• 公開（公告）號(hào): CN111507910B
• 公開（公告）日: 2023-06-06
• 發(fā)明（設(shè)計(jì)）人: 田治仁;張貴峰;李銳海;廖永力;張巍;龔博;王俊錁;黃增浩;朱登杰;何錦強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 南方電網(wǎng)科學(xué)研究院有限責(zé)任公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06N3/0464;G06N3/08
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 麥小嬋;郝傳鑫

本發(fā)明公開一種單圖像去反光的方法、裝置及存儲(chǔ)介質(zhì)，該方法包括：通過人工拍攝獲取背景圖像和對(duì)應(yīng)的反射圖像，并根據(jù)背景圖像和反射圖像的疊加，得到反光圖像；將反光圖像輸入到預(yù)訓(xùn)練的VGG?19網(wǎng)絡(luò)進(jìn)行超列特征提取，得到特征集合；將特征集合輸入到預(yù)設(shè)的生成網(wǎng)絡(luò)中，得到預(yù)測(cè)背景圖和預(yù)測(cè)反射圖；將預(yù)測(cè)背景圖和背景圖像輸入到預(yù)設(shè)的鑒別網(wǎng)絡(luò)，以計(jì)算得到鑒別網(wǎng)絡(luò)的鑒別損失函數(shù)；通過多次迭代計(jì)算，直至生成網(wǎng)絡(luò)的聯(lián)合損失函數(shù)和鑒別損失函數(shù)均收斂，完成生成網(wǎng)絡(luò)和鑒別網(wǎng)絡(luò)的訓(xùn)練；選取多張反光圖像進(jìn)行去反光處理，以定量評(píng)估去反光效果。本發(fā)明能提取圖像的高層次感官信息加入生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練，從而有效解決單圖像的去反光問題。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種單圖像去反光的方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)

單張圖像的反射去除，通常會(huì)利用預(yù)先設(shè)定的先驗(yàn)信息。首先，最常見的方式為利用自然圖像梯度的稀疏特性尋找最小化的邊緣和角點(diǎn)來分離圖像的圖層，例如利用梯度稀疏的約束結(jié)合拉普拉斯域的數(shù)據(jù)保真項(xiàng)來抑制圖像反射。但是，這種方式依賴于低級(jí)啟發(fā)式方法，在對(duì)于需要對(duì)圖像的結(jié)果進(jìn)行高等級(jí)分析等情況時(shí)受到限制。另外一種先驗(yàn)知識(shí)為反射層的圖像通常是未聚焦的、平滑的。但基于這種假設(shè)的算法無法應(yīng)用于反射圖像也具有很強(qiáng)對(duì)比度的情況。這些方法均不能有效利用圖像的高層次感官信息，且無法解決高對(duì)比度的反光圖像的去反光問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的是提供一種單圖像去反光的方法、裝置及存儲(chǔ)介質(zhì)，能有效提取圖像的高層次感官信息加入網(wǎng)絡(luò)訓(xùn)練，并結(jié)合生成對(duì)抗網(wǎng)絡(luò)的優(yōu)勢(shì)，能有效解決單圖像的去反光問題，對(duì)于高對(duì)比度的反光圖像仍有滿意的去反光效果。

為實(shí)現(xiàn)上述目的，本發(fā)明一實(shí)施例提供了一種單圖像去反光的方法，包括以下步驟：

通過人工拍攝獲取背景圖像和對(duì)應(yīng)的反射圖像，并根據(jù)所述背景圖像和所述反射圖像的疊加，得到反光圖像；

將所述反光圖像輸入到預(yù)訓(xùn)練的VGG-19網(wǎng)絡(luò)進(jìn)行超列特征提取，得到特征集合；

將所述特征集合輸入到預(yù)設(shè)的生成網(wǎng)絡(luò)中，得到預(yù)測(cè)背景圖和預(yù)測(cè)反射圖；其中，所述生成網(wǎng)絡(luò)的聯(lián)合損失函數(shù)包括超列特征空間的重建損失函數(shù)、對(duì)抗損失函數(shù)和分離損失函數(shù)；

將所述預(yù)測(cè)背景圖和所述背景圖像輸入到預(yù)設(shè)的鑒別網(wǎng)絡(luò)，以計(jì)算得到所述鑒別網(wǎng)絡(luò)的鑒別損失函數(shù)；

通過多次迭代計(jì)算，直至所述聯(lián)合損失函數(shù)和所述鑒別損失函數(shù)均收斂，完成所述生成網(wǎng)絡(luò)和所述鑒別網(wǎng)絡(luò)的訓(xùn)練；

選取多張所述反光圖像進(jìn)行去反光處理，以定量評(píng)估去反光效果。

優(yōu)選地，所述根據(jù)所述背景圖像和所述反射圖像的疊加，得到反光圖像，具體包括：

獲取所述背景圖像的第一灰度值；

獲取所述反射圖像的第二灰度值；

將所述第一灰度值和所述第二灰度值進(jìn)行加權(quán)計(jì)算，得到所述反光圖像。

優(yōu)選地，所述VGG-19網(wǎng)絡(luò)的卷積層包括conv1_2、conv2_2、conv3_2、conv4_2和conv5_2。

優(yōu)選地，所述生成網(wǎng)絡(luò)包括卷積核為1×1的輸入層和8個(gè)卷積核為3×3的空洞卷積層；其中，最后一層空洞卷積層利用線性變換產(chǎn)生兩幅三通道的RGB圖。

優(yōu)選地，所述生成網(wǎng)絡(luò)的聯(lián)合損失函數(shù)包括超列特征空間的重建損失函數(shù)、對(duì)抗損失函數(shù)和分離損失函數(shù)，具體包括：