[發(fā)明專利]一種基于深度卷積對抗生成網(wǎng)絡的圖像反射去除方法

有效

• 申請?zhí)枺?/td>: 201710173436.4
• 申請日: 2017-03-22
• 公開（公告）號: CN107103590B
• 公開（公告）日: 2019-10-18
• 發(fā)明（設計）人: 徐雪妙;周樂
• 申請（專利權(quán)）人: 華南理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/62;G06N3/08
• 代理公司: 廣州市華學知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 羅觀祥

本發(fā)明公開了一種基于深度卷積對抗生成網(wǎng)絡的圖像反射去除方法，包括步驟：1)數(shù)據(jù)獲取；2)數(shù)據(jù)處理；3)模型構(gòu)建；4)損失定義；5)模型訓練；6)模型驗證。本發(fā)明結(jié)合了深度卷積神經(jīng)網(wǎng)絡提取高層圖像語義信息的能力以及對抗生成網(wǎng)絡靈活的損失函數(shù)定義能力，突破了傳統(tǒng)方法僅使用低層像素信息的限制，因此對一般化的圖像反射去除問題具有更強的適應能力。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機圖像處理的技術(shù)領(lǐng)域，尤其是指一種基于深度卷積對抗生成網(wǎng)絡的圖像反射去除方法。

背景技術(shù)

當我們在室內(nèi)透過玻璃拍攝室外的景物時，得到的照片中往往會包含有室內(nèi)物體的反射影像。專業(yè)攝影師可能會選擇使用偏振鏡等專業(yè)的儀器設備來解決這個問題。但是對于普通消費者而言，使用反射去除算法來對照片進行后期處理會是更可行的做法。

一張帶有反射影像的照片可以看做是由一張反射圖像(室內(nèi)景物)和一張目標圖像(室外景物)疊加而成的混合圖像。反射去除問題的本質(zhì)是從這樣一張混合圖像中分解得到兩張圖像。這個問題有明顯的不適定性(ill-posed)，即對于一張給定的混合圖像，可能的分解方法是不唯一的。為了求解這樣的不適定問題，我們需要為原問題增加足夠的先驗知識(priori knowledge)作為額外的約束，使得求解得到的結(jié)果盡可能地接近目標結(jié)果。

在過去的研究中，由于缺乏可靠的高層語義信息作為先驗知識，大部分工作中使用的先驗知識都是基于低層像素信息的。例如，在論文Learning to perceivetransparency from the statistics of natural scenes中，Levin等使用的是自然圖像的邊緣直方圖和角點直方圖的統(tǒng)計規(guī)律；在論文Single image layer separation usingrelative smoothness中，Li等針對的是反射圖像相比目標圖像更加平滑這一特殊情況并以此作為先驗約束；而在論文Reflection removal using ghosting cues中，Shih等使用的是特定的反射圖像中出現(xiàn)的鬼影(ghosting)這一約束。

Levin等的方法可以在場景簡單并且紋理稀疏的圖像上取得較好的效果，但是對于更一般化的、具有豐富紋理信息的自然圖像就不太適用了。這是因為自然圖像之間的差異性很大，其分布無法簡單地用統(tǒng)一的直方圖來刻畫。而Li等的方法和Shih等的方法針對的是在特定條件下拍攝的圖像，這些條件并不是廣泛存在的，因此這些方法的使用場景具有很大的限制性。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足與缺點，提出了一種基于深度卷積對抗生成網(wǎng)絡的圖像反射去除方法，該方法結(jié)合了深度卷積神經(jīng)網(wǎng)絡提取高層圖像語義信息的能力以及對抗生成網(wǎng)絡靈活的損失函數(shù)定義能力，突破了傳統(tǒng)方法僅使用低層像素信息的限制。

為實現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案為：一種基于深度卷積對抗生成網(wǎng)絡的圖像反射去除方法，包括以下步驟：

1)數(shù)據(jù)獲取

訓練深度卷積對抗生成網(wǎng)絡需要大量的訓練數(shù)據(jù)，因此需要使用大規(guī)模的自然圖像數(shù)據(jù)集，得到的圖像數(shù)據(jù)集需要劃分為訓練數(shù)據(jù)集以及驗證數(shù)據(jù)集，其中訓練數(shù)據(jù)集用于模型訓練階段，驗證數(shù)據(jù)集用于模型驗證階段；

2)數(shù)據(jù)處理

將圖像數(shù)據(jù)集的圖像通過預處理轉(zhuǎn)化為訓練深度卷積對抗生成網(wǎng)絡所需要的形式；

3)模型構(gòu)建

根據(jù)訓練目標以及模型的輸入輸出形式，構(gòu)造出一個適用于圖像反射去除問題的深度卷積對抗生成網(wǎng)絡；

4)損失定義

根據(jù)訓練目標以及模型的架構(gòu)，定義出所需的損失函數(shù)；

5)模型訓練