[發(fā)明專利]一種基于內(nèi)容感知信息的圖像陰影消除方法

有效

• 申請?zhí)枺?/td>: 202010430576.7
• 申請日: 2020-05-20
• 公開（公告）號: CN111626951B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計）人: 張玲;石恒
• 申請（專利權(quán)）人: 武漢科技大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0464;G06N3/084
• 代理公司: 上海政濟知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31479
• 代理人: 輦甲武

本發(fā)明提供一種基于內(nèi)容感知信息的圖像陰影消除方法，包括：建立虛擬場景和真實場景的陰影圖像數(shù)據(jù)集及無陰影圖像數(shù)據(jù)集；構(gòu)建生成器網(wǎng)絡(luò)模型，該生成器網(wǎng)絡(luò)模型包含全局內(nèi)容網(wǎng)絡(luò)及局部修正網(wǎng)絡(luò)；將陰影圖像x作為輸入對生成器網(wǎng)絡(luò)模型進行訓(xùn)練，經(jīng)過全局內(nèi)容網(wǎng)絡(luò)后輸出初始陰影消除結(jié)果圖像xsubgt;1/subgt;，再經(jīng)過局部修正網(wǎng)絡(luò)后輸出最終陰影消除結(jié)果圖像xsubgt;2/subgt;；構(gòu)建鑒別器網(wǎng)絡(luò)模型；將最終陰影消除結(jié)果圖像xsubgt;2/subgt;及對應(yīng)的無陰影圖像y作為鑒別器網(wǎng)絡(luò)的輸入；通過損失函數(shù)對生成器網(wǎng)絡(luò)模型及鑒別器網(wǎng)絡(luò)模型進行訓(xùn)練優(yōu)化；利用優(yōu)化后的生成器網(wǎng)絡(luò)模型對待處理陰影圖像進行陰影消除。本發(fā)明的基于內(nèi)容感知信息的圖像陰影消除方法處理得到的無陰影圖像自然真實。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于內(nèi)容感知信息的圖像陰影消除方法。

背景技術(shù)

陰影是光線被部分或者全部遮擋時產(chǎn)生的一種自然現(xiàn)象，并且陰影區(qū)域的亮度比其他區(qū)域低，這種低亮度的特點會降低某些計算機視覺任務(wù)的準確性和有效性，例如目標跟蹤，目標檢測，目標識別等。因此，在這些工作任務(wù)中有必要對圖像中的陰影進行消除，恢復(fù)陰影區(qū)域的光照，提高圖像的視覺效果，從而確保這些工作任務(wù)可以更加準確有效的施行。但是，由于場景中光照和紋理的變化以及其他環(huán)境因素的影響，使得復(fù)雜場景的圖像陰影消除任務(wù)依然是一項十分具有挑戰(zhàn)性的問題。

圖像的陰影消除是指在保證陰影區(qū)域原有色調(diào)及紋理結(jié)構(gòu)的基礎(chǔ)上，恢復(fù)陰影區(qū)域的光照，使恢復(fù)后陰影區(qū)域的亮度、顏色、紋理等與周圍環(huán)境一致的。然而，目前的使用深度學(xué)習方法雖然在圖像陰影消除領(lǐng)域上取得了一些進步，但是仍然存在一些不足：一方面，這些圖像陰影消除方法對訓(xùn)練數(shù)據(jù)集依賴性較大，而目前公開的陰影圖像數(shù)據(jù)集中陰影及場景類型都較為簡單，使得訓(xùn)練得到的網(wǎng)絡(luò)模型效果不夠好；另一方面，圖像陰影消除方法的有效性在很大程度上取決于設(shè)計的網(wǎng)絡(luò)模型，而目前這些圖像陰影消除方法的網(wǎng)絡(luò)模型設(shè)計不夠科學(xué)合理，大多只關(guān)注圖像本身，而沒有很好的探索其他額外與圖像相關(guān)的信息，這也使得圖像最終處理效果不夠理想。

發(fā)明內(nèi)容

本發(fā)明是為了解決上述問題而進行的，目的在于提供一種基于內(nèi)容感知信息的圖像陰影消除方法，提出一種由全局到局部的網(wǎng)絡(luò)模型來完成圖像的陰影消除任務(wù)。

本發(fā)明的目的具體通過如下技術(shù)方案實現(xiàn)：

本發(fā)明提供的基于內(nèi)容感知信息的圖像陰影消除方法，其特征在于，包括：步驟1，建立虛擬場景和真實場景的陰影圖像數(shù)據(jù)集X，并建立對應(yīng)的虛擬場景和真實場景的無陰影圖像數(shù)據(jù)集Y；步驟2，構(gòu)建一個生成器網(wǎng)絡(luò)模型，該生成器網(wǎng)絡(luò)模型包含全局內(nèi)容網(wǎng)絡(luò)以及局部修正網(wǎng)絡(luò)；步驟3，將陰影圖像數(shù)據(jù)集X中的陰影圖像x作為輸入對生成器網(wǎng)絡(luò)模型進行訓(xùn)練，x經(jīng)過全局內(nèi)容網(wǎng)絡(luò)后輸出初始陰影消除結(jié)果圖像x₁，x₁經(jīng)過局部修正網(wǎng)絡(luò)后輸出最終陰影消除結(jié)果圖像x₂；步驟4，構(gòu)建一個鑒別器網(wǎng)絡(luò)模型；步驟5，將最終陰影消除結(jié)果圖像x₂以及無陰影圖像數(shù)據(jù)集Y中對應(yīng)的無陰影圖像y作為輸入，通過鑒別器網(wǎng)絡(luò)模型對最終陰影消除結(jié)果圖像x₂進行鑒別；步驟6，通過損失函數(shù)對生成器網(wǎng)絡(luò)模型以及鑒別器網(wǎng)絡(luò)模型進行訓(xùn)練優(yōu)化，并得到優(yōu)化后的生成器網(wǎng)絡(luò)模型以及鑒別器網(wǎng)絡(luò)模型；步驟7，利用步驟6所得的優(yōu)化后的生成器網(wǎng)絡(luò)模型對待處理陰影圖像進行陰影消除。

進一步，在本發(fā)明提供的基于內(nèi)容感知信息的圖像陰影消除方法中，還具有這樣的特征：其中，全局內(nèi)容網(wǎng)絡(luò)包含一個編碼器及一個解碼器，編碼器采用卷積操作以及非線性變換操作對輸入的圖像進行降采樣，提取圖像特征；解碼器將降采樣的圖像特征結(jié)果作為網(wǎng)絡(luò)輸入，通過反卷積操作進行上采樣并重建圖像，得到初始陰影消除結(jié)果圖像x₁。