[發明專利]一種圖像去反射方法、系統、裝置及存儲介質

在審

• 申請號: 202210387641.1
• 申請日: 2022-04-14
• 公開（公告）號: CN114926352A
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 韋志宇;黃艷;全宇暉;何旭怡;陳騰躍
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 鄭宏謀

本發明公開了一種圖像去反射方法、系統、裝置及存儲介質，其中方法包括：根據反射圖像構建包含背景層圖像和反射層圖像的合成數據集；確定基礎濾波器，根據基礎濾波器構造多種形態濾波器；將合成數據集中的反射圖像輸入深度強化學習網絡，輸出所述反射圖像的價值V和策略π兩部分；根據策略π從動作集A中選擇形態濾波器，對輸入的反射圖像去反射，得到對應的背景層圖像和反射層圖像；根據背景層圖像和反射層圖像對深度強化學習網絡進行訓練；將反射圖像輸入深度強化學習網絡，輸出處理結果。本發明通過深度強化學習方法學習形態濾波器的選擇，增加圖像去反射過程中的可解釋性，提高圖像去反射的性能，可廣泛應用于數字圖像復原領域。

技術領域

本發明涉及數字圖像復原領域，尤其涉及一種圖像去反射方法、系統、裝置及存儲介質。

背景技術

當今社會的生產生活中，數字圖像扮演著極其重要的角色。在信號處理和計算機視覺領域中，圖像傳感器拍攝過程光照造成的反射會導致戶外視頻系統捕獲的圖像顏色和對比度嚴重退化，很大程度上妨礙了后續圖像的分析和理解。當人們在鏡面物體，例如玻璃，前拍攝物體時，反射是非常常見的物理現象。為改善圖像質量，提高圖像后處理的有效性和可靠性，有必要采用降低反射或去除反射技術來濾除圖像中的反射。

反射圖像分離相關研究大體分為兩類，第一類為輸入多圖像的鏡面反射分離，第二類為使用單圖像輸入進行反射分離。

Schechner等人和Kong等人先后通過建立在物理反射模型的基礎上，使用不同偏振角度拍攝的多幅圖像來估計反射層。Sirinukulwattana等人利用從稍有不同的視角拍攝的多幅圖像中的反射變化對多幅圖像視差施加約束，使反射層的特定區域平滑，同時保持傳輸的清晰度。此外，一些方法依賴視頻序列來解除透射層和反射層之間的運動的相關性，利用運動差異將輸入圖像分解為初始傳輸和反射層。從初始層提取運動場，反復更新透射層與反射層以及估計運動場的過程，直至收斂。但是基于多幅圖像和視頻的方法因其采用的數據過多，加大數據采集難度和經濟成本。

Levin對兩幅圖像疊加合成的圖像如何準確分離提出對應解決方案，并嘗試運用到解決圖像反射中。Levin和Weiss等人提出棱角最小先驗實現反射圖像分離方法嘗試解決單圖像反射分離。Li和Brown通過優化目標函數自動提取這兩層，目標函數在反射層上施加平滑梯度，在傳輸層上施加稀疏梯度。這種梯度先驗是通過觀察反射通常比投射圖像聚焦少，所以反射層梯度較弱。

LeCun等人首次提出的深度卷積神經網絡(Convolutional Neural Network,CNN)在圖像反射問題方面的應用也得到快速發展并取得卓越成果。Zhang等人利用菲涅耳定律分析了反射光和透射光的偏振特性，將將偏振信息與深度學習方法相結合，可以有效地分離出反射分量和透射分量。但目前諸多方法仍有許多不足，由于在單幅圖像采集過程中受到光線，目標景物，噪音等各方面因素的影響，且基于單圖像的反射去除問題本身就是病態的，導致利用單幅圖像將其中的反射完全分離仍然十分困難。

發明內容

為至少一定程度上解決現有技術中存在的技術問題之一，本發明的目的在于提供一種圖像去反射方法、系統、裝置及存儲介質。

本發明所采用的技術方案是：

一種圖像去反射方法，包括以下步驟：

合成反射圖像，根據反射圖像構建包含背景層圖像和反射層圖像的合成數據集；

確定基礎濾波器，根據基礎濾波器構造多種形態濾波器，作為強化濾波中的動作集A；

將合成數據集中的反射圖像輸入深度強化學習網絡，輸出所述反射圖像的價值V和策略π兩部分；

根據策略π從動作集A中選擇形態濾波器，對輸入的反射圖像去反射，得到對應的背景層圖像和反射層圖像；

根據得到的背景層圖像和反射層圖像對深度強化學習網絡進行訓練；