[發明專利]一種基于生成對抗網絡的反射消除方法

在審

• 申請號: 202011504507.2
• 申請日: 2020-12-18
• 公開（公告）號: CN112581396A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 王宏偉;成孝剛;宋麗敏;邵文杰;蔡勇
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 徐激波

本發明公開了一種基于生成對抗網絡的反射消除方法，包括如下步驟：步驟S1、建立數據集；步驟S2、構建反射消除網絡模型；步驟S3、定義出所需的損失函數；步驟S4、對所述反射消除網絡模型進行迭代訓練；步驟S5、測試訓練后的反射消除網絡模型，輸出最終的反射消除網絡模型；步驟S6、利用反射消除網絡模型消除輸入圖像中的反射。本發明所采用的生成對抗網絡進行反射消除，和以往的方法相比，具有更好的可靠性和泛化性。

技術領域

本發明涉及深度學習領域，特別是涉及一種基于生成對抗網絡的反射消除方法。

背景技術

透過玻璃拍攝圖像，得到的往往是帶有反射的圖像，反射圖像給我們帶來了很大的困擾，尤其是對于目前的計算機視覺系統造成了嚴重影響。消除不必要的反射對于計算機視覺的大規模應用有著重要的意義。反射場景一方面大大降低了玻璃后面內容的可見度，同時，一系列的變形，模糊等作用經常會導致計算機視覺系統應用的失敗。消除反射的目的一是在于消除反射，二是增加背景場景的可視性。目前的計算機視覺系統的識別率已經達到了不錯的水平，想要進一步提升識別準確率和其應用的場景，我們就必然需要提升圖片的質量以滿足系統的要求。

現有的反射消除算法大多是基于非學習的方法，最常見的是基于不同的先驗方法以及背景和反射層間的不同屬性，比如，Levin等人采用的是基于像素點稀疏性的信息來分解圖像；Li等人基于背景和反射層之間模糊等級不同來分離圖像；Shih等人則是通過GMM方法來消除反射和可見的鬼影效果。這些方法都是基于手動先驗的方法對于圖像的某些性質進行人為的區分和分割，這就導致了這些方法很難使用在更多更復雜的場景。具體來講，Levin等人的方法假設圖像的邊緣直方圖具有一個確定的稀疏分布。這依賴于用戶對背景和反射內容進行標注，而在紋理復雜的情景下這種方法往往會失效，因此一個固定的稀疏先驗分布無法適用于復雜程度不同的自然圖像。Li等人的方法和Shih等人的方法都假設反射圖像和目標圖像具有不對稱性，即反射圖像和目標圖像具有不一樣的統計信息。但是在很多情況下這些不對稱信息是不存在的，這限制了這些算法的使用范圍。并且這些算法類似，都依賴于低層的像素信息，Li等人的方法和Shih等人的方法受圖像的場景和紋理的影響較大，復雜的場景和紋理會對反射圖像的邊緣直方圖的稀疏性的判斷和鬼影的偏移向量與衰減系數的計算造成困難。依賴于低層像素細節的方法出現這些問題的原因在于低層像素信息受環境影響很大。例如，簡單的光照變化就會使得圖像的像素統計信息出現較大范圍的波動。

與之相比，圖像的高層語義信息具有相對不錯的穩定性。圖像的光照變化、位置偏移和輕微形變并不會對其高層語義信息造成很大的影響。因此，為反射消除問題添加高層語義信息作為先驗有助于規避僅僅使用低層像素信息作為先驗知識的方法的局限性。

發明內容

有鑒于此，本發明的目的在于提供一種基于生成對抗網絡的反射消除方法，可以解決圖像反射消除技術運用的廣泛性和準確性問題。

為了實現上述目的，本發明的技術解決方案為：一種基于生成對抗網絡的反射消除方法，包括如下步驟：

步驟S1、建立數據集，按照一定比例將所述數據集分成訓練集和測試集，所述數據集包括：背景圖像、反射圖像和混合圖像，所述混合圖像為所述背景圖像與所述反射圖像加權合并而成；

步驟S2、構建反射消除網絡模型，所述反射消除網絡模型包含生成器網絡和判決器網絡；

步驟S3、根據訓練目標以及所述反射消除網絡模型的架構，定義出所需的損失函數；

步驟S4、利用所述訓練集對所述反射消除網絡模型進行迭代訓練直到所述損失函數收斂；

步驟S5、通過所述測試集測試訓練后的反射消除網絡模型，并且判斷是否符合要求，若不符合，繼續進行步驟S4，直到測試結果符合要求；若符合，則輸出最終的反射消除網絡模型；

步驟S6、利用步驟S5得到的反射消除網絡模型消除輸入圖像中的反射。