[發明專利]基于無監督學習的單張圖片本征圖像分解方法、系統及介質

有效

• 申請號: 202110395059.5
• 申請日: 2021-04-13
• 公開（公告）號: CN113077451B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 周錦;張青;孫偉;鄭偉詩;席楊
• 申請（專利權）人: 中山大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/0464;G06N3/084
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種基于無監督學習的單張圖片本征圖像分解方法、系統及介質，方法包括下述步驟：構建本征圖像分解模型，所述本征圖像分解模型包括兩個分支，一支為反射率生成網絡，另一支為光照生成網絡；設置隨機噪聲參數并經過訓練后得到兩個與原圖尺度相同的隨機噪聲；將生成的兩個隨機噪聲分別作為反射率網絡和光照網絡的輸入，在損失函數的約束下，不斷利用反向傳播算法更新反射率網絡和光照網絡的參數；當更新反射率網絡和光照網絡的參數多次后，在歷史輸出中選取重構圖與原圖峰值信噪比PSNR值最小的那組結果作為本征圖像分解的最終結果。通過兩個結構相同的反射率生成網絡和光照網絡，分別輸出反射率和光照，實現無監督的本征圖像分解。

技術領域

本發明屬于計算機視覺的技術領域，具體涉及一種基于無監督學習的單張圖片本征圖像分解方法、系統及介質。

背景技術

傳統的本征圖像分解方法大多基于優化求解的框架下，同時設置很多先驗條件。例如，Retinex理論假設大的梯度變化是由反射率的變化引起的；小的梯度變化是由光照的變化引起的。最近還有一些方法通過RGB-D相機采集物體表面的法線信息，表面的法線能夠提高光照的估計準確度。基于優化的方法通常需要人為的設置假設，然后將假設轉化成優化方程。然而這種手工設置先驗的強約束并不完全正確。例如Retinex理論，事實上在光照突變的位置較大的梯度應屬于光照成分而不是假設中的反射率。同時，類似的先驗適用適用的圖片也很有限，在實際應用中效果較差。

基于時間序列圖片的方法會搜集同一場景在不同光照條件下的多張圖片，組成時間序列圖片，然后假設這些圖片的反射率是沒有發生變化的，但是光照是變化的。因此，這些方法便有了一個很重要的約束——時間序列每張圖片的分解結果中反射率要求嚴格相同。基于時間序列的方法存在的最大問題是數據獲取很困難，在一段時間內，場景內每一個物體都不發生改變的可能性是很小的，例如常見的背景變化、天氣變化等都歸于反射率的變化。因此獲取一系列光照不變同時反射率變化的圖片是困難的。另外一個問題是應用受限，諸多方法訓練的時候采用了時間序列，因此在實際應用的時候也要求模型的輸入是時間序列，這顯然是不切實際的。

有監督的深度學習方法，自S.Bell等人公布IIW數據集之后，一大批方法把深度學習應用在本征圖像分解領域,他們利用神經網絡的特性挖掘數據潛在的特征實現有監督學習的本征圖像分解。后續有人補充IIW數據集形成新的針對光照的稀疏標注數據集SAW。同時，不滿足于IIW和SAW數據集數據量偏少，Li,Zhengqi等人在SUNCG基礎上創建了自己的大型虛擬數據集CGIntrinsics。但是，有監督的深度學習方法同樣面臨著數據的問題，本領域主流的IIW數據集包含的圖片數量僅5000多張，與其他計算機視覺課題方向的數據集相差甚遠。數據有限決定了有監督深度學習模型的泛化能力不會太好。同時，IIW數據集等的標注是稀疏標注，標簽質量不高，這也極大限制了有監督深度學習方法的前景。

發明內容

本發明的主要目的在于克服現有技術的缺點與不足，提供一種基于無監督學習的單張圖片本征圖像分解方法、系統及介質，通過兩個結構相同的反射率生成網絡和光照網絡，分別輸出反射率和光照，實現無監督的本征圖像分解。

為了達到上述目的，本發明采用以下技術方案：

本發明一方面提供了一種基于無監督學習單張圖片本征圖像分解方法，包括下述步驟：

構建本征圖像分解模型，所述本征圖像分解模型包括兩個分支，一支為反射率生成網絡，另一支為光照生成網絡；設置隨機噪聲參數并經過訓練后得到兩個與原圖尺度相同的隨機噪聲；

將生成的兩個隨機噪聲分別作為反射率網絡和光照網絡的輸入，在損失函數的約束下，不斷利用反向傳播算法更新反射率網絡和光照網絡的參數；

當更新反射率網絡和光照網絡的參數多次后，在歷史輸出中選取重構圖與原圖峰值信噪比PSNR值最小的那組結果作為本征圖像分解的最終結果。

作為優選的技術方案，所述反射率網絡和光照網絡結構相同，具體為：