[發明專利]一種基于大尺度分解的戶外場景重光照方法

有效

• 申請號: 201711097985.4
• 申請日: 2017-11-09
• 公開（公告）號: CN107833198B
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 金鑫;李艷楠;李曉東;田玉露;吳樂;劉晶
• 申請（專利權）人: 中共中央辦公廳電子科技學院
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T15/50
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 楊學明;顧煒

本發明提出了一種基于大尺度分解的戶外場景重光照方法，對輸入圖像進行處理，按照圖像中材質和內容對其進行著色操作，手動生成輸入圖像的蒙板圖像，然后對于參考圖像，選擇Patch_match方法對參考圖像進行匹配變形，將輸入圖像和參考圖像分別根據給出的自適應參數選擇機制，利用加權最小二乘濾波器(Weighted Least Square，簡稱WLS濾波器)，將輸入圖像和參考圖像的亮度層分解為大尺度層與細節層，在輸入圖像大尺度層的導引下，對參考對象大尺度層進行導引濾波(Guided Filter，簡稱GF濾波器)，使得濾波結果與輸入對象的大尺度層在結構上對齊，從而進一步實現渲染，通過點除算法(Point Division)，實現預輸出圖像細節層和大尺度層的融合，得到最終的重光照結果。該方法很容易通過軟件實現。

技術領域

本發明屬于可視計算、計算機視覺領域，具體涉及一種基于大尺度分解的戶外場景重光照方法。

背景技術

基于圖像的無3D模型的逼真虛擬重光照已經在可視計算領域廣泛地研究，并且在視覺設計、數字娛樂和電影制片等方面得到廣泛地應用。

基于圖像的虛擬重光照可以被粗略的分為以下幾類：人臉重光照，場景重光照和物體重光照。除了3D重建理論，另外的研究方向是利用參考圖像更實際的應用到現實世界的應用中。在此方向中，人臉重光照是最為普遍的研究方向。參考圖像來源從多幅人臉參考圖像，到兩幅人臉參考圖像再到單幅人臉參考圖像。場景重光照和物體重光照仍然需要多幅參考圖像。與室內光照估計相比,戶外場景有兩個特點,這兩個特點也是對戶外場景進行光照估計時面臨的兩個主要挑戰：(1)戶外場景一般規模龐大,很難建立其幾何模型。(2)戶外場景光照復雜,且不能人為控制。

在相同的種族中，人的臉部有著相同的皮膚反射率。因此，基于人臉的重光照方法通常采用只將光照遷移應用到相應的光照組件中的方法。然而，一般的物體通常都有各種各樣的顏色，上述的方法就不再適用。本發明從人臉重光照方法中獲得了靈感，首先，將參考圖像A和B參照輸入圖像進行顏色變換。

不同于人臉有著相似的幾何形狀，在場景重光照方向，針對一般的場景，如山峰、城市、草原等，雖然它們可能有相同的語義標簽，但是仍具有各種各樣的幾何形狀和材質?，F在的針對人臉輪廓檢測的人臉校準算法并不能直接應用于一般的戶外場景。另外，類似皮膚的反射率的假設也不再適合于一般戶外場景。因此，提出一種適用于戶外場景的重光照方法是非常必要的。之前的發明中在分解材質和環境光顏色時效果不佳。

發明內容

本發明要解決的技術問題為：克服現有技術的不足，提供一種基于匹配變形和大尺度分解的戶外場景重光照方法，該方法能夠有效的減少參考圖像的數量，降低發明成本，而且將像素級匹配提升至塊級別匹配，大大節約運行時間，提高運行效率。

本發明采用的技術方案為：一種基于大尺度分解的戶外場景重光照方法，實現步驟如下：

(1)對輸入圖像進行處理生成輸入圖像的蒙板圖像，并對蒙板圖像進行處理；

(2)用Patch_match方法對參考圖像進行匹配變形；

(3)輸入圖像和參考圖像的大尺度分解，即對輸入圖像和匹配變形后的參考圖像進行大尺度分解，對兩幅圖像的大尺度層根據給出的自適應參數選擇機制，利用加權最小二乘濾波和導引濾波等方法使得兩幅圖像的濾波結果的大尺度層在結構上對齊；

(4)將輸入圖像和變形后參考圖像融合后的大尺度層與輸入圖像的細節層和顏色層進一步渲染、融合，最終實現戶外場景的重光照。

其中，步驟(1)所述蒙版圖像處理采取以下步驟：

(11)將普通的戶外場景材質按照白云、天空、建筑、樹木、草地、水面、地面、光源、其他等9類進行劃分，并選用相應的顏色對輸入圖像進行標注；