[發明專利]一種基于單目攝像機的光照估計方法

有效

• 申請號: 201811197312.0
• 申請日: 2018-10-15
• 公開（公告）號: CN109523617B
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 紀慶革;林輝;鐘圳偉
• 申請（專利權）人: 中山大學
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T7/593;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 林梅繁

本發明涉及計算機圖形學，為基于單目攝像機的光照估計方法，包括以下步驟：單目攝像機采集RGB圖像，作為深度估計的輸入；構建用于單目攝像機深度估計的卷積神經網絡并進行訓練；將RGB圖像輸入到訓練好的卷積神經網絡進行深度估計，得到深度預測值，輸出深度預測圖；將深度預測值進行上采樣，使深度預測圖的尺寸與RGB圖像相匹配，將上采樣后的深度預測值作為光照估計的輸入；將RGB圖像轉換到CIELab顏色空間下，其中的亮度通道信息作為光照估計的輸入；利用亮度通道信息、深度預測值進行光照估計，將得到真實場景各方向光源信息的球諧函數系數。該方法通過單目攝像機獲取真實場景中各方向光源信息，有效提高AR技術中渲染虛擬物體的逼真效果。

技術領域

本發明涉及計算機圖形學、人工智能領域，具體涉及一種基于單目攝像機的光照估計方法。

背景技術

現有用于光照估計的技術，主要有兩大類。一類是借助魚眼相機、深度相機等外部硬件設備來獲取額外的場景信息，從而估計真實場景的光照條件。這類光照估計技術需要借助外部硬件設備，無疑會增加光照估計的成本，而且手機等移動設備需要考慮便攜性，幾乎不可能配置這些硬件設備。另一類是在場景中放置一些已知反射特性的規則物體并對其拍攝，根據圖像中規則物體的光照效果估計出光照信息；這些規則物體稱為光照探針。這類采用光照探針的估計方法，需要放置規則幾何體到鏡頭中，那么拍攝出來的圖像必定會包含這些幾何體，這種方法會破壞真實場景的原始圖像信息，故稱為侵入式。

增強現實(Augmented Reality，簡稱AR)技術如今廣泛應用于手機等移動設備中，AR技術需要我們將虛擬物體無縫嵌入(繪制)到真實場景中，要繪制出逼真的效果就需要給虛擬物體渲染恰當的光照效果。當前主流的增強現實技術只實現了對給定攝像頭圖像中環境光強度的粗略估計(如Google公司的ARCore平臺)，無法估計真實環境中的各個方向上的光源信息。也有部分研究可以估計真實環境中各個方向上的光源信息，但是必須借助外部硬件設備或者侵入到鏡頭中的光照探針來捕捉光照信息。然而現有光照估計技術局限于額外的硬件設備或者侵入式的光探針，不適用于僅有單目攝像機的移動設備中。

發明內容

為解決現有技術所存在的技術問題，本發明提供一種基于單目攝像機的光照估計方法，采用基于人工智能的單目攝像機深度估計技術，利用估計到的深度信息，結合圖像中的亮度等信息求解光照信息，最后在虛擬物體上重現出這些光照信息；該方法通過單目攝像機獲取真實場景中各個方向的光源信息，能有效提高AR技術中渲染虛擬物體的逼真效果。

本發明采用以下技術方案來實現：一種基于單目攝像機的光照估計方法，包括以下步驟：

第一步、單目攝像機采集RGB圖像，作為深度估計的輸入；

第二步、構建用于單目攝像機深度估計的卷積神經網絡，對卷積神經網絡進行訓練；將RGB圖像輸入到訓練好的卷積神經網絡進行深度估計，得到深度預測值，輸出深度預測圖；

第三步、將深度預測值進行上采樣，使得深度預測圖的尺寸與RGB圖像相匹配，將上采樣后的深度預測值作為光照估計的輸入；

第四步、將單目攝像機采集的RGB圖像轉換到CIELab顏色空間下，其中的亮度通道信息作為光照估計的輸入；利用CIELab顏色空間下的亮度通道信息、深度估計到的深度預測值進行光照估計，將得到真實場景各方向光源信息的球諧函數系數。

本發明與現有技術相比，具有如下優點和有益效果：

1、現有技術依賴于深度攝像機獲取的深度信息；本發明不需要深度攝像機，只使用單目攝像機，利用預訓練好的卷積神經網絡直接從RGB圖像中實時估計深度等信息，對預測深度圖進行尺寸調整等操作后，結合基于球諧函數的光照估計方法，估計出真實場景各個方向上的光照信息，擺脫了深度攝像機和光照探針的限制。

由于只需要單目攝像機即可獲取真實場景的光照信息，因此本發明方便部署于只有單目攝像機的移動設備上。