[發明專利]一種基于4D光場的深度估計方法

有效

• 申請號: 201510324490.5
• 申請日: 2015-06-12
• 公開（公告）號: CN104966289B
• 公開（公告）日: 2017-12-26
• 發明（設計）人: 王立春;樊東靈;孔德慧;尹寶才
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/557
• 分類號: G06T7/557
• 代理公司: 北京中北知識產權代理有限公司11253
• 代理人: 馮夢洪

技術領域

本發明屬于多媒體技術與計算機圖形學的技術領域，具體地涉及一種基于4D光場的深度估計方法。

背景技術

光場的概念最早出現在計算機圖形學中，Gershun在其經典文章“三維空間光的無線電特性”里正式使用“光場”這個術語，用以描述光在三維空間中的輻射傳輸特性。E.Adelson和J.Bergen根據人眼對外部光線的視覺感知，在1991年提出用七維函數來表征空間分布的幾何光線，稱為全光函數。全光函數P(x，y，z，θ，ψ，λ，t)中七個變量的含義分別是：(x，y，z)為場景中任一物理點的三維坐標，(θ，ψ)為光線的傳輸方向，λ是光線的波長，t為時間。如果只考慮光線在空間中的自由傳輸，它的顏色(波長)一般不會發生改變，美國北卡羅來納大學的麥克米蘭(McMillan)不考慮全光函數的波長和時間維，將七維全光函數降到五維函數I(x，y，z，θ，ψ)來描述。隨后，Levoy和Hanraham等人忽略光線在傳輸過程中的衰減將五維的全光函數(光場)降至四維，提出了四維光場的概念。

Leovy等人給出的4D光場L(u，v，s，t)其實就是自由空間中任意點沿著一定方向的光線的輻射度值，該空間所有的有向光線的集合就構成了光場的一個數據集。4D光場的參數化有2SP參數法、PDP參數法和2PP參數法。

普通相機所拍攝的二維圖像是4D光場的一個二維切片，它記錄了投影到當前像素位置的物理點所發射光線的強度及方向信息，因此物理點的位置信息可以基于4D光場估計得到。

已有的基于光場估計深度信息的方法通常將深度分為多個等級，對每個像素點估計能量優化函數值，與最小能量值對應的深度等級作為估計像素的深度值，這種方法求得的深度值是預先設定的等級數值之一，因此會造成深度過平滑問題。

發明內容

本發明的技術解決問題是：克服現有技術的不足，提供一種基于4D光場的深度估計方法，其能夠解決初始深度值的可靠性問題、深度過平滑問題、深度值融合問題。

本發明的技術解決方案是：這種基于4D光場的深度估計方法，包括以下步驟：

(1)初始深度估計：通過公式(3)、(4)計算得到視差的初值d₀：

d₀＝J_xx-J_yy(3)

其中G_σ是尺度為σ的高斯平滑算子，I_x、I_y為是尺度為ρ的梯度算子；

(2)檢測可計算像素：

邊緣置信系數C_e通過公式(5)獲得：

C_e(x，y，s，t)＝∑_{(x′，y′，s，t)∈W(x，y，s，t)}||L(x，y，s，t)-L(x′，y′，s，t)||²(5)

其中W(x，y，s，t)表示(s，t)視點下獲得圖像的某個像素點在該圖像上的9×9鄰域窗口，L(x，y，s，t)表示該像素點對應的光線輻射值，由C_e值對該像素點計算得到一個二值模板M_e，C_e值大于閾值0.04時模板M_e對應位置取值1，否則取值0，其中值為1表示對應置信像素能夠進行深度估計運算；

(3)深度值計算：選取視點下獲得圖像的置信點進行深度計算

光線顏色值采樣集合定義為公式(6)

其中為視點坐標，n、m分別對應水平和垂直方向視點的個數，表示在視點下像素點對應的光線輻射值，為公式(7)的深度打分函數

其中核函數K(W)為公式(8)

其中的計算根據公式(9)，核函數帶寬為0.02是利用mean-shift算法迭代計算得到的

針對視點下的圖像上每個可信像素，將該像素所在水平方向EPI面上9×9鄰域窗口和垂直方向EPI面上9×9鄰域窗口所有置信像素的視差上下限作為視差區間，對區間內按步長為0.01的每個視差d都計算相應打分函數值，其中根據公式(10)使得打分函數值最高的d值作為該像素的深度估計值：

對每個可信像素計算其與鄰域中其它可信像素的顏色值差，將顏色差值小于指定閾值ε的可信像素深度值排序，根據公式(11)取該序列的中值作為深度估計值：

(4)深度值傳播：