[發(fā)明專利]一種基于可變高度旋轉(zhuǎn)平行四邊形的光場深度估計方法

有效

• 申請?zhí)枺?/td>: 201910463742.0
• 申請日: 2019-05-30
• 公開（公告）號: CN110197506B
• 公開（公告）日: 2023-02-17
• 發(fā)明（設(shè)計）人: 樸永日;張淼;寧琪琦
• 申請（專利權(quán)）人: 大連理工大學
• 主分類號: G06T7/557
• 分類號: G06T7/557;G06T7/90
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 趙淑梅;李洪福

1.一種基于可變高度旋轉(zhuǎn)平行四邊形的光場深度估計方法，其特征在于：包括以下步驟：

A、輸入四維光場數(shù)據(jù)生成水平對極平面圖像和垂直對極平面圖像：

從輸入的四維光場數(shù)據(jù)中的四維光場圖像陣列中抽離多個中心水平視角圖像和多個中心垂直視角圖像，將多個所述水平視角圖像中行號相同的像素按視角順序組合得到所述水平對極平面圖像，將多個所述垂直視角圖像中列號相同的像素按視角順序組合得到所述垂直對極平面圖像；且將所述四維光場圖像陣列中最中心的一個圖像作為中心視圖；

B、運用可變高度的旋轉(zhuǎn)平行四邊形運算符HSPO分別對所述水平對極平面圖像和所述垂直對極平面圖像進行數(shù)據(jù)計算，并得到所述水平對極平面圖像所有深度的距離度量和所述垂直對極平面圖像所有深度的距離度量；

C、所述水平對極平面圖像所有深度的距離度量和所述垂直對極平面圖像所有深度的距離度量進行置信、加權(quán)得到最終距離度量；

D、所有所述最終距離度量組成距離度量體積，將所述中心視圖作為引導圖，并運用引導濾波按照深度對所述距離度量體積進行濾波，得到多個不同深度所對應(yīng)的濾波后的距離度量，多個所述濾波后的距離度量組成濾波后的距離度量體積；

E、根據(jù)所述濾波后的距離度量體積，求取中心視圖內(nèi)每一空間點的最大距離度量所對應(yīng)的深度，并將其作為該點的局部深度，得到一幅初始深度圖；

F、根據(jù)馬爾科夫隨機場構(gòu)建能量函數(shù)，并通過最小化所述能量函數(shù)對所述初始深度圖進行平滑和去除噪聲后得到一幅平滑深度圖；

G、對所述平滑深度圖運用軟摳圖soft matting算法進一步強化邊緣細節(jié)，得到一幅最終深度圖；

在所述步驟B中，所述可變高度的旋轉(zhuǎn)平行四邊形運算符HSPO包括平行四邊形的寬度和平行四邊形的高度，根據(jù)所述可變高度的旋轉(zhuǎn)平行四邊形運算符HSPO得到所述水平對極平面圖像所有深度的距離度量和所述垂直對極平面圖像所有深度的距離度量，包括如下步驟：

B1、確定所述平行四邊形的寬度：

所述平行四邊形的寬度通過建立權(quán)重函數(shù)來確定，對于水平對極平面圖像上的一點P(x_r,s_r)，通過下式對平行四邊形的相應(yīng)像素進行加權(quán)：

其中，w_θ(i,j)代表像素(i，j)的權(quán)重；i表示像素(i，j)所在的列，j表示像素(i、j)所在的行，C為歸一化參數(shù)，θ為所述平行四邊形的取向角度，為所述平行四邊形的中心線與X軸的夾角，dis_θ(i,j)是所述像素(i，j)與所述中心線的水平距離，dis_θ(i,j)＝i-(x_r+(j-s_r)·cotθ)；所述α是由數(shù)據(jù)的復雜性決定的尺度參數(shù)，對于所述水平對極平面圖像所對應(yīng)的平行四邊形的寬度為6α；

對于垂直對極平面圖像上的一點P(y_r,t_r)，通過下式對定義窗口中的相應(yīng)像素進行加權(quán)：

其中，w_θ(i,j)代表像素(i，j)的權(quán)重；i表示像素(i，j)所在的行，j表示像素(i，j)所在的列，C為歸一化參數(shù)，θ為所述平行四邊形的取向角度，為所述中心線與Y軸的夾角，dis_θ(i,j)是像素(i，j)與所述中心線的垂直距離，dis_θ(i,j)＝i-(y_r+(j-t_r)·cotθ)；所述α是由數(shù)據(jù)的復雜性決定的尺度參數(shù)，對于所述垂直對極平面圖像所對應(yīng)的平行四邊形的寬度為6α；

B2、確定所述平行四邊形的高度：

取向角度為θ的所述平行四邊形的高度通過比較中心線上每一像素與參考點之間的顏色相似度決定；

對于水平對極平面圖像當時，m_θ(j)＝1，保留點所在的行；當時，m_θ(j)＝0，排除點所在的行；進而確定所述平行四邊形在所述水平對極平面圖像的高度；其中，P(x_r,s_r)是參考點，是平行四邊形中心線上的一點，i表示這一點所在的列，j表示這一點所在的行，τ為設(shè)定的閾值；進而確定所述平行四邊形在所述水平對極平面圖像的高度；

對于垂直對極平面圖像當時，m_θ(j)＝1，保留點所在的列；當時，m_θ(j)＝0，排除點所在的列：其中，P(y_r,t_r)是參考點，是平行四邊形中心線上的一點，i表示這一點所在的行，j表示這一點所在的列，τ為設(shè)定的閾值；進而確定所述平行四邊形在所述垂直對極平面圖像的高度；

B3、得到水平對極平面圖像中各點的所有深度的距離度量和所述垂直對極平面圖像中各點所有深度的距離度量：

所述距離度量為所述中心線兩側(cè)區(qū)域的顏色直方圖差異和中心線顏色相似性線索的乘積；

不同深度對應(yīng)不同取向的HSPO，水平對極平面圖像中點P(x_r,s_r)在θ角取向下HSPO的距離度量為：

公式(3)中，表示所述顏色直方圖差異，述步驟B2后保留在所述平行四邊形中心線兩側(cè)區(qū)域的像素分布的差異距離；S_θ(x_r,s_r)表示所述中心線顏色相似性線索，其用于衡量經(jīng)所述步驟B2后保留的取向角度為θ的所述平行四邊形中心線上每一點與所述參考點P(x_r,s_r)之間的顏色相似性；

公式(4)中，bin代表將所述顏色直方圖中0～1的像素值分成等距離的bin份；p為所述顏色直方圖中每份像素值；h_θ和g_θ分別是所述平行四邊形中由所述中心線分離的兩個區(qū)域的顏色直方圖；

公式(5)中，是經(jīng)所述步驟B2后保留在所述平行四邊形中心線上的點；

不同深度對應(yīng)不同取向的HSPO，垂直對極平面圖像在θ角取向下的HSPO的距離度量為：

公式(6)中，表示所述顏色直方圖差異，其用于度量經(jīng)所述步驟B2后保留在所述平行四邊形中心線兩側(cè)區(qū)域的像素分布的差異距離；S_θ(y_r,t_r)表示所述中心線顏色相似性線索，其用于衡量經(jīng)所述步驟B2后保留的取向角度為θ的所述平行四邊形中心線上每一點與所述參考點P(y_r,t_r)之間的顏色相似性；

公式(7)中，bin代表將所述顏色直方圖中0～1的像素值分成等距離的bin份；p為所述顏色直方圖中每份像素值；h_θ和g_θ分別是所述平行四邊形中由所述中心線分離的兩個區(qū)域的顏色直方圖；

公式(8)中，是經(jīng)所述步驟B2后保留在所述平行四邊形中心線上的點。