[發明專利]一種基于極面圖像顏色差異的光場相機深度估測系統及方法

有效

• 申請號: 202010630031.0
• 申請日: 2020-07-03
• 公開（公告）號: CN111862184B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 盛浩;崔正龍;楊達;王思哲;周建偉
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T7/557
• 分類號: G06T7/557;G06T7/90
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;顧煒

1.一種基于極面圖像顏色差異的光場相機深度估測系統，其特征在于，所述系統包括極面圖像提取模塊、顏色差異計算模塊、顏色差異整體性優化模塊與深度估測可視化輸出模塊；

所述極面圖像提取模塊，負責完成從拍攝得到的原始光場圖像中提取出水平方向極面圖像與垂直方向極面圖像的功能；獲取原始光場圖像ImageLF及原始光場圖像的參數信息P_ImageLF，根據P_ImageLF設置極面圖像的提取參數P_Epi，依據P_Epi分別提取水平方向極面圖像Epi_h與垂直方向極面圖像Epi_v，并作為輸入傳遞給所述顏色差異計算模塊；

所述顏色差異計算模塊，負責完成對所述極面圖像提取模塊所傳遞的水平方向極面圖像與垂直方向極面圖像上代表不同深度標簽的直線計算直線兩側顏色差異的功能；設定深度標簽個數NumD，構建深度標簽與視差值的對應函數，對每個深度標簽θ，構建深度標簽θ下的直線兩側顏色差異值卷積核Filter_θ，利用構建完成的深度標簽θ下的直線兩側顏色差異值卷積核Filter_θ在水平方向極面圖像Epi_h與垂直方向極面圖像Epi_v上的各個顏色通道上分別進行卷積操作并求和，依次得到深度標簽θ下各個像素點的水平方向直線兩側顏色差異結果Diff_h_θ(i，j)與垂直方向直線兩側顏色差異結果Diff_v_θ(i，j)，并作為輸入傳遞給差異值整體性優化模塊；

所述顏色差異整體性優化模塊，負責完成對所述顏色差異計算模塊得到的不同深度標簽下各個像素點的水平方向直線兩側顏色差異結果與垂直方向直線兩側顏色差異結果進行整體性優化的功能；分別計算水平方向極面圖像Epi_h上各個像素點的水平方向可信度DiffCov_h與垂直方向極面圖像Epi_v上各個像素點的垂直方向可信度DiffCov_v，對Diff_h_θ(i，j)與Diff_v_θ(i，j)進行加權求和整合優化，得到深度標簽θ下各個像素點的優化后的直線兩側顏色差異結果DiffOpt_θ(i，j)，并作為輸入傳遞給深度估測可視化輸出模塊；

所述深度估測可視化輸出模塊，負責完成將所述顏色差異整體性優化模塊傳遞的不同深度標簽下各個像素點的優化后的直線兩側顏色差異結果可視化輸出的功能；針對每個像素點p(i，j)，求出不同深度標簽θ下DiffOpt_θ(i，j)的最大值對應的深度標簽作為深度估測標簽Depth(i，j)，根據深度估測標簽Depth和深度標簽與視差值的對應函數，將深度估測標簽Depth投影為不同亮度值Color(i，j)的黑白像素點，表示為深度估測標簽分布的單通道二值圖像可視化輸出；

所述顏色差異整體性優化模塊，負責完成對所述顏色差異計算模塊得到的不同深度標簽下各個像素點的水平方向直線兩側顏色差異結果與垂直方向直線兩側顏色差異結果進行整體性優化的功能的具體實現包括：

1)計算水平方向直線兩側顏色差異結果可信度：針對水平方向極面圖像Epi_h各個像素點p(i，j)在不同深度標簽θ下的水平方向直線兩側顏色差異結果Diff_h_θ(i，j)，提取中心視角對應的水平方向直線兩側顏色差異結果Diff_h_θ(i，j)，計算各個像素點p(i，j)在不同深度標簽θ下的水平方向直線兩側顏色差異結果的均值DiffAvg_h(i，j)和最大值DiffMax_h(i，j)，進而計算像素點(i，j)的水平方向直線兩側顏色差異結果可信度：

DiffCov_h(i，j)＝DiffAvg-h(i，j)/DiffMax_h(i，j)；

2)計算垂直方向直線兩側顏色差異結果可信度：針對垂直方向極面圖像Epi_h各個像素點p(i，j)在不同深度標簽θ下的垂直方向直線兩側顏色差異結果Diff_v_θ(i，j)，提取中心視角對應的垂直方向直線兩側顏色差異結果Diff_v_θ(i，j)，計算各個像素點p(i，j)在不同深度標簽θ下的垂直方向直線兩側顏色差異結果的均值DiffAvg_v(i，j)和最大值DiffMax_v(i，j)，進而計算像素點p(i，j)的垂直方向直線兩側顏色差異結果可信度：

DiffCov_v(i，j)＝DiffAvg_v(i，j)/DiffMax_v(i，j)；

3)計算整體性優化直線兩側顏色差異結果：對不同深度標簽θ下的各個像素點p(i，j)，根據水平方向直線兩側顏色差異結果可信度DiffCov_h(i，j)與垂直方向直線兩側顏色差異結果可信度DiffCov_v(i，j)，對水平方向直線兩側顏色差異結果Diff_h_θ(i，j)與垂直方向直線兩側顏色差異結果Diff_v_θ(i，j)進行加權求和整合優化，得到優化后的直線兩側顏色差異結果：