[發明專利]一種基于光場EPI圖像的深度估計方法

有效

• 申請號: 202010107015.3
• 申請日: 2020-02-21
• 公開（公告）號: CN111260707B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 張駿;李坤袁;鄭陽;蔡洪艷;張旭東;孫銳;高雋
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06T7/50
• 分類號: G06T7/50
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于光場EPI圖像的深度估計方法，其步驟包括：1、對光場數據進行重聚焦，獲取不同聚焦參數下的光場數據；2、從重聚焦后的光場數據中提取水平和垂直視角的子孔徑圖像；3、從子孔徑圖像中提取水平和垂直方向的光場EPI圖像；4、搭建基于光場EPI圖像關聯推理的雙支路深度估計模型，用所提取的水平和垂直方向EPI圖像進行訓練；5、利用訓練好的深度估計模型對待處理的光場數據進行深度估計。本發明能充分利用EPI圖像中心像素與鄰域的關聯性，并能利用光場重聚焦原理實現數據增強，從而能有效提高光場EPI圖像深度估計的準確性。

技術領域

本發明屬于計算機視覺、圖像處理和分析領域，具體的說是一種基于光場EPI圖像的深度估計方法。

背景技術

深度估計在立體匹配、三維重建等計算機視覺領域應用廣泛，立體視覺技術和三維重建技術往往都需要獲取場景的三維信息，因此需要用到深度估計技術去獲取場景中物體的深度信息，即空間中某一點到相機平面的距離。通過獲取場景中物體的深度信息，可以恢復三維場景。通過傳統二維圖像的紋理、形狀等信息可以恢復場景的深度信息，但單張的二維圖像只包含場景的空間位置信息，會導致深度估計精度偏低。

光場相機經過單次曝光可以獲取場景的空間和多視角信息，并且可以實現不同深度處場景的重聚焦。通過對單個場景進行多視角密集采樣，光場成像使得高精度深度信息的挖掘成為可能。因此，利用光場相機獲取的光場數據進行深度估計比傳統二維平面圖像具有更廣泛的應用前景。

光場深度信息提取方法主要通過計算視差來實現。視差的計算主要分為兩種方法，一種是對不同視點的圖像進行像素匹配，和傳統的雙目匹配類似；另一類方法主要通過極線圖(Epipolar Image，EPI)的結構信息來預測視差。

基于像素匹配的光場深度估計方法，一般利用多視角圖像進行立體匹配，通過中心視角圖像與相鄰視角的差異，構建不同的損失函數，獲取匹配量；還可以對聚焦在不同深度處的微透鏡圖像的像素一致性構建成本量，進而估計深度。

基于EPI圖像深度估計方法主要包括直接提取EPI斜率信息的方法和深度學習的方法。傳統的直接提取EPI圖像斜率信息的方法如計算光場數據結構張量以及基于稀疏分解等方法，對EPI圖像進行處理，獲取EPI斜線斜率?；谏疃葘W習的方法一般提取以待估計的像素點為中心的EPI圖像作為輸入，利用卷積神經網絡進行特征提取，估計中心像素點的視差值。

雖然在計算機視覺領域中，已經出現了一些性能出色的深度估計方法，但這些方法依然存在著不足之處：

1、傳統的基于像素匹配的深度估計方法一般要利用光場數據的全部視角圖像，需要的計算量較大，實現方式較為復雜，并且對于一些特定區域需要進行后續優化。

2、根據光場EPI圖像斜率和視差之間關系，直接提取EPI圖像斜率的方法，算法復雜度較高、運算時間較長，估計精度不高，并且對于不同場景需要進行后續調參。

3、基于深度學習的光場EPI圖像深度估計方法需要較多的數據集進行訓練，而現有的數據集較少，并且二維EPI圖像只包含某一方向的空間信息，對不同方向的二維EPI圖像進行處理時，結果常會出現條紋效應，影響估計精度。同時，現有的方法未能充分利用EPI圖像中心像素點斜線斜率同相鄰區域之間的關聯性，導致預測精度不高。

發明內容

本發明是為了解決上述現有技術存在的不足之處，提出一種基于光場EPI圖像的深度估計方法，以期能充分利用EPI圖像中心像素與鄰域的關聯性，并能利用光場重聚焦原理實現數據增強，從而能有效提高光場EPI圖像深度估計的準確性。

本發明為達到上述發明目的，采用如下技術方案：

本發明一種基于光場EPI圖像的深度估計方法的特點是按如下步驟進行：

步驟1、對光場數據進行重聚焦，獲取重聚焦后的光場數據；