[發明專利]多目圖像重聚焦的深度獲取方法及系統

有效

• 申請號: 201710662079.8
• 申請日: 2017-08-04
• 公開（公告）號: CN107610170B
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 裴仁靜;耿征;張梅
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T7/557
• 分類號: G06T7/557;G06T7/80
• 代理公司: 北京瀚仁知識產權代理事務所(普通合伙) 11482
• 代理人: 郭文浩;王世超

本發明涉及一種多目圖像重聚焦的深度獲取方法及系統，所述深度獲取方法包括：標定多個相機的光心位置；根據各相機采集的圖像平面及對應的光心位置，恢復出場景光場，并通過一個虛擬平面記錄空間中光線的分布情況；將各相機所在位置虛擬成合成孔徑，使得通過虛擬平面的光線在所述合成孔徑的像平面內成像；移動合成孔徑的像平面，獲得對應焦距下的重聚焦圖像；對所述重聚焦圖像進行提取，獲得三維場景中各點的深度。本發明根據各相機采集的圖像平面及光心位置，恢復出場景光場，將各相機所在位置虛擬成合成孔徑，移動合成孔徑的像平面，實現多目圖像重聚焦，對重聚焦圖像進行提取，可減小在高重復紋理區域估計的誤差，提高高重復紋理區域魯棒性。

技術領域

本發明涉及計算機圖像處理技術領域，特別涉及一種多目圖像重聚焦的深度獲取方法及系統。

背景技術

在計算機視覺系統中，三維場景信息為圖像分割、目標檢測、物體跟蹤等各類計算機視覺應用提供了更多的可能性，而深度圖像(Depthmap)作為一種普遍的三維場景信息表達方式得到了廣泛的應用。

深度圖像的每個像素點的灰度值可用于表征場景中某一點距離攝像機的遠近。獲取深度圖像的方法可以分為兩類：主動深度傳感和基于圖像的方法獲取。

例如，3DV系統公司開發的Zcam深度相機，利用紅外脈沖光源向場景發射信號，然后用紅外傳感器來檢測場景中物體反射回來的紅外光，從而確定場景中物體的每一點到攝像機的距離。由于此類主動深度傳感系統設備的價格昂貴，不適合推廣。

另一類方法是基于傳統的計算機立體視覺方法，利用在多個不同的視點獲得的同一景物的多個視點圖像進行立體匹配來恢復出場景物體的深度信息，是目前深度獲取方法中最為常用此類方法，一般包含兩個步驟：

(1)對圖像對進行立體匹配，得到對應點的視差圖像；

(2)結合多相機的內外參數，根據對應點的視差與深度的關系計算出深度。

但由于在圖像立體匹配和深度計算過程中，由于匹配點的選取一般是根據顏色差異來做判斷，這個往往會導致深度估計在紋理重復區域表現出不準確。目前基于區域(窗口)的立體匹配算法，雖然能夠恢復出部分高重復紋理區域的視差，但仍存在以下問題：

(1)在區域(或窗口)的大小選取上敏感度高；

(2)對于特殊圖像處理(如，大面積紋理重復區域)表現出算法的劣勢，在高重復紋理區域魯棒性低。

發明內容

為了解決現有技術中的上述問題，即為了解決高重復紋理區域魯棒性低的問題，本發明提供了一種多目圖像重聚焦的深度獲取方法及系統。

為解決上述技術問題，本發明提供了如下方案：

一種多目圖像重聚焦的深度獲取方法，所述深度獲取方法包括：

標定多個相機的光心位置；

根據各相機采集的圖像平面及對應的光心位置，恢復出場景光場，并通過一個虛擬平面記錄空間中光線的分布情況；

將各相機所在位置虛擬成合成孔徑，使得通過所述虛擬平面的光線在所述合成孔徑的像平面內成像；

移動所述合成孔徑的像平面，獲得對應焦距下的重聚焦圖像；

對所述重聚焦圖像進行提取，獲得三維場景中各點的深度。

可選的，所述標定多相機的光心位置，具體包括采用matlab或opencv多相機標定的方法獲取光心位置。

可選的，所述光線的分布情況包括光線的位置、方向及顏色。

可選的，所述通過所述虛擬平面的光線在所述合成孔徑的像平面內成像，具體包括：

通過以下公式，確定在所述像平面內的成像：