[發明專利]多目圖像重聚焦的深度獲取方法及系統

有效

• 申請號: 201710662079.8
• 申請日: 2017-08-04
• 公開（公告）號: CN107610170B
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 裴仁靜;耿征;張梅
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T7/557
• 分類號: G06T7/557;G06T7/80
• 代理公司: 北京瀚仁知識產權代理事務所(普通合伙) 11482
• 代理人: 郭文浩;王世超

1.一種多目圖像重聚焦的深度獲取方法，其特征在于，所述深度獲取方法包括：

標定多個相機的光心位置；

根據各相機采集的圖像平面及對應的光心位置，恢復出場景光場，并通過一個虛擬平面記錄空間中光線的分布情況；

將各相機所在位置虛擬成合成孔徑，使得通過所述虛擬平面的光線在所述合成孔徑的像平面內成像；

移動所述合成孔徑的像平面，獲得對應焦距下的重聚焦圖像；

對所述重聚焦圖像進行提取，獲得三維場景中各點的深度；

其中，所述對所述重聚焦圖像進行提取，具體包括：

根據所述重聚焦圖像獲得各點最聚焦的重聚焦圖像的焦距；

將各焦距根據合成孔徑的特性反投影至真實三維物體上，得到三維場景中各點的深度；

其中，根據以下公式，確定所述重聚焦圖像的代價函數C_RF：

其中，rp代表了接受平面的位置，N是接受平面上一個像素點接受到的光線的個數，l_i代表了N條光線中的第i根光線的顏色值；最小的C_RF表示該點最匯聚的接受平面；

其中，根據以下公式，確定所述三維場景中各點的深度d_p：

其中，p表示所述三維場景中點。

2.根據權利要求1所述的多目圖像重聚焦的深度獲取方法，其特征在于，所述標定多相機的光心位置，具體包括采用matlab或opencv多相機標定的方法獲取光心位置。

3.根據權利要求1所述的多目圖像重聚焦的深度獲取方法，其特征在于，所述光線的分布情況包括光線的位置、方向及顏色。

4.根據權利要求1所述的多目圖像重聚焦的深度獲取方法，其特征在于，所述通過所述虛擬平面的光線在所述合成孔徑的像平面內成像，具體包括：

通過以下公式，確定在所述像平面內的成像：

I(x，y)＝∫∫l(x，y，u，v)G(θ)dudv；

其中，l(x,y,u,v)表示4D光場中的光線，(x，y)和(u，v)分別表示光線的位置坐標和角坐標，I(x，y)表示圖像，G(θ)表示方向的權重，θ是光線與圖像所在平面法向量的夾角；

根據以下公式計算各相機由不同角度的光線集合形成的圖像：

其中，u_i，h，u_i，l，v_i，h和v_i，l分別表示第i^th個相機的采集角度。

5.根據權利要求1-4中任一項所述的多目圖像重聚焦的深度獲取方法，其特征在于，所述相機的個數為7個。

6.一種多目圖像重聚焦的深度獲取系統，其特征在于，所述深度獲取系統包括：

標定單元，用于標定多個相機的光心位置；

恢復單元，用于根據各相機采集的圖像平面及對應的光心位置，恢復出場景光場，并通過一個虛擬平面記錄空間中光線的分布情況；

虛擬合成單元，用于將各相機所在位置虛擬成合成孔徑，通過所述虛擬平面的光線在所述合成孔徑的像平面內成像；

移動單元，用于移動所述合成孔徑的像平面，獲得對應焦距下的重聚焦圖像；

提取單元，用于對所述重聚焦圖像進行提取，獲得三維場景中各點的深度；

其中，所述對所述重聚焦圖像進行提取，具體包括：

根據所述重聚焦圖像獲得各點最聚焦的重聚焦圖像的焦距；

將各焦距根據合成孔徑的特性反投影至真實三維物體上，得到三維場景中各點的深度；

其中，根據以下公式，確定所述重聚焦圖像的代價函數C_RF：

其中，rp代表了接受平面的位置，N是接受平面上一個像素點接受到的光線的個數，l_i代表了N條光線中的第i根光線的顏色值；最小的C_RF表示該點最匯聚的接受平面；

其中，根據以下公式，確定所述三維場景中各點的深度d_p：

其中，p表示所述三維場景中點。

7.根據權利要求6所述的多目圖像重聚焦的深度獲取系統，其特征在于，所述標定多相機的光心位置，具體包括采用matlab或opencv多相機標定的方法獲取光心位置。