[發明專利]多視點圖像的深度估計方法和深度估計設備

有效

• 申請號: 201710413057.8
• 申請日: 2017-06-05
• 公開（公告）號: CN108986155B
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 田虎;李斐
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06T7/50
• 分類號: G06T7/50
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 康建峰;吳瓊

1.一種多視點圖像的深度估計方法，包括：

向同一場景的多個圖像中的每個圖像中的每個像素分配用于表征該像素深度的一個深度參數和用于表征該像素切平面法向的兩個法向參數；

將所述多個圖像中的每個圖像作為當前圖像執行如下處理：

a)選擇衡量成像一致性的代價函數值滿足第一條件的像素作為種子像素；

b)更新種子像素周圍的滿足第二條件的周圍像素的深度參數和法向參數；

c)在周圍像素的被更新的深度參數和法向參數所處的預定取值范圍內，進行預定次數的隨機搜索，以得到周圍像素的深度參數和法向參數的局部最優值；

d)將代價函數值滿足第一條件的周圍像素增加為種子像素；

e)重復上述b)、c)、d)步驟，直至沒有滿足第一條件的周圍像素；

f)為當前圖像中的每個像素隨機生成一個深度參數和兩個法向參數，并且在滿足第三條件的情況下，將該像素的當前深度參數和法向參數用隨機生成的深度參數和法向參數代替；

g)重復上述步驟a)-f)，直至滿足第四條件；

h)將當前圖像中每個像素的深度參數決定的深度值確定為該像素的深度值。

2.如權利要求1所述的方法，其中，當前圖像的當前像素的代價函數值為與以當前像素為中心的預定窗口內的多個第一像素對應的、當前圖像的每一個相鄰圖像中的多個第二像素與所述多個第一像素之間的特征差異的平均值，其中所述多個第二像素根據與當前圖像對應的相機的內參和 外參、與相鄰圖像對應的相機的內參和 外參、當前像素的深度參數和 法向參數確定。

3.如權利要求1所述的方法，其中，所述第二條件包括：周圍像素在具有種子像素的深度參數和法向參數時對應的代價函數值小于周圍像素在具有當前深度參數和法向參數時對應的代價函數值。

4.如權利要求1所述的方法，其中，所述第三條件包括：該像素在具有隨機分配的深度參數和法向參數時對應的代價函數值小于該像素在具有當前深度參數和法向參數時對應的代價函數值。

5.如權利要求1所述的方法，其中，所述第四條件包括：迭代達到預定次數、或本次迭代中步驟a)中的種子像素與上次迭代中步驟a)中的種子像素的數目差別小于數目閾值。

6.如權利要求1所述的方法，還包括：去除多個圖像中的每個像素的不滿足第一條件的深度參數。

7.如權利要求1所述的方法，還包括：

將所述多個圖像中的每個圖像作為當前圖像執行如下處理：

基于與當前圖像對應的相機的內參和 外參、與當前圖像的相鄰圖像對應的相機的內參和 外參、當前圖像中的每個像素的深度參數，將當前圖像中的每個像素投影到相鄰圖像中的投影點；

在滿足第五條件的情況下，用當前圖像中的該像素的深度參數和法向參數更新投影點的深度參數和法向參數。

8.如權利要求1所述的方法，還包括：

將所述多個圖像中的每個圖像作為當前圖像執行如下處理：

基于與當前圖像對應的相機的內參和 外參、與當前圖像的多個相鄰圖像對應的相機的內參和 外參、當前圖像中的每個像素的深度參數，將當前圖像中的每個像素投影到多個相鄰圖像中的投影點并得到投影點的第一深度；

比較投影點的第一深度與投影點的當前深度參數決定的第二深度之間的深度差異；

如果該像素對應的預定數目的投影點的深度差異大于預定差異閾值，則去除該像素的深度參數。

9.如權利要求1所述的方法，還包括：

對由所確定的深度值構成的深度圖進行濾波，以去除噪聲和填充空洞。

10.一種多視點圖像的深度估計設備，包括：

中央處理單元CPU，被配置為控制：

向同一場景的多個圖像中的每個圖像中的每個像素分配用于表征該像素深度的一個深度參數和用于表征該像素切平面法向的兩個法向參數；

將所述多個圖像中的每個圖像作為當前圖像執行如下處理：

a)選擇衡量成像一致性的代價函數值滿足第一條件的像素作為種子像素；

b)更新種子像素周圍的滿足第二條件的周圍像素的深度參數和法向參數；

c)在周圍像素的被更新的深度參數和法向參數所處的預定取值范圍內，進行預定次數的隨機搜索，以得到周圍像素的深度參數和法向參數的局部最優值；

d)將代價函數值滿足第一條件的周圍像素增加為種子像素；

e)重復上述b)、c)、d)步驟，直至沒有滿足第一條件的周圍像素；

f)為當前圖像中的每個像素隨機生成一個深度參數和兩個法向參數，并且在滿足第三條件的情況下，將該像素的當前深度參數和法向參數用隨機生成的深度參數和法向參數代替；

g)重復上述步驟a)-f)，直至滿足第四條件；

h)將當前圖像中每個像素的深度參數決定的深度值確定為該像素的深度值。