[發(fā)明專利]根據(jù)RGB和深度圖像的表面分割

有效

• 申請?zhí)枺?/td>: 201210430744.8
• 申請日: 2012-11-01
• 公開（公告）號: CN102982560A
• 公開（公告）日: 2013-03-20
• 發(fā)明（設(shè)計）人: 德里克·赫耶姆;普什米特·科利
• 申請（專利權(quán)）人: 微軟公司
• 主分類號: G06T7/40
• 分類號: G06T7/40
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 朱勝;穆云麗

1.一種圖像分割的計算機(jī)實現(xiàn)方法，包括：

在處理器（600）處接收包括多個圖像元素的場景的圖像，每個圖像元素均具有相關(guān)聯(lián)的顏色值和相關(guān)聯(lián)的深度值，所述深度值表示從圖像傳感器（202）到場景元件的距離；

使用所述深度值來得到存在于所述場景內(nèi)的三維平面集合；以及

對于每個圖像元素，確定所述圖像元素是否屬于來自所述集合的平面并且相應(yīng)地對所述圖像元素加標(biāo)記，其中，所述確定包括評估關(guān)于所述平面集合的成本函數(shù)，所述成本函數(shù)具有與所述圖像元素的深度值以及所述圖像元素和至少一個相鄰圖像元素的顏色值相關(guān)的項。

2.根據(jù)權(quán)利要求1所述的方法，其中，評估所述成本函數(shù)的步驟包括針對每個圖像元素選擇相關(guān)聯(lián)的平面以使得所述成本函數(shù)最小化。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述成本函數(shù)包括一元項和成對項。

4.根據(jù)權(quán)利要求3所述的方法，其中，評估步驟包括使用所述圖像元素的深度值來計算所述一元項以及使用所述圖像元素和所述至少一個相鄰圖像元素的顏色值來計算所述成對項。

5.根據(jù)權(quán)利要求4所述的方法，還包括以下步驟：對于每個圖像元素，計算所述圖像元素的紅綠藍(lán)強(qiáng)度值與所述至少一個相鄰圖像元素的紅綠藍(lán)強(qiáng)度值之間的強(qiáng)度差別，并且其中，計算所述成對項的步驟使用所述強(qiáng)度差別。

6.根據(jù)權(quán)利要求1所述的方法，其中，使用所述深度值來得到存在于所述場景內(nèi)的三維平面集合包括使用所述深度值應(yīng)用隨機(jī)抽樣一致性RANSAC過程以生成多個所提出的平面，以及基于具有關(guān)于所提出的平面的閾值距離的深度值的圖像元素的數(shù)量來從所提出的平面選擇所述平面集合。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述RANSAC過程包括：

i）從所述圖像選擇三個采樣圖像元素；

ii）將三維平面擬合于所述采樣圖像元素的深度值；

iii）確定所述圖像元素的至少一部分的深度值與所述三維平面之間的距離；

iv）將在所述平面的閾值距離內(nèi)的那些圖像元素設(shè)置為內(nèi)圍；

v）存儲所述平面的內(nèi)圍的數(shù)量；以及

針對多個不同的采樣圖像元素，重復(fù)步驟i）至v）。

8.根據(jù)權(quán)利要求1所述的方法，還包括以下步驟：

延伸存在于所述場景內(nèi)的所述三維平面以確定所述平面之間的相交；

確定距所述圖像傳感器的最遠(yuǎn)相交；以及

將所述最遠(yuǎn)相交設(shè)置為所述場景的范圍。

9.根據(jù)權(quán)利要求1所述的方法，還包括以下步驟：如果所述圖像元素不屬于所述平面之一，則將所述圖像元素標(biāo)記為物體。

10.一種圖像分割系統(tǒng)，包括：

輸入接口（602），被布置成從捕獲裝置（200）接收場景的圖像，所述圖像包括多個圖像元素，每個圖像元素均具有相關(guān)聯(lián)的顏色值和相關(guān)聯(lián)的深度值，所述深度值表示從所述捕獲裝置（200）到所述場景中的表面的距離；

至少一個處理器（600），被布置成使用所述深度值來得到存在于所述場景內(nèi)的三維平面集合，并且對于每個圖像元素，確定所述圖像元素是否屬于來自所述集合的平面以及相應(yīng)地對所述圖像元素加標(biāo)記，

其中，所述至少一個處理器（600）被布置成通過評估關(guān)于所述平面集合的成本函數(shù)來確定所述圖像元素是否屬于平面，所述成本函數(shù)具有與所述圖像元素的深度值以及所述圖像元素和至少一個相鄰圖像元素的顏色值相關(guān)的項。