[發(fā)明專利]稀疏深度圖稠密化方法和裝置

有效

• 申請?zhí)枺?/td>: 201310320158.2
• 申請日: 2013-07-26
• 公開（公告）號: CN104346608B
• 公開（公告）日: 2017-09-08
• 發(fā)明（設(shè)計）人: 喬剛;王鑫;范圣印;王千
• 申請（專利權(quán)）人: 株式會社理光
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06T7/194;G06T7/33
• 代理公司: 北京市柳沈律師事務(wù)所11105
• 代理人: 張麗新

1.一種對稀疏深度圖進(jìn)行稠密化處理的稀疏深度圖稠密化方法，包括：

獲得要從中檢測預(yù)定對象的深度圖，該深度圖為稀疏型的深度圖；

在深度圖中定位前景像素；

將前景像素變換到三維世界坐標(biāo)系中，形成三維點(diǎn)云；

將該三維點(diǎn)云分組為子點(diǎn)云；

對每個子點(diǎn)云，將該子點(diǎn)云與預(yù)先建立的該預(yù)定對象的三維稠密模型庫中的每個三維稠密模型進(jìn)行匹配，其中三維稠密模型表示該模型是由稠密型而非稀疏型的點(diǎn)組成，以及根據(jù)匹配結(jié)果，選取三維稠密模型，并用該三維稠密模型來代替該子點(diǎn)云；以及

將替代后的三維點(diǎn)云投影回深度圖。

2.根據(jù)權(quán)利要求1的稀疏深度圖稠密化方法，所述將替代后的三維點(diǎn)云投影回深度圖包括：

如果三維點(diǎn)云中的多個點(diǎn)對應(yīng)于深度圖中的同一個像素點(diǎn)，則用三維點(diǎn)云中深度最小的點(diǎn)來投影得到深度圖中的該像素點(diǎn)。

3.根據(jù)權(quán)利要求1的稀疏深度圖稠密化方法，還包括獲得與該深度圖相對應(yīng)的灰度圖，以及所述在深度圖中定位前景像素包括：

在灰度圖上實施像素級別的背景建模以提取前景掩膜，以及

利用該前景掩膜定位深度圖上的對應(yīng)像素作為前景像素。

4.根據(jù)權(quán)利要求1的稀疏深度圖稠密化方法，所述將該三維點(diǎn)云分組為子點(diǎn)云包括：

利用距離測度或利用關(guān)于預(yù)定對象在三維世界中體積分布的先驗知識，通過聚類算法將三維點(diǎn)云分組為子點(diǎn)云，表征該子點(diǎn)云中的點(diǎn)預(yù)期來自于同一對象。

5.根據(jù)權(quán)利要求1的稀疏深度圖稠密化方法，所述三維稠密模型庫包括預(yù)定對象的不同視角和/或不同姿態(tài)下的三維稠密模型。

6.根據(jù)權(quán)利要求1的稀疏深度圖稠密化方法，將該子點(diǎn)云與預(yù)先建立的該預(yù)定對象的三維稠密模型庫中的每個三維稠密模型進(jìn)行匹配包括：

對每個三維稠密模型，通過旋轉(zhuǎn)變換得到該三維稠密模型在不同視角下的旋轉(zhuǎn)三維稠密模型，并將各個旋轉(zhuǎn)三維稠密模型與該子點(diǎn)云進(jìn)行匹配，來得到匹配度最高的旋轉(zhuǎn)三維稠密模型。

7.根據(jù)權(quán)利要求3的稀疏深度圖稠密化方法，還包括：

如果將替代后的三維點(diǎn)云投影回深度圖的結(jié)果超出了前景掩膜的輪廓，則利用前景掩膜來修剪掉結(jié)果中超出前景掩膜的輪廓的部分。

8.根據(jù)權(quán)利要求1的稀疏深度圖稠密化方法，還包括：

在投影后的深度圖上檢測和/或跟蹤預(yù)定對象；以及

輸出檢測和/或跟蹤結(jié)果。

9.一種對稀疏深度圖進(jìn)行稠密化處理的稀疏深度圖稠密化裝置，包括：

圖像獲得部件，獲得要從中檢測預(yù)定對象的深度圖，該深度圖為稀疏型的深度圖；

前景像素定位部件，在深度圖中定位前景像素；

三維點(diǎn)云變換部件，將前景像素變換到三維世界坐標(biāo)系中，形成三維點(diǎn)云；

子點(diǎn)云分組部件，將該三維點(diǎn)云分組為子點(diǎn)云；

子點(diǎn)云稠密化部件，對每個子點(diǎn)云，將該子點(diǎn)云與預(yù)先建立的該預(yù)定對象的三維稠密模型庫中的每個三維稠密模型進(jìn)行匹配，其中三維稠密模型表示該模型是由稠密型而非稀疏型的點(diǎn)組成，以及根據(jù)匹配結(jié)果，選取三維稠密模型，并用該三維稠密模型來代替該子點(diǎn)云；以及

深度圖投影部件，將替代后的三維點(diǎn)云投影回深度圖。

10.根據(jù)權(quán)利要求9的稀疏深度圖稠密化裝置，所述深度圖投影部件將替代后的三維點(diǎn)云投影回深度圖包括：

如果三維點(diǎn)云中的多個點(diǎn)對應(yīng)于深度圖中的同一個像素點(diǎn)，則用三維點(diǎn)云中深度最小的點(diǎn)來投影得到深度圖中的該像素點(diǎn)。