[發(fā)明專利]基于結(jié)構(gòu)化光和立體視覺的深度相機

有效

• 申請?zhí)枺?/td>: 201110285455.9
• 申請日: 2011-09-07
• 公開（公告）號: CN102385237A
• 公開（公告）日: 2012-03-21
• 發(fā)明（設(shè)計）人: S·卡茨;A·阿德勒
• 申請（專利權(quán)）人: 微軟公司
• 主分類號: G03B35/08
• 分類號: G03B35/08;G03B15/05;H04N5/232
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 蔡悅

1.一種深度相機系統(tǒng)，包括：

照明器(26)，所述照明器(26)用結(jié)構(gòu)化光的圖案來照明視野(6)中的對象(8)；

第一傳感器(24)，所述第一傳感器(24)感測從所述對象反射的光，以獲取像素數(shù)據(jù)的第一幀，所述第一傳感器針對較短程成像來優(yōu)化；

第二傳感器(29)，所述第二傳感器(29)感測從所述對象反射的光，以獲取像素數(shù)據(jù)的第二幀，所述第二傳感器針對較長程成像來優(yōu)化；以及

至少一個控制電路(32、192)，所述至少一個控制電路(32、192)通過將所述像素數(shù)據(jù)的第一幀與所述結(jié)構(gòu)化光的圖案相比較來導(dǎo)出所述對象的第一結(jié)構(gòu)化光深度圖，通過將所述像素數(shù)據(jù)的第二幀與所述結(jié)構(gòu)化光的圖案相比較來導(dǎo)出所述對象的第二結(jié)構(gòu)化光深度圖，并且導(dǎo)出基于所述第一和第二結(jié)構(gòu)化光深度圖的合并的深度圖。

2.如權(quán)利要求1所述的深度相機系統(tǒng)，其特征在于：

所述第一傳感器與所述照明器之間的基線距離(BL1)小于所述第二傳感器與所述照明器之間的基線距離(BL2)。

3.如權(quán)利要求2所述的深度相機系統(tǒng)，其特征在于：

所述第一傳感器的曝光時間短于所述第二傳感器的曝光時間。

4.如權(quán)利要求2所述的深度相機系統(tǒng)，其特征在于：

所述第一傳感器的敏感性低于所述第二傳感器的敏感性。

5.如權(quán)利要求2所述的深度相機系統(tǒng)，其特征在于：

所述第一傳感器的空間分辨率小于所述第二傳感器的分辨率。

6.如權(quán)利要求1所述的深度相機系統(tǒng)，其特征在于：

所述第二結(jié)構(gòu)化光深度圖包括深度值；以及

在導(dǎo)出所述合并的深度圖時，對所述第二結(jié)構(gòu)化光深度圖中的深度值給予比所述第一結(jié)構(gòu)化光深度圖中的深度值更重的權(quán)重。

7.如權(quán)利要求1所述的深度相機系統(tǒng)，其特征在于：

所述至少一個控制電路基于所述對象的至少一個立體深度圖來導(dǎo)出所述合并的深度圖，其中所述至少一個控制電路通過至少以下各項中的至少一個來導(dǎo)出所述至少一個立體深度圖：(i)所述像素數(shù)據(jù)的第一幀到所述像素數(shù)據(jù)的第二幀的立體匹配，以及(ii)所述像素數(shù)據(jù)的第二幀到所述像素數(shù)據(jù)的第一幀的立體匹配。

8.如權(quán)利要求7所述的深度相機系統(tǒng)，其特征在于：

所述第一和第二結(jié)構(gòu)化光深度圖以及所述至少一個立體深度圖包括深度值；以及

所述至少一個控制電路將第一組權(quán)重分配給所述對象的第一結(jié)構(gòu)化光深度圖中的深度值，將第二組權(quán)重分配給所述對象的第二結(jié)構(gòu)化光深度圖中的深度值，將第三組權(quán)重分配給所述對象的第一立體深度圖中的深度值，并且導(dǎo)出基于所述第一、第二和第三組權(quán)重的所述合并的深度圖。

9.如權(quán)利要求8所述的深度相機系統(tǒng)，其特征在于：

所述第一組權(quán)重基于所述第一傳感器與所述照明器之間的基線距離來分配；

所述第二組權(quán)重基于所述第二傳感器與所述照明器之間的基線距離來分配；以及

所述第三組權(quán)重基于所述第一傳感器與第二傳感器之間的基線距離來分配。

10.一種用于處理深度相機系統(tǒng)中的圖像數(shù)據(jù)的方法，包括：

用結(jié)構(gòu)化光的圖案來照明視野(6)中的對象(8)；

在第一傳感器(24)處，感測從所述對象反射的光，以獲取像素數(shù)據(jù)的第一幀(510)；

在第二傳感器(29)處，感測從所述對象反射的光，以獲取像素數(shù)據(jù)的第二幀；

通過將所述像素數(shù)據(jù)的第一幀與所述結(jié)構(gòu)化光的圖案相比較來導(dǎo)出所述對象的第一結(jié)構(gòu)化光深度圖，所述第一結(jié)構(gòu)化光深度圖包括所述像素數(shù)據(jù)的第一幀的像素的深度值；

通過將所述像素數(shù)據(jù)的第二幀與所述結(jié)構(gòu)化光的圖案相比較來導(dǎo)出所述對象的第二結(jié)構(gòu)化光深度圖，所述第二結(jié)構(gòu)化光深度圖包括所述像素數(shù)據(jù)的第二幀的像素的深度值；

確定是否期望對像素數(shù)據(jù)圖的第一幀的一個或多個像素的深度值進行細(xì)化；以及

如果期望細(xì)化，則執(zhí)行所述像素數(shù)據(jù)的第一幀的一個或多個像素到所述像素數(shù)據(jù)的第二幀的一個或多個像素的立體匹配。

11.如權(quán)利要求10所述的方法，其特征在于：

在將所述像素數(shù)據(jù)的第一幀與所述結(jié)構(gòu)化光的圖案相比較中，當(dāng)所述像素數(shù)據(jù)的第一幀的一個或多個像素沒有被成功地匹配到所述結(jié)構(gòu)化光的圖案時，期望所述細(xì)化。