[發(fā)明專利]基于結(jié)構(gòu)化光和立體視覺的深度相機

有效

• 申請?zhí)枺?/td>: 201110285455.9
• 申請日: 2011-09-07
• 公開（公告）號: CN102385237A
• 公開（公告）日: 2012-03-21
• 發(fā)明（設(shè)計）人: S·卡茨;A·阿德勒
• 申請（專利權(quán)）人: 微軟公司
• 主分類號: G03B35/08
• 分類號: G03B35/08;G03B15/05;H04N5/232
• 代理公司: 上海專利商標事務(wù)所有限公司 31100
• 代理人: 蔡悅

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)，具體涉及深度數(shù)據(jù)的獲取。

背景技術(shù)

實時深度相機能夠確定與該相機的視野內(nèi)的人類或其他對象相距的距離，并且基于該相機的幀速率來基本實時地更新該距離。這樣的深度相機可以在運動捕捉系統(tǒng)中例如用于獲取關(guān)于物理空間中的人體或其他主體的位置和移動的數(shù)據(jù)，并且可以將該數(shù)據(jù)用作到計算系統(tǒng)中的應(yīng)用的輸入。可以有許多應(yīng)用，諸如用于軍事、娛樂、體育和醫(yī)學(xué)目的。通常，深度相機包括照明視野的照明器、以及感測來自視野的光以形成圖像的圖像傳感器。然而，各種挑戰(zhàn)由于諸如光照條件、表面紋理和色彩、以及遮擋可能性等變量而存在。

發(fā)明內(nèi)容

提供了深度相機系統(tǒng)。該深度相機系統(tǒng)使用至少兩個圖像傳感器以及結(jié)構(gòu)化光圖像處理和立體圖像處理的結(jié)合來基本實時地獲取場景的深度圖。可為由傳感器獲得的像素數(shù)據(jù)的每一新的幀更新該深度圖。此外，圖像傳感器可被安裝在距照明器不同距離處，并可具有不同特征，以便允許獲取更準確的深度圖同時降低遮擋的可能性。

在一個實施例中，深度相機系統(tǒng)包括用結(jié)構(gòu)化光圖案來照明視野中的對象的照明器、至少第一和第二傳感器、以及至少一個控制電路。該第一傳感器感測從該對象反射的光以獲取像素數(shù)據(jù)的第一幀，并且針對較短程成像來優(yōu)化。這一優(yōu)化可按照例如第一傳感器與照明器之間的相對較短距離，或第一傳感器的相對少的曝光時間、空間分辨率和/或?qū)獾拿舾行詠韺崿F(xiàn)。該深度相機系統(tǒng)進一步包括感測從該對象反射的光以獲取像素數(shù)據(jù)的第二幀的第二傳感器，其中，該第二傳感器針對較長程成像來優(yōu)化。這一優(yōu)化可按照例如第二傳感器與照明器之間的相對較長距離，或第二傳感器的相對長的曝光時間、空間分辨率和/或?qū)獾拿舾行詠韺崿F(xiàn)。

該深度相機系統(tǒng)進一步包括至少一個控制電路，該控制電路可與傳感器和照明器在公共外殼中、和/或在諸如計算環(huán)境等分開的組件中。該至少一個控制電路通過將像素數(shù)據(jù)的第一幀與結(jié)構(gòu)化光的圖案相比較來導(dǎo)出對象的第一結(jié)構(gòu)化光深度圖，通過將像素數(shù)據(jù)的第二幀與結(jié)構(gòu)化光的圖案相比較來導(dǎo)出對象的第二結(jié)構(gòu)化光深度圖，并且導(dǎo)出基于第一和第二結(jié)構(gòu)化光深度圖的合并的深度圖。每一深度圖可包括諸如在像素網(wǎng)格中的每一像素位置的深度值。

在另一方面，立體圖像處理還被用于細化深度值。例如，當像素數(shù)據(jù)的第一和/或第二幀中的一個或多個像素沒有被成功地匹配到結(jié)構(gòu)化光的圖案時，或當深度值指示需要較大基線以實現(xiàn)良好的準確性的大距離時，立體圖像處理的使用可被觸發(fā)。以此方式，僅按需向深度值提供進一步細化，以便避免不必要的處理步驟。

在某些情況下，由傳感器獲取的深度數(shù)據(jù)可基于該傳感器的特征來分配權(quán)重，和/或基于深度值中的置信度來分配準確性度量。

最終深度圖可被用作對例如運動捕捉系統(tǒng)中的應(yīng)用的輸入，其中，該對象是由該運動捕捉系統(tǒng)跟蹤的人類，并且該應(yīng)用響應(yīng)于諸如通過對化身動畫化、導(dǎo)航屏幕上菜單、或執(zhí)行某一其他動作之類的人類的姿勢或移動來改變該運動捕捉系統(tǒng)的顯示。

提供本發(fā)明內(nèi)容以便以簡化形式介紹將在以下的具體實施方式中進一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標識出所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于限定所要求保護的主題的范圍。

附圖說明

在附圖中，相同編號的元件彼此對應(yīng)。

圖1描繪了運動捕捉系統(tǒng)的示例實施例。

圖2描繪了圖1的運動捕捉系統(tǒng)的示例框圖。

圖3描繪了可以在圖1的運動捕捉系統(tǒng)中使用的計算環(huán)境的示例框圖。

圖4描繪了可以在圖1的運動捕捉系統(tǒng)中使用的計算環(huán)境的另一個示例框圖。

圖5A描繪了在結(jié)構(gòu)化光系統(tǒng)中的照明幀和所捕捉的幀。

圖5B描繪了在立體光系統(tǒng)中的兩個所捕捉的幀。

圖6A描繪了帶有在照明器的公共側(cè)的兩個傳感器的成像組件。

圖6B描繪了帶有在照明器的一側(cè)的兩個傳感器、以及在該照明器的相對側(cè)的一個傳感器的成像組件。

圖6C描繪了帶有在照明器的公共側(cè)的三個傳感器的成像組件。

圖6D描繪了帶有在照明器的相對側(cè)的兩個傳感器的成像組件，其示出這兩個傳感器如何感測對象的不同部分。

圖7A描繪了用于獲取視野的深度圖的過程。

圖7B描繪了圖7A的步驟706的進一步細節(jié)，其中兩個結(jié)構(gòu)化光深度圖被合并。

圖7C描繪了圖7A的步驟706的進一步細節(jié)，其中兩個結(jié)構(gòu)化光深度圖和兩個立體深度圖被合并。