[發(fā)明專利]3D縮放成像器

有效

• 申請?zhí)枺?/td>: 201380006368.2
• 申請日: 2013-01-08
• 公開（公告）號: CN104094594B
• 公開（公告）日: 2017-06-20
• 發(fā)明（設(shè)計）人: S·卡茨;A·阿德萊爾;G·葉海弗;D·科恩;E·拉里;S·費爾岑式特恩
• 申請（專利權(quán)）人: 微軟技術(shù)許可有限責(zé)任公司
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司31100
• 代理人: 管琦琦

背景技術(shù)

當(dāng)對象遠(yuǎn)離相機移動時，對象對著相機在其上對對象成像的光電傳感器的角度減小，并且相機投射在該光電傳感器上的對象的圖像大小以及該光電傳感器中被該圖像所覆蓋的像素數(shù)目減少。隨著圖像大小和圖像投射到其上的像素數(shù)目的減少，對象的特征的分辨率降低并且對象的細(xì)節(jié)可能變得無法分辨。提供縮放功能性的相機的光學(xué)系統(tǒng)是可調(diào)整的，從而在對象從相機中后退時它可被“放大”以保存或增加對象對著相機光電傳感器的角度。對對象進(jìn)行放大擴大了相機在其光電傳感器上聚焦的對象的圖像并且改善了對象的成像特征的分辨率。

通常通過機械系統(tǒng)來提供相機的縮放調(diào)整，該機械系統(tǒng)移動相機光學(xué)系統(tǒng)中的一個或多個透鏡以改變透鏡的相對位置并由此改變光學(xué)系統(tǒng)的焦距。該系統(tǒng)移動各透鏡以給相機提供相對長的焦距和以相對小的視角來放大對象為特征的視野(FOV)并且擴大相機獲取的對象的圖像。該系統(tǒng)移動各透鏡以給相機提供相對短的焦距和相對廣角的FOV來“縮小”對象及使相機獲取的對象的圖像變小。

相機的FOV是由從相機的光學(xué)中心延伸的固定角度定義的空間區(qū)域，并且由相機的光學(xué)系統(tǒng)在相機的光電傳感器上對其中的點進(jìn)行成像。對絕大多數(shù)成像目的而言，可通過水平視角和豎直視角方便地測量FOV的大小。水平視角和豎直視角是在FOV中夾在從相機的光學(xué)中心延伸出的兩條線之間的最大角度，水平視角和豎直視角分別同與地面平行和與地面垂直的平面中的相機光軸共面。

盡管放大擴大了相機成像的場景中對象的圖像，但是它也減小了相機的FOV視角并由此導(dǎo)致成像場景的大小以及相機能夠成像的圍繞相機的環(huán)境的一部分減小。盡管縮小使相機成像的場景中對象的圖像變小，但是它也增大了相機的FOV視角并由此導(dǎo)致成像場景的大小以及相機能夠成像的圍繞相機的環(huán)境的一部分增大。

對于諸如跟蹤人的姿勢以使其與計算機進(jìn)行對接的很多應(yīng)用程序而言，對人成像的相機用在相對大的空間體(下文中稱作“活動空間”)上有可接受的分辨率程度對人成像是有利的。例如，為了使人與對人的全身運動作出響應(yīng)的計算機游戲(下文中還是全身的三維(3D)游戲，諸如拳擊游戲或需要鍛煉的游戲)對接，相機用可接受分辨率在活動空間內(nèi)的基本上所有地方對人成像可以是有利的。該活動空間例如可具有從接近相機等于約1m(米)的距離延伸到距相機約3m(米)遠(yuǎn)距離的“長度”。為了在活動空間的長度上提供有利的圖像分辨率，相機光學(xué)器件可被配置用于縮放調(diào)整。

使用3D相機(諸如，三角測量或飛行時間(TOF)3D相機)有利地執(zhí)行對人進(jìn)行成像以在玩3D游戲期間跟蹤人的姿勢或動作，該3D相機獲取到人的諸特征的距離以及到可任選的人的環(huán)境的諸特征的距離。在基本相同的給定時間由3D相機獲取的人的距離及可任選的人的環(huán)境的距離提供包括人的場景的“深度圖像(range image)”。3D相機一般是使用其生成的光對場景進(jìn)行成像的活動照明相機并且被配置確定到場景中諸特征的距離。

三角測量型3D相機從相機自兩個一般稍有不同的視角對特征成像的角度獲取到場景中這些特征的距離。三角測量相機可用被稱作“結(jié)構(gòu)化光”的在空間上被調(diào)制的光來照明場景。飛行時間(TOF)三維(3D)相機通過對該相機發(fā)射的在時間上被調(diào)制的光行進(jìn)到特征并返回到該相機要花費多少時間進(jìn)行計時，來獲取距相機所成像的場景中特征的距離。相機一般以很短的光脈沖發(fā)射光并且對來自它收集的特征所反射的脈沖的光進(jìn)行成像以確定往返時間(即光的“來回”行進(jìn)時間)。

提供具有縮放光學(xué)器件的3D相機一般在技術(shù)上和成本上都是有挑戰(zhàn)的。

發(fā)明內(nèi)容

本發(fā)明的實施例涉及提供3D成像系統(tǒng)(在下文中也稱作“3D成像器”)，其包括具有與第二3D相機的窄角FOV的至少一部分重疊的廣角FOV的第一3D相機。第一和第二3D相機的FOV界定3D成像器的活動空間。3D成像器包括處理器，用可執(zhí)行指令集對該處理器編程以供實現(xiàn)響應(yīng)于第一和第二3D相機提供的距離信息來提供活動空間中諸特征的深度圖像的算法。

根據(jù)本發(fā)明的實施例，該算法響應(yīng)于第一3D相機(下文中也被稱作“近相機”)所確定的距離，來確定到相對接近3D成像器的活動空間的第一“近區(qū)”內(nèi)諸特征的距離。該算法響應(yīng)于第二3D相機(下文中也被稱作“遠(yuǎn)相機”)所確定的距離，來確定到相對遠(yuǎn)離3D成像器的活動空間的第二“遠(yuǎn)區(qū)”內(nèi)諸特征的距離。使用兩個3D相機提供的距離信息確定到近3D相機的FOV和遠(yuǎn)3D相機的FOV在此重疊的活動空間的第三、“重疊”區(qū)內(nèi)諸特征的距離。