[發(fā)明專(zhuān)利]距飛行時(shí)間相機(jī)的深度

有效

• 申請(qǐng)?zhí)枺?/td>: 201580055718.3
• 申請(qǐng)日: 2015-10-07
• 公開(kāi)（公告）號(hào): CN106796656B
• 公開(kāi)（公告）日: 2020-07-17
• 發(fā)明（設(shè)計(jì)）人: J·D·J·朔頓;C·科斯金;C·萊曼;T·夏普;D·P·羅伯特森;P·科利;A·W·菲茲吉邦;S·伊扎迪
• 申請(qǐng)（專(zhuān)利權(quán)）人: 微軟技術(shù)許可有限責(zé)任公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62;G01S7/491;G01S17/10;G01S17/89;G01S17/36;G01S7/48
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 王茂華

描述了原始飛行時(shí)間圖像中的感興趣區(qū)域檢測(cè)。例如，計(jì)算設(shè)備接收由飛行時(shí)間相機(jī)針對(duì)單個(gè)幀捕獲的至少一個(gè)原始圖像。原始圖像描繪飛行時(shí)間相機(jī)的環(huán)境中的一個(gè)或多個(gè)對(duì)象(例如，人的手、身體或任何其他對(duì)象)。將原始圖像輸入到經(jīng)訓(xùn)練的區(qū)域檢測(cè)器，并且作為響應(yīng)，接收原始圖像中的一個(gè)或多個(gè)感興趣區(qū)域。接收的感興趣區(qū)域包括原始圖像的、被預(yù)測(cè)為描繪對(duì)象之一的至少部分的圖像元素。深度計(jì)算邏輯從原始圖像的一個(gè)或多個(gè)感興趣區(qū)域計(jì)算深度。

背景技術(shù)

飛行時(shí)間(TOF)相機(jī)越來(lái)越多地用于各種應(yīng)用中，例如人機(jī)交互、汽車(chē)應(yīng)用、測(cè)量應(yīng)用和機(jī)器視覺(jué)。TOF相機(jī)可以用于生成深度圖，深度圖包含與場(chǎng)景中的對(duì)象到相機(jī)的深度相關(guān)的信息。深度是指距離在從相機(jī)延伸的假想線(xiàn)上的投影，其中距離是絕對(duì)徑向距離或從成像平面到場(chǎng)景中的表面的距離。TOF相機(jī)處的光源照亮場(chǎng)景，并且光被場(chǎng)景中的對(duì)象反射。相機(jī)接收反射光，該反射光依賴(lài)于對(duì)象到相機(jī)的距離而經(jīng)歷延遲。鑒于光速是已知的，則可以生成深度圖。

以下描述的實(shí)施例不限于解決已知飛行時(shí)間相機(jī)或飛行時(shí)間圖像處理系統(tǒng)的任何或所有缺點(diǎn)的實(shí)現(xiàn)。

發(fā)明內(nèi)容

以下呈現(xiàn)本公開(kāi)的簡(jiǎn)要概述，以向讀者提供基本理解。該概述不是本公開(kāi)的廣泛綜述，并且不標(biāo)識(shí)關(guān)鍵/重要的元素或描繪本說(shuō)明書(shū)的范圍。其唯一目的是以簡(jiǎn)化的形式呈現(xiàn)本文中所公開(kāi)的概念的選擇，作為稍后呈現(xiàn)的更詳細(xì)描述的序言。

描述了原始飛行時(shí)間圖像中的感興趣區(qū)域檢測(cè)。例如，計(jì)算設(shè)備接收由飛行時(shí)間相機(jī)針對(duì)單個(gè)幀捕獲的至少一個(gè)原始圖像。原始圖像描繪飛行時(shí)間相機(jī)的環(huán)境中的一個(gè)或多個(gè)對(duì)象(例如，人的手、身體或任何其他對(duì)象)。將原始圖像輸入到經(jīng)訓(xùn)練的區(qū)域檢測(cè)器，并且作為響應(yīng)，接收原始圖像中的一個(gè)或多個(gè)感興趣區(qū)域。接收的感興趣區(qū)域包括原始圖像的、被預(yù)測(cè)為描繪對(duì)象之一的至少部分的圖像元素。深度計(jì)算邏輯計(jì)算到原始圖像的一個(gè)或多個(gè)感興趣區(qū)域的深度。

很多伴隨的特征將更容易理解，因?yàn)檫@些特征通過(guò)參考結(jié)合附圖考慮的以下詳細(xì)描述會(huì)變得更好理解。

附圖說(shuō)明

從根據(jù)附圖閱讀的以下詳細(xì)描述將能更好地理解本說(shuō)明書(shū)，其中：

圖1是飛行時(shí)間相機(jī)捕獲環(huán)境中的用戶(hù)的手的原始圖像數(shù)據(jù)、以及從原始圖像數(shù)據(jù)計(jì)算深度圖的區(qū)域檢測(cè)器和深度計(jì)算部件的示意圖；

圖2是圖1的區(qū)域檢測(cè)器的更詳細(xì)的示意圖；

圖3是圖2的區(qū)域檢測(cè)器處的方法的流程圖；

圖4是訓(xùn)練用于在圖2的區(qū)域檢測(cè)器中使用的分類(lèi)器的方法的流程圖；

圖5是操作作為圖2的區(qū)域檢測(cè)器的部分的經(jīng)訓(xùn)練的分類(lèi)器的方法的流程圖；

圖6是飛行時(shí)間相機(jī)的示意圖；

圖7是用于在圖6的飛行時(shí)間相機(jī)處使用的計(jì)算深度的方法的流程圖；以及

圖8示出了其中可以實(shí)現(xiàn)區(qū)域檢測(cè)器和飛行時(shí)間深度計(jì)算邏輯的實(shí)施例的示例性基于計(jì)算的設(shè)備。

相同的附圖標(biāo)記在附圖中用于表示相同的部件。

具體實(shí)施方式

以下結(jié)合附圖提供的詳細(xì)描述旨在作為對(duì)本示例的描述，而非旨在表示可以構(gòu)造或利用本示例的僅有形式。該描述闡述了示例的功能以及用于構(gòu)造和操作示例的步驟序列。然而，相同或等同的功能和序列可以通過(guò)不同的示例來(lái)實(shí)現(xiàn)。

圖1是飛行時(shí)間相機(jī)100捕獲用戶(hù)在環(huán)境中進(jìn)行復(fù)雜手姿勢(shì)的手108的原始圖像數(shù)據(jù)112的、以及從原始圖像數(shù)據(jù)計(jì)算深度圖122的區(qū)域檢測(cè)器114和深度計(jì)算部件120的示意圖。在該示例中，示出了一只手108。然而，實(shí)際上，在場(chǎng)景中可以有來(lái)自一個(gè)或多個(gè)用戶(hù)的多個(gè)手。