[發(fā)明專利]來自多個(gè)視聽源的信息的合成

有效

• 申請(qǐng)?zhí)枺?/td>: 201110161330.5
• 申請(qǐng)日: 2011-06-02
• 公開（公告）號(hào): CN102289564A
• 公開（公告）日: 2011-12-21
• 發(fā)明（設(shè)計(jì)）人: J·A·塔迪夫;K·S·佩雷;A·A-A·基普曼;D·易
• 申請(qǐng)（專利權(quán)）人: 微軟公司
• 主分類號(hào): G06F19/00
• 分類號(hào): G06F19/00
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 顧嘉運(yùn)

技術(shù)領(lǐng)域

本發(fā)明涉及信息合成系統(tǒng)，尤其涉及用于合成從聚焦于單個(gè)場(chǎng)景的多個(gè)音頻和可視源接收到的信息的系統(tǒng)。

背景

在過去，諸如計(jì)算機(jī)游戲和多媒體應(yīng)用等計(jì)算應(yīng)用使用控制器、遙控器、鍵盤、鼠標(biāo)等來允許用戶操縱游戲人物或應(yīng)用的其他方面。近來，計(jì)算機(jī)游戲和多媒體應(yīng)用已開始使用照相機(jī)和軟件姿勢(shì)識(shí)別引擎來提供自然用戶界面(“NUI”)。對(duì)于NUI，使用捕捉設(shè)備來檢測(cè)用戶移動(dòng)、姿勢(shì)和語音。相關(guān)聯(lián)的視聽數(shù)據(jù)被轉(zhuǎn)發(fā)至處理器，該處理器解釋該數(shù)據(jù)并使用該數(shù)據(jù)來控制游戲人物或者應(yīng)用程序的其他方面。

當(dāng)前NUI系統(tǒng)可以使用單個(gè)捕捉設(shè)備來記錄來自玩游戲空間或場(chǎng)景的數(shù)據(jù)。然而，可能需要增大玩游戲空間或場(chǎng)景的大小。在此情況下，使用單個(gè)捕捉設(shè)備可能由于許多原因而不適合，諸如，例如，分辨率或場(chǎng)景的照明度不夠，或?qū)ο笤趫?chǎng)景內(nèi)被遮蔽。對(duì)于這樣的情況，使用一個(gè)以上的捕捉設(shè)備將是有利的。需要一種系統(tǒng)來合成來自拍攝一個(gè)共同的場(chǎng)景的多個(gè)捕捉設(shè)備的數(shù)據(jù)，以協(xié)調(diào)來自多個(gè)源的數(shù)據(jù)。

發(fā)明內(nèi)容

此處公開了用于合成從聚焦于單個(gè)場(chǎng)景的多個(gè)音頻和可視源接收到的信息的系統(tǒng)。該系統(tǒng)可包括從兩個(gè)或更多源接收數(shù)據(jù)的計(jì)算環(huán)境。源可以是用于從玩游戲空間或場(chǎng)景捕捉音頻和/或可視數(shù)據(jù)的捕捉設(shè)備。本技術(shù)的各實(shí)施方式首先將捕捉設(shè)備彼此校準(zhǔn)以及與場(chǎng)景校準(zhǔn)。場(chǎng)景常常可以具有移進(jìn)移出場(chǎng)景的用戶和對(duì)象。如此，校準(zhǔn)過程的第一階段可包括時(shí)間同步來自多個(gè)捕捉設(shè)備的數(shù)據(jù)，以確保來自音頻和可視源的數(shù)據(jù)在相同時(shí)間提供同一場(chǎng)景的數(shù)據(jù)。

此后，可以通過標(biāo)識(shí)各種捕捉設(shè)備的圖像數(shù)據(jù)內(nèi)的關(guān)鍵點(diǎn)不連續(xù)性或線索來將捕捉設(shè)備彼此校準(zhǔn)。然后，可以通過標(biāo)識(shí)兩個(gè)或更多捕捉設(shè)備的圖像所共有的線索的數(shù)量，確定兩個(gè)或更多捕捉設(shè)備相對(duì)于彼此的相對(duì)位置。重復(fù)此過程，直到所有捕捉設(shè)備的位置都已經(jīng)相對(duì)于彼此被校準(zhǔn)。

此后，可以將來自多個(gè)捕捉設(shè)備的可視數(shù)據(jù)協(xié)調(diào)并在縫合一起，以改進(jìn)系統(tǒng)的感應(yīng)和解釋場(chǎng)景的可視方面的能力。類似地，一旦校準(zhǔn)了不同的捕捉設(shè)備的位置，來自多個(gè)捕捉設(shè)備的音頻數(shù)據(jù)可以提供改進(jìn)的音頻質(zhì)量、噪聲消減和聲源定位。

本技術(shù)的一個(gè)實(shí)施方式可以涉及用于合成來自多個(gè)源的場(chǎng)景的信息的方法。該方法下列步驟：a)從第一源和第二源接收?qǐng)鼍靶畔ⅲ谝缓偷诙丛诳臻g上彼此并與場(chǎng)景是分開的；b)根據(jù)場(chǎng)景信息以及由第一和第二源從場(chǎng)景共同檢測(cè)到的一個(gè)或多個(gè)線索，確定第一和第二源中的每一個(gè)的位置；以及c)基于在所述步驟b)中確定的第一和第二源的位置，以及從第一和第二源接收到的信息，創(chuàng)建場(chǎng)景的表示。

本技術(shù)的再一個(gè)實(shí)施方式可以涉及用于合成來自多個(gè)源的場(chǎng)景的信息的方法，包括下列步驟：a)從第一源和第二源接收?qǐng)鼍靶畔ⅲ谝辉聪鄬?duì)于第二源的初始位置是未知的，第一和第二源在空間上彼此并與場(chǎng)景是分開的，場(chǎng)景信息包括圖像深度數(shù)據(jù)和RGB數(shù)據(jù)中的至少一種；b)根據(jù)圖像數(shù)據(jù)和RGB數(shù)據(jù)中的至少一種，以及來自場(chǎng)景的由第一和第二源共享的場(chǎng)景信息，確定第一和第二源(20)中的每一個(gè)的位置；以及c)基于在所述步驟b)中確定的第一和第二源的位置，以及從第一和第二源接收到的信息，創(chuàng)建場(chǎng)景的表示。

本技術(shù)的再一個(gè)實(shí)施方式可以涉及用于合成來自多個(gè)捕捉設(shè)備的游戲應(yīng)用程序中的玩游戲空間的信息的方法，多個(gè)捕捉設(shè)備中的捕捉設(shè)備包括深度照像機(jī)、RGB照像機(jī)和至少一個(gè)話筒。該方法可包括下列步驟：a)從第一捕捉設(shè)備和第二捕捉設(shè)備接收?qǐng)D像深度數(shù)據(jù)和RGB深度數(shù)據(jù)，來自第一和第二捕捉設(shè)備的圖像深度數(shù)據(jù)和RGB深度數(shù)據(jù)被時(shí)間同步在一起，第一和第二捕捉設(shè)備在空間上彼此并與玩游戲空間是分開的；b)根據(jù)已同步的圖像深度數(shù)據(jù)和RGB數(shù)據(jù)的組合，以及由第一和第二捕捉設(shè)備從玩游戲空間共同檢測(cè)到的多個(gè)線索，確定第一和第二捕捉設(shè)備中的每一個(gè)的位置和方向；c)基于在所述步驟b)中確定的第一和第二捕捉設(shè)備的位置，以及從第一和第二捕捉設(shè)備接收到的圖像深度數(shù)據(jù)和RGB深度數(shù)據(jù)，創(chuàng)建玩游戲空間的表示；d)將來自第一捕捉設(shè)備的玩游戲空間表示的第一部分與來自第二捕捉設(shè)備的玩游戲空間表示的第二部分縫合在一起；以及e)在與第一和第二捕捉設(shè)備相關(guān)聯(lián)的顯示器上呈現(xiàn)玩游戲空間的表示。

提供本發(fā)明內(nèi)容以便以簡(jiǎn)化形式介紹將在以下的具體實(shí)施方式中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標(biāo)識(shí)出所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護(hù)的主題的范圍。此外，所要求保護(hù)的主題不限于解決在本發(fā)明的任一部分中提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。

附圖說明