[發(fā)明專(zhuān)利]用于處理視頻圖像的系統(tǒng)和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 200580037763.2
• 申請(qǐng)日: 2005-09-07
• 公開(kāi)（公告）號(hào): CN101053000A
• 公開(kāi)（公告）日: 2007-10-10
• 發(fā)明（設(shè)計(jì)）人: 大衛(wèi)·A·斯普納;托德·辛普森
• 申請(qǐng)（專(zhuān)利權(quán)）人: 轉(zhuǎn)換器有限公司
• 主分類(lèi)號(hào): G06T15/10
• 分類(lèi)號(hào): G06T15/10
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 楊生平;楊林森

1.一種用于處理視頻序列的方法，包括：

限定與所述視頻序列的多個(gè)幀內(nèi)的對(duì)象相關(guān)聯(lián)的圖形數(shù)據(jù)；

將三維模型與所述對(duì)象相關(guān)聯(lián)；

限定所述對(duì)象在所述多個(gè)幀之間經(jīng)歷的變換；

針對(duì)所述多個(gè)幀的第一幀生成紋理映射數(shù)據(jù)，其中，所述生成：(i)識(shí)別所述三維模型的根據(jù)與所述第一幀相關(guān)聯(lián)的相機(jī)位置可見(jiàn)的第一部分；(ii)將與所述第一幀相關(guān)聯(lián)的經(jīng)限定的圖形數(shù)據(jù)包括在用于所述第一部分的紋理映射數(shù)據(jù)內(nèi)；(iii)識(shí)別所述三維模型的根據(jù)與所述第一幀相關(guān)聯(lián)的相機(jī)位置不可見(jiàn)的第二部分；(iv)根據(jù)所述對(duì)象在所述第一幀和至少第二幀之間經(jīng)歷的經(jīng)限定的變換，處理與所述多個(gè)幀中的至少所述第二幀相關(guān)聯(lián)的經(jīng)限定的圖形數(shù)據(jù)；并且，(v)將所述經(jīng)處理的圖形數(shù)據(jù)包括在用于所述第二部分的紋理映射數(shù)據(jù)內(nèi)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述限定變換包括：

限定所述對(duì)象經(jīng)歷的位置上的變化。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述經(jīng)限定的變換包括選自列表的至少一個(gè)變換，所述列表包括縮放變換、旋轉(zhuǎn)變換和變形變換。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述限定圖形數(shù)據(jù)包括：

限定所述對(duì)象在所述多個(gè)幀中的輪廓。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述限定輪廓包括：

經(jīng)由用戶(hù)界面從用戶(hù)接收輸入以限定所述對(duì)象表面的多個(gè)點(diǎn)；以及

執(zhí)行圖像處理算法來(lái)限定所述多個(gè)點(diǎn)之間的邊緣。

6.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：

針對(duì)所述第一幀生成立體圖像，其中，所述生成立體圖像包括利用所生成的紋理映射數(shù)據(jù)從兩個(gè)透視來(lái)再現(xiàn)所述三維模型。

7.根據(jù)權(quán)利要求1所述的方法，還包括：

針對(duì)所述多個(gè)幀中的每一個(gè)，重復(fù)所述生成紋理映射數(shù)據(jù)。

8.根據(jù)權(quán)利要求7所述的方法，還包括：

利用所述三維模型和所述紋理映射數(shù)據(jù)，生成立體圖像的序列。

9.根據(jù)權(quán)利要求1所述的方法，還包括：

針對(duì)所述多個(gè)幀中的多個(gè)對(duì)象，重復(fù)所述限定圖形數(shù)據(jù)、關(guān)聯(lián)、限定變換以及生成。

10.根據(jù)權(quán)利要求1所述的方法，還包括：

通過(guò)在所述第一幀中去除至少部分地遮蔽與所述三維模型相關(guān)聯(lián)的所述對(duì)象的另一個(gè)對(duì)象，再現(xiàn)所述第一幀的修改版本。

11.根據(jù)權(quán)利要求1所述的方法，還包括：

執(zhí)行相機(jī)重構(gòu)算法，其中所述生成過(guò)程利用由所述相機(jī)重構(gòu)算法生成的數(shù)據(jù)，限定與所述第二幀相關(guān)聯(lián)的圖形數(shù)據(jù)。

12.根據(jù)權(quán)利要求1所述的方法，其中，所述生成將用于所述第二部分的數(shù)據(jù)區(qū)分優(yōu)先次序?yàn)榫嗨龅谝粠臅r(shí)間距離的函數(shù)。

13.根據(jù)權(quán)利要求1所述的方法，其中，所述生成使用加權(quán)平均來(lái)處理所述經(jīng)處理的圖形數(shù)據(jù)以補(bǔ)償所述第一和第二幀之間的圖像差異。

14.一種用于處理視頻序列的系統(tǒng)，包括：

多個(gè)對(duì)象模型，利用三維元素來(lái)表示所述視頻序列中的對(duì)象；

多個(gè)變換數(shù)據(jù)結(jié)構(gòu)，限定所述對(duì)象在多個(gè)幀之間經(jīng)歷的變換；

用于生成紋理映射數(shù)據(jù)的紋理映射生成算法，其中，針對(duì)所述對(duì)象模型中的每一個(gè)和針對(duì)所述多個(gè)幀中的每一個(gè)，所述算法可用于：(i)識(shí)別相應(yīng)對(duì)象模型的根據(jù)所述多個(gè)幀的當(dāng)前幀的相機(jī)位置可見(jiàn)的第一部分；(ii)識(shí)別所述相應(yīng)對(duì)象模型的根據(jù)所述相機(jī)位置不可見(jiàn)的第二部分；(iii)將來(lái)自所述當(dāng)前幀的圖形數(shù)據(jù)包括在用于所述當(dāng)前幀的所述第一部分的紋理映射數(shù)據(jù)中；(iv)根據(jù)變換數(shù)據(jù)結(jié)構(gòu)，處理來(lái)自不同于所述當(dāng)前幀的至少一個(gè)幀的圖形數(shù)據(jù)；并且，(v)將所述被處理的圖形數(shù)據(jù)包括在用于所述第二部分的紋理映射數(shù)據(jù)中。

15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述多個(gè)對(duì)象模型對(duì)數(shù)據(jù)進(jìn)行編碼，所述數(shù)據(jù)限定了用于所述多個(gè)幀的三維中的所述多個(gè)對(duì)象模型的位置。

16.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述多個(gè)對(duì)象模型對(duì)數(shù)據(jù)進(jìn)行編碼，所述數(shù)據(jù)限定了所述多個(gè)對(duì)象模型的維數(shù)。

17.根據(jù)權(quán)利要求14所述的系統(tǒng)，還包括：

至少一個(gè)相機(jī)數(shù)據(jù)結(jié)構(gòu)，限定了用于抓取所述視頻序列的相機(jī)的特征。