[發(fā)明專利]用于處理視頻圖像的系統(tǒng)和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 200580037763.2
• 申請(qǐng)日: 2005-09-07
• 公開（公告）號(hào): CN101053000A
• 公開（公告）日: 2007-10-10
• 發(fā)明（設(shè)計(jì)）人: 大衛(wèi)·A·斯普納;托德·辛普森
• 申請(qǐng)（專利權(quán)）人: 轉(zhuǎn)換器有限公司
• 主分類號(hào): G06T15/10
• 分類號(hào): G06T15/10
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 楊生平;楊林森

技術(shù)領(lǐng)域

本發(fā)明總的涉及處理圖形圖像。?

背景技術(shù)

許多技術(shù)已經(jīng)被提出，并且在許多情形中已經(jīng)被實(shí)現(xiàn)來執(zhí)行一個(gè)或者多個(gè)二維圖像到一個(gè)或者多個(gè)立體三維圖像的轉(zhuǎn)換。二維圖像到三維圖像的轉(zhuǎn)換涉及到為每個(gè)三維幀創(chuàng)建一對(duì)立體圖像。然后使用適合的顯示設(shè)備，可以將立體圖像呈現(xiàn)給觀察者的左眼和右眼。根據(jù)場景中的對(duì)象和場景的觀察者之間的計(jì)算出的空間關(guān)系，相應(yīng)的立體圖像之間的圖像信息不同。圖像信息中的差別使得觀察者能夠感覺到三維效果。?

在美國專利第6,477,267號(hào)(‘267專利)中描述了轉(zhuǎn)換技術(shù)的一個(gè)例子。在‘267專利中，只對(duì)給出的二維圖像中所選擇的對(duì)象進(jìn)行處理以取得最終三維圖像中的三維效果。在‘267專利中，最初是通過描繪對(duì)象的輪廓來選擇對(duì)象以進(jìn)行這種處理。所選擇的對(duì)象被分配一“深度”值，該“深度”值代表對(duì)象離開觀察者的相對(duì)距離。針對(duì)依賴于所分配的深度值的一對(duì)立體圖像中的每個(gè)圖像，執(zhí)行所選對(duì)象的橫向位移。本質(zhì)上，發(fā)生“剪切-粘貼”操作以創(chuàng)建三維效果。對(duì)象的簡單位移在對(duì)象的背景中產(chǎn)生了縫隙或者空白區(qū)域。‘267專利中公開的系統(tǒng)通過“伸展”對(duì)象的背景以填充空白區(qū)域來補(bǔ)償縫隙。?

‘267專利有許多局限性。具體地，伸展操作會(huì)引起被伸展對(duì)象的變形。伸展需要被最小化以減小視覺的異常。伸展量還對(duì)應(yīng)于對(duì)象與其背景之間的差別或視差，并且伸展量是其距觀察者的相對(duì)距離的函數(shù)。因此，相互作用的對(duì)象的相對(duì)距離必須保持較小。?

在美國專利第6,466,205號(hào)(‘205專利)中描述了轉(zhuǎn)換技術(shù)的另一例子。在‘205專利中，對(duì)視頻幀的序列進(jìn)行處理以選擇對(duì)象并且創(chuàng)建所選對(duì)象的“單元(cell)”或者“消光(mattes)”，其基本上僅僅包括與它們各自的對(duì)象相關(guān)的信息。在給定幀中，由另一對(duì)象對(duì)所選對(duì)象的局部遮蔽通過在時(shí)間上搜索視頻幀序列以識(shí)別其中第一對(duì)象的相同部分未被遮蔽的?其它的幀來處理。因此，即使完整的對(duì)象沒有出現(xiàn)于任何的單個(gè)幀中，也可以為完整的對(duì)象創(chuàng)建單元。這種處理的優(yōu)點(diǎn)是在為了提供三維效果而移置對(duì)象時(shí)不會(huì)出現(xiàn)縫隙或者空白區(qū)域。具體地，會(huì)成為空白的一部分背景或者其它對(duì)象可以用從時(shí)間序列中的其它幀獲得的圖形信息來填充。因此，三維圖像的再現(xiàn)可以以有利的方式出現(xiàn)。?

發(fā)明內(nèi)容

一些典型的實(shí)施例旨在通過處理一系列的二維圖像，以生成由該系列的圖像所描述的實(shí)物世界的表示，從而創(chuàng)建“虛擬世界”。虛擬世界表示包括對(duì)象模型，該對(duì)象模型指定虛擬世界內(nèi)對(duì)象的位置、對(duì)象的幾何形狀、對(duì)象的維數(shù)、對(duì)象的表面表示和/或其它相關(guān)的信息。通過開發(fā)虛擬世界表示，可以運(yùn)用許多圖像處理效果。?

在一實(shí)施例中，可以創(chuàng)建立體圖像。為了創(chuàng)建一對(duì)立體圖像，利用兩個(gè)不同的相機(jī)位置，再現(xiàn)虛擬世界的兩個(gè)單獨(dú)的視圖，其對(duì)應(yīng)于觀察者的左眼和右眼。以這種方式再現(xiàn)的立體圖像產(chǎn)生的三維效果比采用公知的轉(zhuǎn)換技術(shù)可能得到的感覺質(zhì)量更好。具體地，使用三維幾何學(xué)進(jìn)行表面重構(gòu)實(shí)現(xiàn)了比采用二維相關(guān)性時(shí)可能實(shí)現(xiàn)的更加精確的對(duì)象表示。?

在一實(shí)施例中，通過使用編輯應(yīng)用軟件，將算法分析和手動(dòng)輸入應(yīng)用于一系列的二維圖像上。編輯應(yīng)用軟件的圖形用戶界面使“編輯者”能夠控制圖像處理算法和相機(jī)重構(gòu)算法的操作以開始對(duì)象模型的創(chuàng)建。運(yùn)用算法的同時(shí)，編輯者可以通過圖形用戶界面提供用戶輸入來精致對(duì)象模型。通過協(xié)調(diào)手動(dòng)和自動(dòng)圖像操作，可以以高效的方式將二維序列轉(zhuǎn)換成虛擬世界表示。因此，諸如二維到三維轉(zhuǎn)換的進(jìn)一步的圖像處理可以以比使用已知處理技術(shù)更高效和更精確的方式發(fā)生。?

上述內(nèi)容相當(dāng)廣泛地概括了本發(fā)明的特征和技術(shù)優(yōu)點(diǎn)，從而使得能更好地理解下面的本發(fā)明的詳細(xì)描述。本發(fā)明另外的特征和優(yōu)點(diǎn)將在下文中描述，其形成本發(fā)明權(quán)利要求的主題。應(yīng)該理解，所公開的構(gòu)思和具體實(shí)施例可以被方便地用作修改或設(shè)計(jì)其它結(jié)構(gòu)以用于實(shí)現(xiàn)本發(fā)明的相同目的的基礎(chǔ)。應(yīng)該意識(shí)到，這種等同的構(gòu)造并不脫離如所附權(quán)利要求所述的發(fā)明。在結(jié)合附圖考慮時(shí)，根據(jù)下面的描述，將更好地理解與本發(fā)明的結(jié)構(gòu)和操作方法有關(guān)的、被認(rèn)為是本發(fā)明的特性的新穎特征，以及更多的目的和優(yōu)點(diǎn)。然而，應(yīng)該清楚地理解，所提供的每個(gè)圖只是為了說明和描述?的目的，并不是作為本發(fā)明的限制的限定。?

具體實(shí)施方式

對(duì)視頻圖像序列進(jìn)行處理，所述視頻圖像序列包括稱為1到4的四個(gè)關(guān)鍵幀。在這些關(guān)鍵幀之間可以存在多個(gè)其它幀。?