[發(fā)明專(zhuān)利]復(fù)雜場(chǎng)景的二維視頻轉(zhuǎn)換為三維視頻的方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201010145891.1
• 申請(qǐng)日: 2010-04-13
• 公開(kāi)（公告）號(hào): CN101917636A
• 公開(kāi)（公告）日: 2010-12-15
• 發(fā)明（設(shè)計(jì)）人: 方勇;王兆仲
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海易維視科技有限公司
• 主分類(lèi)號(hào): H04N13/00
• 分類(lèi)號(hào): H04N13/00
• 代理公司: 上海光華專(zhuān)利事務(wù)所 31219
• 代理人: 王松

技術(shù)領(lǐng)域

本發(fā)明屬于視頻轉(zhuǎn)換技術(shù)領(lǐng)域，涉及一種視頻轉(zhuǎn)換方法，尤其涉及一種復(fù)雜場(chǎng)景的二維視頻轉(zhuǎn)換為三維視頻的方法；同時(shí)，本發(fā)明還涉及上述方法對(duì)應(yīng)的視頻轉(zhuǎn)換系統(tǒng)。

背景技術(shù)

在3D硬件顯示設(shè)備日趨成熟的背景下，對(duì)3D視頻數(shù)據(jù)的需求量迅猛增長(zhǎng)。利用3D攝像機(jī)拍攝新的3D視頻是一種提供數(shù)據(jù)的可行方式，但這種方式成本較高，并且無(wú)法利用已經(jīng)存在的海量2D視頻數(shù)據(jù)。因此將已有的2D視頻轉(zhuǎn)換為3D視頻的技術(shù)有著巨大的市場(chǎng)需求。

二維數(shù)據(jù)轉(zhuǎn)換成三維數(shù)據(jù)的方法和裝置已經(jīng)有一些公開(kāi)文獻(xiàn)。如：

中國(guó)臺(tái)灣的廣達(dá)電腦股份有限公司申請(qǐng)的專(zhuān)利“可自動(dòng)將二維影像轉(zhuǎn)換為三維影像的方法”(公開(kāi)號(hào)CN101211463)利用在2D影像中圈選對(duì)象、設(shè)定基線、給予物件位移量等操作轉(zhuǎn)換3D視頻，該方案實(shí)際上需要人工干預(yù)，對(duì)復(fù)雜場(chǎng)景的視頻效率較低。

上海交通大學(xué)申請(qǐng)的專(zhuān)利“二維圖像序列三維重建方法”(公開(kāi)號(hào)CN1588452)從二維圖像序列中分割出感興趣的對(duì)象并構(gòu)造三維體數(shù)據(jù)，最終采用計(jì)算機(jī)繪制手段將三維物體繪制出來(lái)，但該方法的最終輸出是圖形數(shù)據(jù)，而不是3D視頻。

福州華映視訊有限公司申請(qǐng)的專(zhuān)利“將二維影像轉(zhuǎn)換為三維影像的方法”(公開(kāi)號(hào)CN101593349)將二維影像轉(zhuǎn)換為灰階影像再提取深度值，利用的信息量小，適用范圍比較有限。

美國(guó)奧拉西伊公司的專(zhuān)利“用于自動(dòng)進(jìn)行二維和三維轉(zhuǎn)換的方法”(公開(kāi)號(hào)CN1524249)提供了一種用于控制已知的光學(xué)原理來(lái)將單個(gè)主圖像轉(zhuǎn)換成多個(gè)圖像的方法，該專(zhuān)利是針對(duì)圖像的技術(shù)，沒(méi)有利用視頻的相關(guān)性信息。

日本三洋電機(jī)株式會(huì)社的專(zhuān)利“將二維圖像轉(zhuǎn)換成三維圖像的方法”(公開(kāi)號(hào)CN1126344)同樣是關(guān)于圖像的轉(zhuǎn)換方法，沒(méi)有利用視頻信息。

韓國(guó)三星電子株式會(huì)社的專(zhuān)利“從二維圖像產(chǎn)生三維圖像的裝置及其方法”(公開(kāi)號(hào)CN1426024)，該方案根據(jù)圖像的照明特征利用濾波器生成三維圖像。

荷蘭皇家飛利浦電子股份有限公司申請(qǐng)的專(zhuān)利“將二維視頻轉(zhuǎn)換為三維視頻的方法和系統(tǒng)”(公開(kāi)號(hào)CN101563935)，該方案根據(jù)對(duì)場(chǎng)景的音頻信息的分析來(lái)制定該場(chǎng)景的視覺(jué)深度。

美國(guó)切克梅特國(guó)際公司的專(zhuān)利“用于從二維視頻源中合成出三維視頻的系統(tǒng)和方法”(公開(kāi)號(hào)CN1244278)對(duì)來(lái)自二維視頻源的幀進(jìn)行數(shù)字化并將其分解為多個(gè)場(chǎng)，隨后對(duì)這些場(chǎng)單獨(dú)進(jìn)行處理并對(duì)其進(jìn)行變換以引入在與其它場(chǎng)組接在一起時(shí)可被觀察者理解為三維圖像的視覺(jué)線索。

由此可見(jiàn)，上述方案所公開(kāi)的技術(shù)方案中，還沒(méi)有將包含有復(fù)雜場(chǎng)景的二維視頻(如內(nèi)容豐富的平面電視和平面電影信號(hào))轉(zhuǎn)換為三維視頻的方案。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是：提供一種復(fù)雜場(chǎng)景的二維視頻轉(zhuǎn)換為三維視頻的方法，可將復(fù)雜場(chǎng)景的二維視頻轉(zhuǎn)換成三維視頻。

此外，本發(fā)明進(jìn)一步提供上述方法對(duì)應(yīng)的視頻轉(zhuǎn)換系統(tǒng)，可將復(fù)雜場(chǎng)景的二維視頻轉(zhuǎn)換成三維視頻。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用如下技術(shù)方案：

一種復(fù)雜場(chǎng)景的二維視頻轉(zhuǎn)換為三維視頻的方法，所述方法包括如下步驟：

步驟1、對(duì)輸入的二維視頻作場(chǎng)景分割，把每一幀分割為前景部分和背景部分；

步驟2、判斷前景目標(biāo)的類(lèi)型，如果目標(biāo)的先驗(yàn)?zāi)Ｐ臀粗瑒t利用視頻相鄰幀之間的光流信息進(jìn)行前景的三維重建；如果目標(biāo)的先驗(yàn)?zāi)Ｐ鸵阎瑒t利用目標(biāo)的先驗(yàn)?zāi)Ｐ瓦M(jìn)行前景的三維重建；

步驟3、判斷背景是否運(yùn)動(dòng)，如果背景運(yùn)動(dòng)，則利用基于運(yùn)動(dòng)的重建方法進(jìn)行背景的三維重建；如果背景靜止，則利用基于影調(diào)的重建方法進(jìn)行背景的三維重建；

步驟4、將步驟2得到的三維重建結(jié)果合成三維前景；

步驟5、將步驟3得到的三維重建結(jié)果合成三維背景；

步驟6、將步驟4得到的三維前景和步驟5得到的三維背景合成三維視頻輸出。

作為本發(fā)明的一種優(yōu)選方案，所述前景部分指視頻中離攝像機(jī)近并且是視頻內(nèi)容所要關(guān)心的主要目標(biāo)的部分；所述背景部分指視頻中離攝像機(jī)遠(yuǎn)并且非視頻內(nèi)容所要關(guān)心的主要目標(biāo)的部分。

作為本發(fā)明的一種優(yōu)選方案，所述步驟1中的分割方法為：利用基于彩色信息或基于運(yùn)動(dòng)信息的分割方法。

作為本發(fā)明的一種優(yōu)選方案，所述步驟6中，輸出形式是將輸入的2D視頻的每一幀作為3D視頻幀的其中一個(gè)視圖，而新生成的幀作為3D視頻幀的另一個(gè)視圖，兩個(gè)視圖一起組成完整的3D視頻幀，并輸入到相應(yīng)的3D視頻顯示裝置進(jìn)行顯示。

作為本發(fā)明的一種優(yōu)選方案，所述步驟6中，輸出形式是在每一時(shí)刻新生成的兩個(gè)幀作為該時(shí)刻3D視頻幀的左右視圖。