[發(fā)明專利]用于3D顯示的基于多線索的視頻處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201010198646.7
• 申請(qǐng)日: 2010-06-04
• 公開（公告）號(hào): CN102271262A
• 公開（公告）日: 2011-12-07
• 發(fā)明（設(shè)計(jì)）人: 王海濤;馬賡宇;梅星;金智淵;金智元;鄭用柱
• 申請(qǐng)（專利權(quán)）人: 三星電子株式會(huì)社;北京三星通信技術(shù)研究有限公司
• 主分類號(hào): H04N13/00
• 分類號(hào): H04N13/00;G06T15/00
• 代理公司: 北京銘碩知識(shí)產(chǎn)權(quán)代理有限公司 11286
• 代理人: 郭鴻禧;王艷嬌

技術(shù)領(lǐng)域

本發(fā)明涉及一種視頻處理方法，更具體地，涉及一種用于3D顯示的基于多線索的視頻處理方法。

背景技術(shù)

最近幾年，由于在包括醫(yī)療、教育、娛樂和制造業(yè)的廣泛領(lǐng)域內(nèi)的迫切需要，3D(三維)顯示市場已經(jīng)快速擴(kuò)展。同時(shí)，由于大量3D素材(尤其是3D電影)對(duì)于普通消費(fèi)者可用，因此未來幾年3D顯示市場的擴(kuò)展速度會(huì)更加快速。雖然每年整個(gè)電影工業(yè)會(huì)制作更多的3D電影，但是仍有大量視頻素材是通過單個(gè)相機(jī)捕捉，并以傳統(tǒng)2D(二維)格式存儲(chǔ)。由于這些單眼2D視頻沒有相應(yīng)的深度信息，故它們不能直接被3D顯示。因此，由于巨大的市場潛力，2D到3D視頻轉(zhuǎn)換技術(shù)引起了工業(yè)的極大興趣。

大多數(shù)現(xiàn)有轉(zhuǎn)換方法和技術(shù)(諸如，TriDef的3D體驗(yàn)方案(DDD))都遵循相似的工作流程：首先從輸入視頻序列估計(jì)似然深度圖，隨后將視頻幀與深度圖組合以用于立體視角合成。為了恢復(fù)這些場景的深度信息，通常使用各種深度線索(諸如，陰影、運(yùn)動(dòng)估計(jì)、紋理模式、聚焦/失焦、幾何透視和統(tǒng)計(jì)模型)用于視頻分析。雖然這些現(xiàn)有轉(zhuǎn)換方法獲得了一些明顯效果，但是它們沒有為實(shí)際應(yīng)用做好準(zhǔn)備，原因在于：首先，深度線索僅對(duì)特定視覺場景具有較好的效果，這種對(duì)視覺場景的極端假設(shè)通常會(huì)在一般視頻素材中被干擾；其次，難以將各種線索組合以產(chǎn)生一致的深度結(jié)果；再次，從單眼圖像或視頻恢復(fù)深度本身就是不適定問題。在一些情況中，如果沒有必需的多視角信息，則不可能測量視覺深度。

顯著圖是指示視覺場景的視覺顯著性的強(qiáng)度圖，已經(jīng)在大腦和視覺科學(xué)領(lǐng)域中對(duì)其進(jìn)行了二十多年的研究。圖1示出示例性視覺場景及其相應(yīng)的顯著圖。如圖1所示，顯著圖中的亮度區(qū)域表示引起人類觀察者注意的對(duì)象。由于顯著圖可以提供有價(jià)值的低等級(jí)場景信息，故已經(jīng)將其廣泛應(yīng)用于許多機(jī)器版本任務(wù)，諸如自動(dòng)目標(biāo)檢測和視頻壓縮等。

然而，現(xiàn)有顯著技術(shù)不適用于2D到3D視頻轉(zhuǎn)換。雖然這些通過現(xiàn)有方法產(chǎn)生的顯著圖成功地指出場景中的重要對(duì)象，但是這些顯著圖共有以下缺點(diǎn)：出現(xiàn)塊狀；顯著信息沒有準(zhǔn)確跟隨對(duì)象邊界；對(duì)于較大的對(duì)象，僅高亮顯示輪廓而不填充整個(gè)對(duì)象。現(xiàn)有顯著技術(shù)的另一問題是僅聚焦于靜態(tài)顯著特征(諸如，強(qiáng)度/色彩對(duì)比、亮度和定位)，而沒有對(duì)視頻素材中提供了重要的視覺信息的動(dòng)態(tài)線索(諸如，運(yùn)動(dòng)對(duì)象和人)進(jìn)行處理。

發(fā)明內(nèi)容

本發(fā)明提供了一種用于3D顯示的基于多線索的視頻處理方法，該方法對(duì)現(xiàn)有顯著技術(shù)進(jìn)行改進(jìn)，并將改進(jìn)的顯著技術(shù)應(yīng)用于2D到3D視頻轉(zhuǎn)換。

本發(fā)明提供了一種用于3D顯示的基于多線索的視頻處理方法，所述方法包括：1)對(duì)輸入視頻的每個(gè)幀進(jìn)行鏡頭的邊界檢測，獲得鏡頭的切邊界；2)對(duì)輸入視頻的每個(gè)像素計(jì)算紋理顯著；3)對(duì)輸入視頻的每個(gè)像素計(jì)算運(yùn)動(dòng)顯著；4)基于獲得的鏡頭的切邊界對(duì)輸入視頻的每個(gè)像素計(jì)算對(duì)象顯著；5)通過將紋理顯著、運(yùn)動(dòng)顯著、對(duì)象顯著組合來獲得每個(gè)像素的通用顯著。

所述步驟1)可包括：對(duì)輸入視頻的每個(gè)幀計(jì)算HSV直方圖；計(jì)算當(dāng)前幀與先前幀的HSV直方圖之差，得到直方圖相交距離；將直方圖相交距離與閾值進(jìn)行比較，如果直方圖相交距離低于閾值，則當(dāng)前幀被檢測為鏡頭的切邊界。

所述閾值可等于一幀圖像總像素?cái)?shù)的一半。

所述步驟1)可包括：對(duì)輸入視頻的每個(gè)幀計(jì)算HSV直方圖；在與當(dāng)前幀相鄰的先前幀和隨后幀可用時(shí)，計(jì)算先前幀與當(dāng)前幀的直方圖之差和當(dāng)前幀與隨后幀的直方圖之差，得到第一相交距離和第二相交距離；將第一相交距離與第一閾值進(jìn)行比較，第二相交距離與第二閾值進(jìn)行比較，如果第一相交距離低于第一閾值并且第二相交距離高于第二閾值，則當(dāng)前幀被檢測為鏡頭的切邊界。

所述第一閾值可等于第二閾值等于一幀圖像總像素?cái)?shù)的一半。

所述步驟2)可包括：對(duì)每個(gè)幀構(gòu)造金字塔結(jié)構(gòu)，通過一對(duì)參數(shù)(lx，ly)分別控制金字塔結(jié)構(gòu)的X、Y方向的尺度等級(jí)，使用以下公式來計(jì)算像素x的紋理顯著S_T(x)：