[發(fā)明專利]一種圖像深度圖生成方法

有效

• 申請?zhí)枺?/td>: 201210365781.5
• 申請日: 2012-09-27
• 公開（公告）號: CN102881018A
• 公開（公告）日: 2013-01-16
• 發(fā)明（設(shè)計）人: 王好謙;田雨時;張永兵;戴瓊海
• 申請（專利權(quán)）人: 清華大學(xué)深圳研究生院
• 主分類號: G06T7/00
• 分類號: G06T7/00;H04N13/02
• 代理公司: 深圳新創(chuàng)友知識產(chǎn)權(quán)代理有限公司 44223
• 代理人: 江耀純

【技術(shù)領(lǐng)域】

本發(fā)明涉及計算機視覺立體視頻領(lǐng)域，具體涉及一種圖像深度圖生成方法。

【背景技術(shù)】

立體視頻利用人的立體視覺機理，能給人提供如同身臨其境般的三維立體觀感，極大地豐富了人們的生活。近年來3D電影和3D電視飛速發(fā)展，技術(shù)水平不斷提高，市場逐步擴大。平面轉(zhuǎn)立體視頻的研究具有巨大市場潛力，而且這項技術(shù)本身也將大力推動立體顯示產(chǎn)業(yè)的發(fā)展。目前立體顯示產(chǎn)業(yè)面臨的最大問題就是片源、素材的問題。一方面片源、素材的數(shù)量比傳統(tǒng)的平面媒體要少很多，立體視頻面臨的一個重大問題就是片源稀缺，而現(xiàn)有的平面視頻片源又十分龐大可以充分利用，另一方面制作新的立體顯示素材成本過于昂貴，直接由3D攝像機拍攝操作復(fù)雜且成本高居不下。因此將部分平面視頻轉(zhuǎn)換為立體視頻是一種經(jīng)濟有效的途徑。研究方便快速的方法使原有的大量平面片源素材轉(zhuǎn)換成可以立體顯示的素材，可以大大推動立體顯示技術(shù)的普及。

對于基于深度圖的平面視頻轉(zhuǎn)立體視頻技術(shù)，獲取視頻所有幀的深度圖是關(guān)鍵所在。一幀彩色圖像的深度圖可以由人工進行摳圖并賦值得到，也可利用計算機根據(jù)一定的算法自動生成，前者生成的深度圖質(zhì)量較高但需要大量的時間和人力，而相對來說后者雖然更為快速但不能保證生成的深度圖質(zhì)量。

一種半自動的轉(zhuǎn)換技術(shù)結(jié)合了上述兩種方式的優(yōu)點，深度圖的獲取包括了人工繪制和計算機自動生成兩種方式。即先由人工繪制視頻中少數(shù)關(guān)鍵幀的精細深度圖，然后利用計算機根據(jù)深度傳播算法生成其他幀的深度圖。深度傳播技術(shù)在保證較好的深度圖質(zhì)量的同時，大大減少了了人工逐幀繪制深度圖的轉(zhuǎn)換時間和經(jīng)濟成本。

深度傳播實際上是一個深度插值的過程，即通過關(guān)鍵幀的精細深度信息去插值其余幀的深度圖。深度傳播算法需要保證生成的深度圖有較好的質(zhì)量，深度圖序列要保持連續(xù)性，且誤差要控制在一定范圍內(nèi)。由于深度信息是由關(guān)鍵幀向其余非關(guān)鍵幀傳播，沿著傳播方向誤差的逐漸累積造成深度圖質(zhì)量下降是一個急需解決的問題。

【發(fā)明內(nèi)容】

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種圖像深度圖生成方法，以提高待插值的當(dāng)前幀圖像的深度圖的精度。

一種圖像深度圖生成方法，包括如下步驟：

1）對當(dāng)前幀圖像的當(dāng)前塊，在參考幀圖像中相應(yīng)的區(qū)域選取若干個參考塊；

2）計算當(dāng)前塊與每個參考塊之間的深度塊匹配誤差和彩色塊匹配誤差，其中，深度塊匹配誤差是指，當(dāng)前塊與參考塊之間所有相對應(yīng)的像素點之間的深度值差的絕對值之和；彩色塊匹配誤差是指，當(dāng)前塊與參考塊之間所有相對應(yīng)的像素點之間的彩色像素值差的絕對值之和；

3）對當(dāng)前塊與某個參考塊，將相應(yīng)的深度塊匹配誤差與彩色塊匹配誤差進行加權(quán)，得到綜合匹配誤差；

4）選取綜合匹配誤差最小時對應(yīng)的某個參考塊，將該參考塊的深度圖作為當(dāng)前塊的深度圖。

優(yōu)選地，所述步驟3）中，深度塊匹配誤差的加權(quán)系數(shù)與彩色塊匹配誤差的加權(quán)系數(shù)之和為1。

優(yōu)選地，深度塊匹配誤差的加權(quán)系數(shù)的取值為0.90至0.85，彩色塊匹配誤差的加權(quán)系數(shù)的取值為0.10至0.15。

優(yōu)選地，在對視頻圖像幀進行處理過程中，還包括如下步驟：

5）在當(dāng)前幀圖像的前后分別選取第一參考幀圖像和第二參考幀圖像，分別按照步驟1）至步驟4），計算得到當(dāng)前塊的依據(jù)第一參考幀圖像獲得的第一深度圖、以及依據(jù)第二參考幀圖像獲得的第二深度圖；

6）將第一深度圖與第二深度圖進行加權(quán)的結(jié)果作為當(dāng)前塊的最終深度圖。

優(yōu)選地，通過如下步驟獲取步驟2）中當(dāng)前塊的當(dāng)前像素點的深度值：