[發(fā)明專利]一種視頻幀深度圖的生成方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 200810225515.6
• 申請日: 2008-11-03
• 公開（公告）號: CN101400001A
• 公開（公告）日: 2009-04-01
• 發(fā)明（設(shè)計）人: 戴瓊海;徐楓;謝旭東
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N13/02
• 代理公司: 北京國昊天誠知識產(chǎn)權(quán)代理有限公司
• 代理人: 顧惠忠

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)多媒體技術(shù)領(lǐng)域，特別地，涉及一種在平面視頻轉(zhuǎn)化為立體視頻時，視頻序列中視頻幀深度圖的生成方法及系統(tǒng)。

背景技術(shù)

立體視頻，相對于現(xiàn)在廣為應(yīng)用的平面視頻，可以給用戶提供視頻中場景的深度信息，使用戶能夠通過視頻看到與真實世界幾乎完全一致的景象，產(chǎn)生巨大的真實感和臨場感。由于這一優(yōu)勢，立體視頻正在全世界范圍內(nèi)，在多個行業(yè)中得到越來越多的推廣和青睞。

隨著立體視頻技術(shù)的發(fā)展，立體視頻的片源制作受到人們的極大關(guān)注。將平面視頻轉(zhuǎn)化為立體視頻的技術(shù)手段，因為豐富的平面視頻素材以及平面視頻良好的兼容性，而成為獲得立體視頻片源的重要方法。

將平面視頻轉(zhuǎn)化為立體視頻，首先要獲取原平面視頻序列中每幀的深度信息，生成對應(yīng)的深度圖，來反映視頻幀中的圖像像素所表示的空間點到攝像機(jī)或觀察者的距離，再由一張張深度圖組成深度序列；其次利用深度序列，將原視頻序列變形，得到一路新的視頻序列。新視頻序列與原視頻序列一起，構(gòu)成了立體視頻的二維序列，將兩個序列通過一定的顯示技術(shù)，被人眼觀測，從而實現(xiàn)立體感知。因此，如何獲取原平面視頻序列中每幀的深度信息，進(jìn)而生成深度圖，成為平面視頻轉(zhuǎn)化為立體視頻中至關(guān)重要的技術(shù)。目前已經(jīng)有一些方法嘗試解決這一問題：

全自動的深度圖生成方法，該方法根據(jù)原視頻序列的圖像紋理、運動等信息進(jìn)行深度圖的獲取。

半自動的深度圖生成方法，該方法通過人機(jī)交互，由操作人員人借助經(jīng)驗在視頻幀圖像中分辨目標(biāo)及相關(guān)深度，通常是由操作人員使用相關(guān)軟件，在圖像中需要分配深度的每個目標(biāo)的輪廓周圍勾畫，并用決定距觀察者的深度或距離的灰色陰影來對目標(biāo)物體填充或“著色”，該過程將隨后對圖像中的每個目標(biāo)進(jìn)行重復(fù)，進(jìn)而生成視頻幀對應(yīng)的深度圖，這樣生成的深度圖一般比較準(zhǔn)確，可以實現(xiàn)真實的立體效果。

但是，對于全自動的深度圖生成方法，由于紋理、運動等信息與深度值并沒有必然的聯(lián)系，使得這種方法無法獲得準(zhǔn)確的深度圖。

對于半自動的深度圖生成方法，由于一般視頻的幀率都在20幀每秒以上，如果對一段視頻中的每一幀都進(jìn)行人機(jī)交互來獲取深度圖，那么工作量將異常繁重，這不僅會延長立體視頻的制作周期，而且會增加制作成本。

因此，需要本領(lǐng)域技術(shù)人員迫切解決的一個技術(shù)問題就是：如何能夠減少人工生成視頻幀深度圖的數(shù)量，縮短立體視頻的制作周期，同時獲得較為準(zhǔn)確的視頻幀的深度圖。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種視頻幀深度圖的生成方法及系統(tǒng)，能夠減少人工生成視頻幀深度圖的數(shù)量，縮短立體視頻的制作周期，同時獲得較為準(zhǔn)確的視頻幀的深度圖。

為了解決上述問題，本發(fā)明公開了一種視頻幀深度圖的生成方法，包括在視頻序列的連續(xù)視頻幀中選取關(guān)鍵幀，并獲取關(guān)鍵幀的深度圖，該方法還包括以下步驟：

提取視頻序列中連續(xù)幀上的特征點；

確定連續(xù)幀上各特征點的匹配關(guān)系；

計算在連續(xù)幀上相匹配的特征點之間的運動距離；

依據(jù)所述相匹配的特征點之間的運動距離以及關(guān)鍵幀的深度圖，確定相應(yīng)特征點在所屬非關(guān)鍵幀中的深度值；

對所述非關(guān)鍵幀進(jìn)行深度賦值，進(jìn)而獲得連續(xù)幀中各視頻幀的深度圖。

進(jìn)一步，所述確定連續(xù)幀上各特征點的匹配關(guān)系，具體包括以下步驟：

選取連續(xù)幀中某一幀作為基準(zhǔn)幀，以基準(zhǔn)幀的各特征點作為待匹配特征點；

在該基準(zhǔn)幀的相鄰幀上劃定與各特征點相應(yīng)的匹配特征點存在區(qū)域；

計算相鄰幀上所述各區(qū)域內(nèi)的特征點與相應(yīng)待匹配特征點之間的相似度；

選取相鄰幀上所述各區(qū)域內(nèi)相似度符合預(yù)置條件的特征點作為匹配特征點；

以所述相鄰幀作為基準(zhǔn)幀，重復(fù)前述步驟，獲得連續(xù)幀上各特征點的匹配關(guān)系。

優(yōu)選的，所述確定連續(xù)幀上各特征點的匹配關(guān)系，進(jìn)一步包括以下驗證步驟，

以所述相鄰幀上的各匹配特征點作為待匹配特征點，在所述基準(zhǔn)幀上劃定相應(yīng)的匹配特征點存在區(qū)域；

計算基準(zhǔn)幀上所述各區(qū)域內(nèi)的特征點與相鄰幀上的相應(yīng)待匹配特征點之間的相似度；

選取基準(zhǔn)幀上所述各區(qū)域內(nèi)相似度符合預(yù)置條件的特征點作為匹配特征點；

驗證基準(zhǔn)幀上的匹配特征點與所述基準(zhǔn)幀的各特征點是否對應(yīng)，若對應(yīng)，則所述相鄰幀上的匹配特征點與基準(zhǔn)幀上的各特征點相互匹配。

進(jìn)一步，所述匹配特征點存在區(qū)域為以某視頻幀上的一待匹配特征點在相鄰的視頻幀上的對應(yīng)坐標(biāo)為中心，以2T個像素為邊長所形成的矩形區(qū)域，其中，T的范圍為10～30。

進(jìn)一步，所述預(yù)置條件為：