[發(fā)明專利]一種平面視頻的深度圖求取方法

有效

• 申請?zhí)枺?/td>: 201210067349.8
• 申請日: 2012-03-14
• 公開（公告）號: CN102622768A
• 公開（公告）日: 2012-08-01
• 發(fā)明（設(shè)計(jì)）人: 戴瓊海;巨金龍;林靖宇
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06T5/00
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張大威

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種基于背景重構(gòu)及運(yùn)動檢測的平面視頻的深度圖求取方法。

背景技術(shù)

在立體視頻處理技術(shù)中，平面視頻的深度圖生成是指通過平面視頻得到標(biāo)識場景立體信息的深度圖序列。

目前常用的深度圖生成方法主要是利用平面視頻的幾何信息，攝像機(jī)參數(shù)，平面視頻中物體的顏色特征等進(jìn)行全局求取。另外可以通過關(guān)鍵幀圖像及對應(yīng)的深度圖對非關(guān)鍵幀的深度圖進(jìn)行計(jì)算，計(jì)算方法主要包括深度擴(kuò)散或輪廓跟蹤等方法。該方法在關(guān)鍵幀和非關(guān)鍵幀變化較小的場景有較好的效果。

背景重構(gòu)和運(yùn)動檢測是視頻處理中的關(guān)鍵技術(shù)，背景重構(gòu)是指從具有運(yùn)動物體的場景中恢復(fù)靜態(tài)的背景。目前常用的方法是利用參數(shù)或非參數(shù)建模方法，對視頻中每個(gè)像素點(diǎn)建立模型，通過匹配模型對大量采樣進(jìn)行判斷和參數(shù)變更。主要利用了像素的顏色信息以及視頻幀間的關(guān)聯(lián)性。運(yùn)動檢測是指從有運(yùn)動物體的視頻中提取運(yùn)動物體的信息。目前常用的方法是將運(yùn)動信息，顏色信息和物體的幾何形狀信息相結(jié)合，從而提取出前景物體。

現(xiàn)有的深度圖生成方法往往只能處理包含簡單場景和運(yùn)動模式的平面視頻，對于具有復(fù)雜場景的處理缺乏魯棒性(robustness)，從而導(dǎo)致生成的深度圖精確度不高。

發(fā)明內(nèi)容

本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一，特別是提供一種能夠精確求取平面視頻中每一幀的深度圖像的方法。

為達(dá)到上述目的，本發(fā)明提供一種平面視頻的深度圖求取方法，包括以下步驟：S1：對原始平面視頻中的前景運(yùn)動物體進(jìn)行檢測和提取，計(jì)算所述前景運(yùn)動物體的遮擋關(guān)系，得到所述前景運(yùn)動物體的掩膜圖像；S2：根據(jù)所述前景運(yùn)動物體的掩膜圖像對所述原始平面視頻進(jìn)行背景重構(gòu)，以得到去除所述前景運(yùn)動物體的背景視頻序列；S3：對所述背景視頻序列求取背景深度圖序列；S4：對所述原始平面視頻求取初始深度圖序列；S5：根據(jù)所述初始深度圖序列中所述前景運(yùn)動物體的初始深度信息，以及所述背景深度圖序列中的所述前景運(yùn)動物體的幾何信息，得到所述平面原始視頻的深度圖序列。

在本發(fā)明的一個(gè)實(shí)施例中，所述步驟S01進(jìn)一步包括以下步驟：S11：通過運(yùn)動檢測方法檢測并提取所述原始平面視頻中的所述前景運(yùn)動物體；S12：計(jì)算所述前景運(yùn)動物體的面積，并將其中面積較小的物體去除；S13：根據(jù)所述前景運(yùn)動物體的顏色信息，判斷可能存在的多個(gè)所述前景物體之間的遮擋關(guān)系。

在本發(fā)明的一個(gè)實(shí)施例中，步驟S2進(jìn)一步包括以下步驟：S21：根據(jù)所述前景運(yùn)動物體的掩膜圖像，得到去除所述前景運(yùn)動物體的背景視頻序列；S22：根據(jù)圖像相鄰像素的相似性對所述背景視頻序列進(jìn)行圖像修補(bǔ)；S23：根據(jù)所述前景運(yùn)動物體的運(yùn)動信息和所述背景視頻序列幀間的像素關(guān)聯(lián)，填補(bǔ)所述背景視頻序列中的空白區(qū)域；S24：根據(jù)圖像相鄰像素的相似性對所述背景視頻序列進(jìn)行插值和平滑操作。

在本發(fā)明的一個(gè)實(shí)施例中，步驟S22中所述圖像修補(bǔ)的算法包括：inpaint算法、patch-match算法。

在本發(fā)明的一個(gè)實(shí)施例中，步驟S3包括：對所述背景視頻序列使用靜態(tài)場景的深度圖生成算法，以得到所述背景深度圖序列。

在本發(fā)明的一個(gè)實(shí)施例中，靜態(tài)場景的深度圖生成算法包括Bundle算法。

在本發(fā)明的一個(gè)實(shí)施例中，步驟S4包括：使用深度估計(jì)算法對所述原始平面視頻進(jìn)行深度估計(jì)，以得到所述初始深度圖序列。

在本發(fā)明的一個(gè)實(shí)施例中，所述深度估計(jì)算法包括BP算法。

在本發(fā)明的一個(gè)實(shí)施例中，步驟S5進(jìn)一步包括以下步驟：S51：由所述前景運(yùn)動物體的掩膜圖像和所述初始深度圖序列得到所述前景運(yùn)動物體的初始深度圖；S52：結(jié)合所述背景深度圖序列的信息和所述前景運(yùn)動物體的空間位置信息，對每一幀所述前景運(yùn)動物體的初始深度圖進(jìn)行修正，以得到包含所述前景運(yùn)動物體和背景的深度圖序列；S53：對包含所述前景運(yùn)動物體和背景的深度圖序列進(jìn)行濾波處理。

在本發(fā)明的一個(gè)實(shí)施例中，步驟S52進(jìn)一步包括：計(jì)算攝像機(jī)參數(shù)，結(jié)合所述前景運(yùn)動物體的空間位置信息估計(jì)所述前景運(yùn)動物體所處的運(yùn)動平面；在所述背景深度圖序列中，提取所述運(yùn)動平面的深度信息，對每一幀所述前景運(yùn)動物體的初始深度圖進(jìn)行修正。

在本發(fā)明的一個(gè)實(shí)施例中，步驟S53中所述濾波處理包括：雙邊濾波，高斯濾波。

在本發(fā)明的一個(gè)實(shí)施例中，步驟S5之后還包括：對所述平面原始視頻的深度圖序列進(jìn)行平滑后處理。