[發明專利]一種基于圖像分割和運動估計的雙目視頻深度圖求取方法

有效

• 申請號: 201210181653.5
• 申請日: 2012-06-04
• 公開（公告）號: CN102750711A
• 公開（公告）日: 2012-10-24
• 發明（設計）人: 戴瓊海;馬瀟;曹汛;王好謙
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/20
• 分類號: G06T7/20;H04N13/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

技術領域

本發明涉及計算機多媒體技術領域，特別涉及一種基于圖像分割和運動估計的雙目視頻深度圖求取方法。

背景技術

立體視頻是一種能夠使人產生立體感的新型視頻技術，它可以使人通過視頻看到與真實世界幾乎完全一樣的景象，產生真實感和臨場感，所以必將成為未來多媒體技術的發展方向。目前，通常采用的立體視頻體系結構為：同時傳輸兩段視頻，其中一段是待轉換的平面視頻序列，另一段是相對應的深度圖序列，其包含了各幀中每個像素的深度信息，通過DIBR（Depth?Image?Based?Rendering,基于深度圖渲染）技術，獲得真實世界場景在一個或多個方向上的虛擬視角，最終合成立體視頻。

這種使用DIBR技術的立體視頻體系結構，最重要的和最困難的一步就是深度圖的獲取，目前，一種獲取方法是通過軟件算法，由一對從不同視角拍攝到的場景圖像恢復出場景的深度圖，還有一種方法是通過對平面圖像進行手工或半自動地處理，得到偽深度圖。

但是，上述獲取雙目視頻深度圖的方法存在很多缺陷，例如邊緣不夠準確，在遮擋部分得不到理想效果，準確性和實時性無法兼顧，深度圖不能夠較真實的反映場景物體的遠近關系等。

發明內容

本發明旨在至少解決現有技術中存在的技術問題，特別創新地提出了一種基于圖像分割和運動估計的雙目視頻深度圖求取方法。

為了實現本發明的上述目的，本發明提供了一種基于圖像分割和運動估計的雙目視頻深度圖求取方法，其包括如下步驟：

S1：對兩幅圖像分別進行單幀圖像分割；

S2：利用基于圖像分割的立體匹配算法進行深度計算；

S3：利用運動估計修正深度提取的結果。

本發明的基于圖像分割和運動估計的雙目視頻深度圖求取方法提取的深度圖邊緣準確，在遮擋部分也能夠得到理想效果，能夠兼顧準確性和實時性，真實地反映出場景物體的遠近關系。

在本發明的優選實施例中，采用自適應grabcut算法對兩幅圖像分別進行分割。該自適應grabcut算法為：假設前景為一個圓形，先對圖片進行hough變換尋找前景，再進行grabcut算法進行分割。

本發明的圖像分割方法充分利用彩色圖像的彩色信息將圖像分割成不同區域，有效克服了視差圖邊界模糊問題，能較好處理大的低紋理區域。

在本發明的另一優選實施例中，計算初始匹配點的方法為：計算各像素在不同視差的疊加匹配代價時采用改進的SSD算法，窗口選取為3*3，在分析和利用計算圖像每個窗口的SSD值時的模板在水平方向和豎直方向上具有的平移特性，以及前后上下窗口模板的相互關系，利用已計算的值，來計算新的窗口的SSD值。

本發明改進了grabcut和SSD算法，提出了新的能量函數和評價函數，得到了較好的深度圖效果。

在本發明的另一優選實施例中，進行深度計算的方法時引入模板優化和模板分配。該模板優化和模板分配的方法為：將不同時刻的同一不可靠區域的模板作為不同階段，此時對應的全局能量函數值即為此階段的狀態，每次改變一個不可靠區域的模板，而同時其他區域模板均不作改變，采用自底向上的方式計算最優值，最不同時刻的值依次計算，計算完成后，計算臨近幀能量函數值相差最小的一條最優軌跡，同時，更新這些幀的模板區域分配，下一幀使用更新后的結果。

本發明區域模板及模板優化的引入使得整個算法具有更好的魯棒性。

本發明的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。

附圖說明

本發明的上述和/或附加的方面和優點從結合下面附圖對實施例的描述中將變得明顯和容易理解，其中：

圖1是本發明基于圖像分割和運動估計的雙目視頻深度圖求取方法的流程圖；

圖2是本發明一個優選實施例中提供的單幀場景圖像對；

圖3是圖2中所示單幀場景圖像對利用基于圖像分割的立體匹配算法進行深度計算后的深度圖；

圖4是圖3中所示圖像利用運動估計進行修正后的深度圖。

具體實施方式

下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發明，而不能理解為對本發明的限制。

圖1是本發明基于圖像分割和運動估計的雙目視頻深度圖求取方法的流程圖，從圖中可見，該基于圖像分割和運動估計的雙目視頻深度圖求取方法包括如下步驟：