[發明專利]基于樣本學習和深度圖像傳播的2D視頻立體化方法

有效

• 申請號: 201410010043.8
• 申請日: 2014-01-09
• 公開（公告）號: CN103716615A
• 公開（公告）日: 2014-04-09
• 發明（設計）人: 鄭喆坤;焦李成;王磊;馬晶晶;馬文萍;侯彪
• 申請（專利權）人: 西安電子科技大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N13/02
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華;朱紅星

1.一種基于樣本學習和深度圖像傳播的2D視頻立體化方法，其特征在于，包括如下步驟：

（1）提取圖像特征：

1a)輸入一幀大小為320×240的2D視頻圖像I₁，并提取其方向梯度直方圖特征向量

1b)從彩色-深度圖像對RGB-D數據庫中提取出大小為320×240的所有彩色圖像1≤i≤N，N為數據庫中彩色圖像的數量，并提取這些彩色圖像的方向梯度直方圖特征向量

（2）從RGB-D數據庫中檢索相似的參考圖像：

2a)分別計算輸入的視頻圖像I₁與RGB-D數據庫中各個彩色圖像的特征向量的歐式距離：其中，1≤i≤N；

2b)將得到的所有距離S_i按從小到大的順序排列，取前28個值所對應的彩色圖像作為參考圖像J_k，其中，1≤k≤28；

（3）利用中值濾波方法，從得到的28幅參考圖像J_k對應的深度圖像D_k中，確定輸入的視頻圖像I₁中各個像素位置的最佳深度值：d₁(x)＝median{D_k(x)}，1≤k≤28，其中d₁(x)表示輸入的視頻圖像I₁在像素位置x處的最佳深度值，median表示中值濾波運算；

（4）對輸入的視頻圖像I₁中各個像素位置的最佳深度值d₁(x)進行后處理：

4a）對輸入的視頻圖像I₁與其下一幀視頻圖像I₂，利用稠密光流估計方法計算出視頻圖像I₁在像素位置x的運動矢量V(x)＝(u_x,v_x)，并計算像素位置x的運動強度m(x)，其中，u_x表示像素位置x處的水平方向的運動分量，v_x表示像素位置x處的垂直方向的運動分量；

4b）設置運動強度閾值T₁=20，根據像素位置x的最佳深度值d₁(x)和運動強度m(x)計算該像素位置的基于運動改進的深度值d₂(x)：

若m(x)大于閾值T₁，則d₂(x)＝w₁×d₁(x)+w₂×m(x)，其中，權重w₁＝0.6，w₂＝0.4，

若該處的運動強度m(x)小于閾值T₁，則d₂(x)=d₁(x)；

4c）將輸入的視頻圖像I₁分為大小為4×4的塊，以各個塊作為結點U，相臨兩個塊的灰度值的差的絕對值作為這兩個塊的邊E，構建一個有權無向圖G(U,E)，將G(U,E)利用克魯斯卡爾方法構建最小生成樹，將最小生成樹中大于2.5的邊E斷開，得到的各個連通的子樹即為各個分割區域R_b，1≤b≤B，B為得到的分割區域的數量；

4d）計算像素位置x的基于分割改進的深度值d₃(x)：

d3(x)=Sbnum(Rb),x∈Rb]]>

其中，S_b表示分割區域R_b內的所有像素位置的深度值之和表示分割區域R_b內的像素個數；

4e）根據輸入的視頻圖像I₁和像素位置x的深度值d₃(x)，利用聯合雙邊濾波方法，計算像素位置x的基于濾波改進的深度值d₄(x)；

（5）根據步驟4a）中得到的運動矢量V(x)和步驟4e）得到的像素位置x的深度值d₄(x)，得到下一幀視頻圖像I₂在像素位置x的深度值：d₅(x)＝d₄(x-V(x))；

（6）利用深度圖像繪制技術，生成輸入視頻圖像I₁和下一幀視頻圖像I₂的左右格式的3D視圖：

6a）利用上述參數分別計算視頻圖像I₁和下一幀視頻圖像I₂在像素位置x處的左眼視點L₁(x)和L₂(x)：

L1(x)=I1(x+t2×d4(x)f),L2(x)=I2(x+t2×d5(x)f),]]>

其中，f表示估計的拍攝輸入視頻的攝像機的焦距，f=50，t表示人的兩只眼睛的間距，t=6；

6b）根據各個像素位置的左眼視點得到左眼視圖L_z，以輸入的視頻圖像I_z為右眼視圖，得到左右格式的3D視圖{L_z,I_z}，z＝1,2。