[發明專利]一種適于3D電視虛擬視點生成的優化方法

無效

• 申請號: 201210080739.9
• 申請日: 2012-03-24
• 公開（公告）號: CN102625127A
• 公開（公告）日: 2012-08-01
• 發明（設計）人: 宋剛;張巍巍;薛金寶;孟顯奎;曹洪劍
• 申請（專利權）人: 山東大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N13/02
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張勇

1.一種適于3D電視虛擬視點生成的優化方法，其特征是，該方法的優化步驟如下：

步驟1：利用攝像系統首先獲取參考視點圖像及其深度圖，同時獲取輔助參考視點圖像；

步驟2：利用閉運算對參考視點圖像的深度圖進行預處理；

步驟3：對參考視點圖像和經過閉運算處理后的深度圖，進行三維圖像變換，得到虛擬視點圖像；

步驟4：對生成的虛擬視點圖像利用基于歐式距離和深度值的像素分配算法解決虛擬視點圖像中的重疊和細紋空洞問題，處理過程如下：

(a)設虛擬視點圖像中的目標整像素點為O(i，j)，首先判斷投影在O(i，j)上的像素點的個數，如果為1，則不進行任何處理；如果大于1，則比較對應的深度值，取深度值最大也就是最靠前的像素進行賦值；如果為0，則檢測以O(i，j)為中心的2×2像素格內的非整像素點的個數；

(b)如果在2×2這個范圍內的非整像素點的個數為零，那么判定O(i，j)為空洞點，不進行賦值；如果在2×2這個范圍內非整像素點的個數不為零，則比較這些非整像素點的深度值，求出深度值最大的像素點；

(c)判斷深度值最大的像素點是否唯一，如果深度值最大的像素點唯一，將此點的像素值賦給目標整像素點，并轉入步驟(d)繼續執行；如果深度值最大的像素點不唯一，就分別計算剩余非整數像素點到目標整像素點的歐氏距離，這些歐氏距離中，與目標整像素點距離最小的非整數像素點即為最佳匹配點，將該非整數像素點的值賦給目標整像素點，并轉入步驟(d)繼續執行；如果歐氏距離仍存在相等的情況，那么就將剩余非整數像素點的平均值賦給目標整像素點，并轉入步驟(d)繼續執行；無論以上哪種情況，都是將深度值最大的非整像素點賦值，這保證了虛擬視點觀看者看到的是前景物體，不會出現重疊問題；

(d)繼續尋找下一個目標整像素點，重復步驟(a)-(c)，直至整個目標整像素點處理完畢；

步驟5：經過步驟4的處理，虛擬視點圖像的細紋空洞已經處理完畢，但仍存在由于遮擋造成的空洞，通過對生成的虛擬視點圖像進行逆三維圖像變換來填補大面積空洞，得到了高質量的虛擬視點圖像。

2.如權利要求1所述的一種適于3D電視虛擬視點生成的優化方法，其特征是，所述步驟3中三維圖像變換的過程如下：

(A)將參考視點圖像上所有的像素點的深度圖信息，投影到它們對應的三維空間中；

(B)將三維空間上的點，根據目標虛擬視點與參考視點之間的角度，投影到目標圖像上，以上為一個二維轉換為三維再重新轉換為二維的過程；其中，三維圖像變換公式為：

Z2P2=Z1k2Rk1-1P1+k2t]]>

其中，P為空間任意一個三維點；P₁＝(u₁，v₁，1)^T、P₂＝(u₂，v₂，1)^T為P點在兩個視點圖像上的投影；R為一個3×3的旋轉矩陣，t為一個3×1的平移矩陣；k₁和k₂分別表示第一個和第二個攝像機的內參數矩陣；Z₁和Z₂分別表示兩個攝像機坐標系的場景深度。