[發明專利]一種適于3D電視虛擬視點生成的優化方法

無效

• 申請號: 201210080739.9
• 申請日: 2012-03-24
• 公開（公告）號: CN102625127A
• 公開（公告）日: 2012-08-01
• 發明（設計）人: 宋剛;張巍巍;薛金寶;孟顯奎;曹洪劍
• 申請（專利權）人: 山東大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N13/02
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張勇

技術領域

本發明涉及一種適于3D電視虛擬視點生成的優化方法。

背景技術

相較于普通的二維電視，三維電視(3DTV)由于其提供了場景的深度信息而能夠給用戶帶來身臨其境的感受，同時由于其多角度的立體視覺使用戶與電視場景信息更具交互性，被認為是繼高清平板電視之后又一個新的電視發展方向。3D電視多角度立體效果的實現需要多個視點的視頻圖像流，基于深度圖的虛擬視點繪制(DIBR)技術作為3D電視產生虛擬視點圖像實現多視角立體感受的一項關鍵技術，其能夠利用二維彩色圖像和對應的深度圖像完成對任意虛擬視點彩色圖像的繪制。但是利用DIBR技術生成的虛擬視點圖像質量不高，主要存在的問題有重疊、重采樣和空洞問題。

發明內容

本發明的目的是為了克服上述現有技術的不足，提供一種優化的虛擬視點生成方法，解決DIBR技術過程中出現的重疊、重采樣和空洞問題，提高生成的虛擬視點圖像質量，保證后期的立體視覺效果。

為實現上述目的，本發明采用下述技術方案

一種適于3D電視虛擬視點生成的優化方法，該方法的優化步驟如下：

步驟1：利用攝像系統首先獲取參考視點圖像及其深度圖，同時獲取輔助參考視點圖像；

步驟2：利用閉運算對參考視點圖像的深度圖進行預處理；

步驟3：對參考視點圖像和經過閉運算處理后的深度圖，進行三維圖像變換，得到虛擬視點圖像；

步驟4：對生成的虛擬視點圖像利用基于歐式距離和深度值的像素分配算法解決虛擬視點圖像中的重疊和細紋空洞問題，處理過程如下：

(a)設虛擬視點圖像中的目標整像素點為O(i，j)，首先判斷投影在O(i，j)上的像素點的個數，如果為1，則不進行任何處理；如果大于1，則比較對應的深度值，取深度值最大也就是最靠前的像素進行賦值；如果為0，則檢測以O(i，j)為中心的2×2像素格內的非整像素點的個數；

(b)如果在2×2這個范圍內的非整像素點的個數為零，那么判定O(i，j)為空洞點，不進行賦值；如果在2×2這個范圍內非整像素點的個數不為零，則比較這些非整像素點的深度值，求出深度值最大的像素點；

(c)判斷深度值最大的像素點是否唯一，如果深度值最大的像素點唯一，將此點的像素值賦給目標整像素點，并轉入步驟(d)繼續執行；如果深度值最大的像素點不唯一，就分別計算剩余非整數像素點到目標整像素點的歐氏距離，這些歐氏距離中，與目標整像素點距離最小的非整數像素點即為最佳匹配點，將該非整數像素點的值賦給目標整像素點，并轉入步驟(d)繼續執行；如果歐氏距離仍存在相等的情況，那么就將剩余非整數像素點的平均值賦給目標整像素點，并轉入步驟(d)繼續執行；無論以上哪種情況，都是將深度值最大的非整像素點賦值，這保證了虛擬視點觀看者看到的是前景物體，不會出現重疊問題；

(d)繼續尋找下一個目標整像素點，重復步驟(a)-(c)，直至整個目標整像素點處理完畢；

步驟5：經過步驟4的處理，虛擬視點圖像的細紋空洞已經處理完畢，但仍存在由于遮擋造成的空洞，通過對生成的虛擬視點圖像進行逆三維圖像變換來填補大面積空洞，得到了高質量的虛擬視點圖像。

所述步驟3中三維圖像變換的過程如下：

(A)將參考視點圖像上所有的像素點的深度圖信息，投影到它們對應的三維空間中；

(B)將三維空間上的點，根據目標虛擬視點與參考視點之間的角度，投影到目標圖像上，以上為一個二維轉換為三維再重新轉換為二維的過程；其中，三維圖像變換公式為：

Z2P2=Z1k2Rk1-1P1+k2t]]>