[發明專利]一種基于分塊投影的DIBR方法

有效

• 申請號: 201410175458.0
• 申請日: 2014-04-28
• 公開（公告）號: CN103945209A
• 公開（公告）日: 2014-07-23
• 發明（設計）人: 吳軍政;孫季豐;李萬益
• 申請（專利權）人: 華南理工大學
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 蔡茂略

技術領域

本發明涉及3D視頻技術、自由視點視頻技術及基于深度圖繪制技術的領域，尤其是指一種基于分塊投影的DIBR方法。

背景技術

基于深度圖的繪制(DIBR)技術(參見文獻“郁理.基于深度圖像繪制的自由視點視頻關鍵技術研究[D].[博士論文].中國科學技術大學,2010”),以攝像機投影理論為視點繪制的理論基礎,在已知攝像機內、外參數和參考圖像深度信息的條件下,將參考視點中的像素點變換到目標視點下的圖像平面中。理論上,可以實現任意位置的視點繪制,具有繪制速度快,帶寬需求小的優點,是各種高級視頻應用,如3D電視、自由視點電視的關鍵技術之一。

然而，DIBR技術也存在自身的局限性，1)目標視點圖像不可避免的會產生空洞,一類空洞是由于計算中坐標取整時的近似處理造成的；另一類是由于參考視點位置的改變以及深度圖不連續而產生的,這是最主要的問題。2)可視化問題,正常情況下應該是前景圖像覆蓋在背景之上,而實際中可能出現相反的情形,當兩個不同的深度值投影到同一像素點時,會發生此種問題.3)邊緣重影,由于深度信息及相機參數的精度等原因,在背景中出現了前景圖像邊緣區域的假象。

上述幾個問題的出現，究其原因是深度信息不夠理想，國內外許多學者對此進行了研究。一種方案是采用層次化深度圖(LDI)技術(參見文獻“Shade?J,Gortler?S,He?L?W,et?al.Layered?depth?images.Proceedings?of?the25^th?Annual?Conference?on?Computer?Graphics?and?Interactive?Technique.New?York,1998:231-242”),然而其傳輸帶寬大、計算復雜度高的問題,使其不具有實際應用的價值.深度圖預處理技術是另一個有效的途徑,對應有各種濾波策略,如高斯濾波(參見文獻“Zhang?L,Tam?W?J.Stereoscopic?image?generation?based?on?depth?images?for3DTV.IEEE?Transactions?on?Broadcasting,2005,51(2):191-199”)、基于邊緣獨立的深度濾波(參見文獻“Wan-Yu?Chen,Yu-Lin?Chang,Shyh-Feng?Lin,et?al.Efficient?Depth?Image?Based?Rendering?with?Edge?Dependent?Depth?Filter?and?Interpolation.Proceedings?of?IEEE?Conference?on?Multimedia?and?Expo,Amsterdam,2005:1314-1317”)、基于SIFT配準的深度圖預處理(參見文獻“Hao-Peng?Li,Markus?Flierl.Sift-based?improvement?of?depth?imagery.Proceedings?of?IEEE?Conference?on?Multimedia?and?Expo,Barcelona,2011:1-6”以及文獻“Hu?Dong,Sun?Jianfei,Xu?Ping.Improvement?of?virtual?view?rendering?based?on?depth?image.Proceedings?of?IEEE?Conference?on?Image?and?Graphics,Hefei,2011:254-257”)、視差域處理(參見文獻“Ting-Ching?Lin,Hsien-Chao?Huang,Yueh-Min?Huang.Preserving?Depth?Resolution?of?Synthesized?Images?Using?Parallax-Map-Based?DIBR?for3DTV.IEEE?Transactions?on?Consumer?Electronics,2010,56(2):720-727”)、形態學處理(參見文獻“駱凱,李東曉,馮雅美等.基于DIBR和圖像修復的任意視點繪制.中國圖像圖形學報,2010,15(3):443-449.”)等方法.這些方法都有效地縮小了空洞的尺寸、減少了空洞的數量,但對應深度圖的精度也隨之降低了,致使目標視點產生部分幾何失真.還有一個思路是與圖像修復技術(參見文獻“駱凱,李東曉,馮雅美等.基于DIBR和圖像修復的任意視點繪制.中國圖像圖形學報,2010,15(3):443-449”以及文獻“Tauber?Z,Li?Z?N,Drew?M?S.Review?and?preview:Disocclusion?by?Inpainting?for?image-based?rendering.IEEE?Transactions?on?Systems?Man?and?Cybernetics,Part?C:Applications?and?Reviews,2007,37(4):527–540”)相結合的空洞修補策略,但是增加了計算復雜度.另外一些方法(參見文獻“Gang?Song,Jinbao?Xue,Hua?Li.A?new?double-sided?DIBR?method?for?virtual?view?generation?in3DTV.Proceedings?of?IEEE?Conference?on?Communication?Technology,Jinan,2011:1099-1102”以及文獻“Ndjiki-Nya?Patrick,Koppel?Martin,Doshkov?Dimitar,et?al.Depth?Image-Based?Rendering?with?advanced?texture?synthesis?for3-D?video.IEEE?Transactions?on?Multimedia,2011,13(3):453-465”)采用雙邊同時做視點變換,通過圖像融合來繪制視點的策略,然而,當深度信息誤差較大時,目標圖像中易產生明顯的重影。