[發明專利]基于逆映射的虛擬視點空洞填補方法

有效

• 申請號: 201710304519.2
• 申請日: 2017-05-03
• 公開（公告）號: CN107018401B
• 公開（公告）日: 2019-01-22
• 發明（設計）人: 王來花;王玉田;齊蘇敏;倪建成;姜藍藍
• 申請（專利權）人: 曲阜師范大學
• 主分類號: H04N13/111
• 分類號: H04N13/111;H04N13/128
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

本發明屬于自由立體成像以及圖像內容處理領域，為提出空洞填補方法，實現有效填補空洞。本發明采用的技術方案是，基于逆映射的虛擬視點空洞填補方法，步驟如下：1)首先獲取左、右視點映射的虛擬視圖中的深度值為零的空洞區域；2)利用圖像膨脹方法，提取出消除偽影后的左右視點映射的虛擬視圖中的空洞邊界；3)將左、右視點映射的虛擬視圖中的空洞邊界點利用3D warping映射技術分別投影到右、左參考視點中；4)根據空洞與提取的邊界點的相對位置，選取參考視圖中的對應位置上的像素點填補虛擬視圖中的空洞；5)得到最終的虛擬視點圖像。本發明主要應用于自由立體成像以及圖像內容處理場合。

技術領域

本發明屬于自由立體成像以及圖像內容處理領域，具體涉及虛擬視點繪制領域的一種基于逆向映射的空洞填補方法。

背景技術

隨著3D顯示技術和交互多媒體系統的發展，3D視頻技術在3D電視、自由視點電視、遠程視頻會議、3D視頻監控等新技術中得到了廣泛的應用。在3D視頻系統中，MVD(Multiview Video Plus Depth)視頻格式可以利用DIBR(Depth-Image-based Rendering)在解碼終端繪制出所需的視點圖像，從而大大降低了3D視頻系統對存儲容量和傳輸帶寬的要求。雖然DIBR技術在圖像映射和圖像融合方面已經非常成熟，然而繪制的虛擬視點中的空洞填補問題，仍然是DIBR技術的一個非常棘手的問題。

空洞產生的主要原因是參考視點中被前景物體遮擋住的背景區域在虛擬視點中重新變得可見，而這些區域在原始的參考視點圖像中找不到對應的信息，從而導致虛擬視圖中產生較大的空洞；圖像融合消除了虛擬視圖中的大部分空洞，但有些空洞在參考圖像中均位于遮擋區域，從而無法使用圖像融合方法進行填充。對于這部分空洞通常使用空洞外側一定范圍內的像素作為進行填充，通常所采用的方法有相鄰像素插值法或周圍一定區域內像素加權填充法。

為了減少虛擬視圖中的空洞，在一些文獻中通過對深度圖進行了低通濾波處理,以平滑深度圖中尖銳的邊緣，盡管這種方法有可能減少或者消除虛擬視圖中空洞區域，但也使得前景物體的邊界產生幾何失真。目前比較流行的空洞填補方法是Criminisi提出的圖像修復(Image Inpainting)技術，該方法利用相鄰像素對空洞區域進行填補。圖像修復技術提供了一種利用周圍信息對圖像中的損壞區域或者指定區域進行填充的方法。還有一些參考文獻通過采用空洞邊界上的背景像素對空洞區域進行填充。雖然圖像修復方法和邊界背景填充方法能夠有效的填充大部分的空洞區域。但是，這兩種方法在進行空洞填補時都需要借助空洞邊界的深度信息，以識別邊界上的背景信息。因此，當空洞邊界上沒有背景信息時，由于缺少有效的背景信息則很難正確的填充空洞。同時，這兩種空洞填補方法本身就是一種對空洞區域的近似估計，并不是一種精確的空洞填補方法。此外，在進行3DWarping時由于參考視點的深度圖中前景物體與背景之間的深度的不連續性，在3D映射的過程中會導致將前景像素映射到背景中的現象，從而使得虛擬視圖中出現類似于前景物體輪廓的偽影瑕疵。因此，對于虛擬視點繪制技術而言，準確地填充空洞是非常有意義且有價值的。

發明內容

為克服現有技術的不足，本發明旨在提出空洞填補方法，實現有效填補空洞。本發明采用的技術方案是，基于逆映射的虛擬視點空洞填補方法，步驟如下：

1)首先獲取左、右視點映射的虛擬視圖中的深度值為零的空洞區域，并對空洞區域利用形態學處理的膨脹方法進行處理，經過膨脹之后，虛擬視圖中的前景偽影輪廓就變成空洞區域，進一步利用空洞填補方法進行填充；

2)利用圖像膨脹方法，提取出消除偽影后的左右視點映射的虛擬視圖中的空洞邊界；

3)將左、右視點映射的虛擬視圖中的空洞邊界點利用3D warping映射技術分別投影到右、左參考視點中；

4)根據空洞與提取的邊界點的相對位置，選取參考視圖中的對應位置上的像素點填補虛擬視圖中的空洞；