[發明專利]繪制新視點中的空洞填補方法

有效

• 申請號: 201310489437.1
• 申請日: 2013-10-18
• 公開（公告）號: CN103581648A
• 公開（公告）日: 2014-02-12
• 發明（設計）人: 王好謙;李政芝;張永兵;王興政;戴瓊海
• 申請（專利權）人: 清華大學深圳研究生院
• 主分類號: H04N13/00
• 分類號: H04N13/00;G06T15/00
• 代理公司: 深圳市匯力通專利商標代理有限公司 44257
• 代理人: 李保明;張慧芳

技術領域

本發明涉及一種繪制新視點中的空洞填補方法，基于現有的繪制新視點方法，用于減少并填補繪制過程中出現的空洞，以提高新視點的繪制質量。屬于計算機視覺、圖像處理、虛擬現實技術領域。

背景技術

自1936年，第一項電視服務由英國廣播公司(BBC)推出以來，隨著視頻技術的發展（例如內容獲取，編碼，通信和顯示），電視播放經歷了從黑白到彩色，模擬到數字，陰極射線管顯示到液晶屏顯示，從被動的欣賞電視節目到交互式視頻點播(VOD)服務。而如今，為實現身臨其境的體驗，電視業向著三維電視(3D-TV)發展著。三維電視將傳統的二維視頻生動的拓展為三維，使用戶感覺他們正通過窗口看真實的對象而不是平面圖像。當前三維電視的發展主要受限于立體視頻內容的制作和傳輸，尤其是以下兩個方面：不同接收端的自適應能力(視點的數量和大小)和對現有的二維顯示的向后兼容性。

傳統的立體視頻制作方法主要是通過一組平行、會聚或者任意角度的相機陣列拍攝場景中不同角度的信息，所得的多個視頻經幾何參數校正、亮度/色度補償等預處理后，再經多視視頻編碼(multiview?video?coding,MVC)壓縮成視頻流。由于編碼后重構的多個視不一定符合某個觀眾在顯示屏前所在位置的觀看要求，故解碼后需通過選擇一些合適的視繪制成符合需要的兩個虛擬視（虛擬攝像機）后，再合成為“立體對”視。但是這種方法對于視頻編碼和傳輸都有較高的要求，且傳輸過程中數據量較大，不便于實現。因此，只須通過一路二維視頻和它相應的每點深度信息的立體視頻制作方法頗受青睞。方法中，利用基于深度圖像繪制技術(DIBR)在接收端合成一個或多個虛擬視點，減少了數據傳輸中總的帶寬，而且通過繪制所有需要的虛擬視點使用戶端擁有了對不同接收端的自適應能力。

然而基于深度圖像繪制技術，也稱為三維映射(3D?image?warping)過程中出現的空洞是一路二維視頻加深度信息方法最大的問題。三維映射方程首先將二維參考圖像某個像素坐標映射到一個三維空間坐標點，然后再將該三維空間坐標點反映射為目標圖像一個圖像坐標，最后將參考圖像坐標像素值賦給目標圖像映射坐標。由于空間點在圖像不同視圖中遮擋關系即體現在深度圖中水平方向的較大不連續區域，圖像映射會暴露出在原視點下被遮擋，而在新視點中可見的區域，這也就是新視點下的空洞區域。

空洞的出現對新視點的繪制質量有較大的影響，如今常用的有兩類空洞填補的方法：一種是對深度圖通過均值濾波、高斯濾波等預處理，能夠平滑深度圖的不連續區域，消除空洞。但是這種方法會使映射后的新視點下的物體出現明顯的幾何失真，尤其是垂直邊界扭曲的物體對視覺影響更大。另一種是對映射后出現的空洞利用圖像修補的算法進行填補。由于空洞一般都是來自于原視點下被遮擋的背景像素，故如果填補時沒有考慮到空洞更傾向于背景像素來填補的話，填補后的圖像也會明顯失真。

發明內容

針對上述的現有空洞填補方法存在的問題，本發明提出了繪制新視點中的空洞填補方法。

本發明采用的技術方案如下：

一種繪制新視點中的空洞填補方法，其包括以下步驟：

在三維映射前，對深度圖預處理，包括：檢測深度圖邊緣；進行深度不連續分析，獲取主要深度不連續區域；對主要深度不連續區域進行非對稱高斯濾波；

在三維映射后，檢查新視點圖像是否仍有空洞，如果有，則基于深度信息對空洞填補。

在上述的繪制新視點中的空洞填補方法中，優選地，對深度圖預處理還包括對主要深度不連續區域附近的深度圖區域進行非對稱高斯濾波和三邊濾波。

在上述的繪制新視點中的空洞填補方法中，優選地，對深度圖預處理還包括對其余深度圖區域進行三邊濾波。

在上述的繪制新視點中的空洞填補方法中，優選地，對深度圖預處理還包括對濾波后區域物體邊界附近的垂直邊緣進行深度值校正。

在上述的繪制新視點中的空洞填補方法中，優選地，深度不連續分析包括：

判斷邊緣點水平方向附近的深度值是由低到高變化還是由高到低變化，據此確定邊緣點映射后會產生空洞或會被遮擋；

對于會產生空洞的邊緣點，計算映射后的空洞區域的水平長度；

將空洞區域的水平長度與閾值比較，大于閾值則判定該空洞區域為主要深度不連續區域。