[發明專利]基于圖像序列的空洞填充方法

有效

• 申請號: 201410271105.0
• 申請日: 2014-06-17
• 公開（公告）號: CN104065946A
• 公開（公告）日: 2014-09-24
• 發明（設計）人: 劉然;曹東華;田逢春;李博樂;黃振偉;鄧澤坤;賈瑞雙;徐苗;譚迎春;譚偉敏
• 申請（專利權）人: 四川虹微技術有限公司;重慶大學
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 溫利平

技術領域

本發明屬于三維圖像變換技術領域，更為具體地講，涉及一種基于圖像序列的空洞填充方法。

背景技術

在3D電視系統中，利用基于深度圖像的繪制技術(Depth Image Based Rendering，DIBR)來生成新視圖時，由于視點的改變等原因，有可能產生大的空洞(Holes)。空洞問題是最主要也是最難解決的問題，它嚴重影響了新視圖的質量。空洞填充問題引起了很多研究人員的關注，相應的也有了很多的解決方案。根據它們的技術特點，主要可以分成兩類：

一、基于空域的空洞填充。

比較經典的主要有深度圖像預處理，圖像修復等。其中深度圖像預處理通過濾波來平滑深度圖像以減少深度值的不連續性，達到縮減空洞的目的。如：Fehn提出用高斯濾波器平滑深度圖像，以消除合成的新視圖中較大空洞或者使之變小。之后Chen等人、Zhang等人在濾波器的選擇以及濾波的區域方面做了改進，采用邊緣依賴深度濾波器(Edge Dependent Depth Filter)，非對稱高斯濾波器處理深度圖像，來減弱背景中垂直紋理信息產生的幾何扭曲(Geometric Distortion)現象。圖像修復則根據空洞區域的特征用偏微分方程或是紋理分析的方法來填充空洞。

二、基于時空結合的空洞填充算法。

這種算法也可以分為三種，第一種利用多個視點的參考圖像來繪制虛擬視點的視圖，從而可以通過圖像融合有效的縮小空洞的范圍。第二種是迭代算法，如Wang等人則提出的非對稱邊緣自適應濾波器(Asymmetric Edge Adaptive Filter，AEAF)對深度圖像進行預處理，其核心思想來自雙邊濾波(Bilateral Filter)。該算法通過運動估計，計算當前幀和參考幀的對應點的亮度差異，來設置掩模系數。掩模在水平方向和垂直方向的系數是不同，需要迭代多次才能得到這些系數。這種算法太復雜，不利于硬件實現。

在現有的兩大類算法中，基于空域的空洞填充算法，缺乏空洞區域的場景信息，用來填充的像素不是真實場景的像素，而是通過一定的規則模擬出來的，填充后會降低圖像的逼真度；而基于時空結合的空洞填充算法雖然可以利用更多的場景信息，用多個視點的參考圖像來繪制虛擬視點的視圖，從而得到較好的目標圖像，但需要較高的帶寬來傳輸多路視頻信息。迭代算法時間復雜度高，不利于硬件實現。

發明內容

本發明的目的在于克服現有技術的不足，提供一種基于圖像序列的空洞填充方法，只需要傳輸一路視頻，從圖像序列中選擇場景信息來填充較大空洞，不需要迭代多次，既達到較佳的圖像質量，又減少硬件實現的時間復雜度。

為實現上述發明目的，本發明基于圖像序列的空洞填充方法，包括以下步驟：

S1：根據三維圖像變換前后的參考圖像R_t和目標圖像D_t，計算各對應像素點的視差矢量，得到視差圖MV_D_tR_t；

S2：對目標圖像D_t進行小空洞預處理，包括以下步驟：

S2.1對目標圖像D_t進行中值濾波，去除極小空洞；

S2.2：按從左往右的順序遍歷視差圖MV_D_tR_t，檢測空洞，除圖像邊緣的空洞以外，當空洞的連續空洞點個數小于空洞長度閾值len，進入步驟S2.4，否則進入步驟S2.3；

S2.3：判斷該空洞兩端的像素點是否均為前景像素點，如果是，進入步驟S2.4，否則不作任何操作：

S2.4：對該空洞采用基于視差圖的空洞填充方法進行填充；

S3：基于圖像序列依次對剩余空洞進行填充，具體步驟包括：

S3.1：設置k＝1；

S3.2：根據圖像序列中的參考圖像R_t-k和參考圖像R_t+k，得到目標圖像D_t-k和目標圖像D_t+k；

S3.3：將當前目標圖像D_t的深度圖，分別與目標圖像D_t-k和D_t+k的深度圖求差，得到兩個深度差值矩陣，遍歷深度差值矩陣，當深度差值大于0且小于預設閾值時，將目標圖像D_t-k或D_t+k中的對應像素點的可用標記設置為1，否則設置為0；當目標圖像D_t-k或D_t+k不存在時，直接將對應像素點的可用標記設置為0；