[發明專利]基于視頻多幀內容分析的黑洞填充技術

在審

• 申請號: 201310565932.6
• 申請日: 2013-11-13
• 公開（公告）號: CN103561256A
• 公開（公告）日: 2014-02-05
• 發明（設計）人: 熊偉華;范澍斐;馬燕軍
• 申請（專利權）人: 江蘇刻維科技信息有限公司
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及圖像處理方法，具體涉及一種基于視頻多幀內容分析的黑洞填充方法。

背景技術

傳統的立體圖像生成系統需要傳送左眼視圖和右眼視圖來生成立體圖像?；谏疃刃畔⒌牧Ⅲw圖像生成系統(DIBR)能夠利用彩色圖像及相應的深度圖像生成新視點圖像。然而，不同深度的各個物體在左右視圖圖像上的位移不同，從而決定了在生成的新視點視圖中會出現形狀不規則，尺寸大小不一的增生“黑洞”。對于其中增生“黑洞”的處理，最簡單的是直接內插法，但實驗結果表明，該方法對大尺寸“洞”的處理效果并不理想，容易造成圖像邊緣模糊、失真等現象。另一種方法是對深度圖像進行預處理。目前應用較為廣泛的方法有高斯濾波器法和邊緣濾波法?；谏疃葓D像的高斯濾波法可以減少新視圖中大尺寸的“黑洞”的數量，但隨之也造成了物體豎直邊彎曲的現象。

發明內容

本發明提供基于視頻多幀內容分析的黑洞填充技術，本發明解決了傳統的立體圖像生成系統對于其中增生“黑洞”的處理方法，容易造成圖像邊緣模糊、失真等現象；以及造成了物體豎直邊彎曲的現象的問題。

為解決上述問題，本發明采用如下技術方案：基于視頻多幀內容分析的黑洞填充技術，假設在這個視頻段落中含有N幀圖像，它們是帶有黑洞的新視圖，每幅圖像含有已經正確分割的K個物體，即物體分割圖。另外一個黑洞填補補償區域定義圖是根據預處理計算并定義了獲得的每個“黑洞”像素點需要用來自哪個物體的信息進行補償。

在這個實現過程中，需要采用業界通用的SIFT技術選在相同物體在2幀圖像之間的匹配像素點，計算他們的位移并進行補償。考慮到噪聲的存在，選取的匹配點還需要通過RANSAC方法的過濾以提高匹配的準確性。

對于在圖像Fi中的物體Mj，如果某個像素點的R/G/B值已經存在，則采用當前幀中的數據，如果不存在，但是在其它幀中存在，則采用加權平均的方法，來自離Fi越近的像素值具有更高的權重，從而保證視頻補償中的連續性。

本發明實現方法該方法的實現使得右視圖中的很多黑洞均可以通過前后幀的信息得以正確地補償，補償之后的內容更加自然，大大地提高了系統的自動化程度。

附圖說明

圖1是本發明流程圖。

具體實施方式

下面用最佳的實施例對本發明做詳細的說明。

目前業界幾乎所有的解決方案都是通過單一的，當前圖像的內容來處理的，其總體效果無論如何都會受到一定的限制。然而，在處理視頻內容的時候，情況就不一樣了。視頻內容一般包含有同一場景中的多個圖像內容。隨著相機的移動或者物體本身的移動，在某一幀被遮擋而需要決定的“黑洞”內容，在其它幀可能完整地出現。在這種情況下，我們的技術團隊設計并開發了一種“基于視頻環境下多幀圖像內容分析的黑洞填充“技術，該方法不只是從當前的圖像幀中去“猜測”黑洞內容，通過對圖像內各個物體的運動匹配，找到各個物體在當前視頻拍攝角度下的完整內容，從而能采用真實的內容進行“黑洞”補償。

如圖1所示，基于視頻多幀內容分析的黑洞填充技術，假設在這個視頻段落中含有N幀圖像，它們是帶有黑洞的新視圖，每幅圖像含有已經正確分割的K個物體，即物體分割圖。另外一個黑洞填補補償區域定義圖是根據預處理計算并定義了獲得的每個“黑洞”像素點需要用來自哪個物體的信息進行補償。

在這個實現過程中，需要采用業界通用的SIFT技術選在相同物體在2幀圖像之間的匹配像素點，計算他們的位移并進行補償?？紤]到噪聲的存在，選取的匹配點還需要通過RANSAC方法的過濾以提高匹配的準確性。

對于在圖像Fi中的物體Mj，如果某個像素點的R/G/B值已經存在，則采用當前幀中的數據，如果不存在，但是在其它幀中存在，則采用加權平均的方法，來自離Fi越近的像素值具有更高的權重，從而保證視頻補償中的連續性。

最后應說明的是：顯然，上述實施例僅僅是為清楚地說明本發明所作的舉例，而并非對實施方式的限定。對于所屬領域的普通技術人員來說，在上述說明的基礎上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。而由此所引申出的顯而易見的變化或變動仍處于本發明的保護范圍之中。