[發明專利]一種視頻摳像處理方法

無效

• 申請號: 200910087811.9
• 申請日: 2009-06-26
• 公開（公告）號: CN101588459A
• 公開（公告）日: 2009-11-25
• 發明（設計）人: 苗振江;唐振;萬艷麗
• 申請（專利權）人: 北京交通大學
• 主分類號: H04N5/272
• 分類號: H04N5/272
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種數字圖像以及數字視頻處理中的高效的視頻摳像處理方法。

背景技術

視頻摳像是數字摳像的一個重要分支，是視頻編輯的一項重要技術，用于提取視頻中的感興趣物體，并將提取的物體合成到新的場景中，得到一段具有特殊效果的視頻。視頻摳像技術在影視制作、遠程視頻會議、虛擬現實、增強現實、數字家庭娛樂等方面有著廣泛的應用，它可以將實際拍攝的景物與電腦制作的虛擬場景完美的結合起來，將更加震撼的視覺沖擊效果呈現給觀眾。

根據處理對像的不同，數字摳像可以分為兩類，即圖像摳像和視頻摳像，其中圖像摳像又可以看作是視頻摳像的基礎。根據圖像合成公式，圖像上的一點c的顏色值C可以表示為前景顏色F與背景顏色值B的凸組合，即：C＝αF+(1-α)B。因而摳像問題就可以定義為圖像合成的逆過程，即：對給定圖像上的點c，求c點的顏色值C所包含的前景顏色F，背景顏色B以及不透明度α，通常情況下，B是不需要的，因此，求取F與α就成為摳像問題的核心。對于單一圖像，摳像是一個欠約束問題，有無數組解，摳像問題的難點也就在于從這無數組解中找到最合理的解。

最早的摳像技術是藍屏摳像，它要求輸入圖像的背景顏色為固定的單一顏色，利用圖像中背景與前景物體顏色的不同，達到準確摳取前景的目的。藍屏摳像技術簡單有效，計算量小，可以達到實時處理。但是它對背景顏色的嚴格要求，極大的限制了它的應用范圍，使得這項技術到目前為止也只是在影視業中得到應用。

由于設備與場地的限制，我們平時所拍攝的都是自然場景下的視頻，因此，自然圖像摳像技術(natural?image?matting)逐漸成為當前研究的熱點。目前，在研究者們的努力下，自然圖像摳像已經出現了幾種切實可行的交互式方法。其中有代表性的有貝葉斯方法(Bayesian?matting)、泊松方法(Poisson?matting)、魯棒性方法(Robust?matting)、閉合式方法(Closed-form?matting)、譜分析法(Spectral?matting)、軟分割剪刀(Soft?Scissors)等。根據用戶的輸入，這些方法又可以分為兩類，第一類需要用戶輸入一個精細的遮罩(trimap)，如貝葉斯方法、泊松方法和魯棒性方法等都屬于這一類。遮罩是與待摳取圖像對應的一幅灰度圖像，它用白色表示確定的前景，黑色表示確定的背景，灰色表示未知區域。制作一個精細的遮罩是一件費時費力的工作，而且需要一定的經驗，否則很難一次性制作一個合適的遮罩。第二類方法僅需要用戶提供一些筆畫式輸入(可以看作是一種稀疏的遮罩，sparse?trimap)，閉合式方法就屬于這一類，這類方法雖然在一定程度上減小的用戶的交互量，但是增加了算法本身的復雜度，需要較大的時間與空間開銷，對高分辨率的圖片一般都會因為空間開銷太大而無法完成。譜分析法和軟分割剪刀是兩種比較特殊的方法。譜分析方法是一種完全自動的摳像方法，是通過類比譜分析圖像分割理論而得到的一種方法。雖然能夠達到自動摳像的目的，但是它卻存在固有缺陷，也就是它只能摳取視覺上與背景明顯可分的前景物體，而且需要大量的內存開銷。軟分割剪刀可以看作是一種能夠實時反映用戶交互結果的摳像方法。用戶只需要用鼠標沿著前景物體的邊緣勾勒出需要進行摳像的未知區域，算法就可以實時的計算出摳像結果，雖然這個方法可以快速方便的摳取前景物體，但是它本質上還是一種基于遮罩的方法，對于拓撲結構復雜的前景物體的摳取仍有較大難度。

隨著自然圖像摳像技術研究的深入，研究者們自然而然的想到將自然圖像摳像技術擴展到視頻摳像領域。目前文獻中提取的視頻摳像技術主要有貝葉斯視頻摳像技術(Bayesian?video?matting)、散焦視頻摳像技術(Defocus?videomatting)、基于攝像機陣列的自然視頻摳像(Natural?video?matting?usingcamera?arrays)和交互式時空一致的視頻摳圖方法(一種數字視頻處理中交互式時空一致的視頻摳圖方法，專利公開號CN?101098475A)。

貝葉斯視頻摳像技術是自然圖像貝葉斯摳像技術在視頻上的擴展，其主要思路是在輸入視頻流的關鍵幀上由用戶交互生成遮罩，然后用光流法在幀之間進行雙向跟蹤，將關鍵幀上的遮罩擴散到其他幀，從而在一定程度上減少了用戶交互制作遮罩的工作量。該方法的缺點在于，光流估計本身的不準確影響了生成的遮罩的準確度，尤其是當兩幀之間物體運動的幅度較大的時候，這種影響更加突出。