[發明專利]一種用于視頻中的交互式圖像處理方法

有效

• 申請號: 201310326815.4
• 申請日: 2013-07-30
• 公開（公告）號: CN103400386A
• 公開（公告）日: 2013-11-20
• 發明（設計）人: 王好謙;鄧博雯;張永兵;戴瓊海
• 申請（專利權）人: 清華大學深圳研究生院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/20
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 江耀純

技術領域

本發明涉及圖像處理領域，特別涉及一種基于圖像模糊連接度的交互式圖像處理方法。

背景技術

數字摳圖技術是一種通過少量的用戶交互，將前景對象準確地從圖像或是視頻序列中提取出來的技術過程。數字摳圖是照片編輯或影視制作等圖像處理領域基礎的關鍵技術，在計算機圖像處理技術發源之初就得到了廣泛的關注和研究。

摳圖技術簡單來說就是將圖像完整地劃分為前景區域（F）和背景區域（B），其中需處理的是未知區域（C）的像素p的顏色向量C_p，顏色向量C_p由前景區域像素F_p、背景區域像素B_p和透明度參數α_p線性構成：

C_p=α_pF_p+(1-α_p)B_p，

其中α_p∈[0,1]，0代表背景，1代表前景。對于大多數自然圖片來說，F和B都不會局限于一些特定的值，而每個像素的α、F、B值又都是未知待定的。對于某一個像素我們已知的信息是它三維的顏色向量C_p，未知的信息是F_p、B_p和α_p，所以摳圖過程是一個通過三個已知量求七個未知量的非約束性問題。

單幅圖像摳圖技術發展至今已經產生很多不同的算法，比如全局采樣方法、KNN（最鄰近結點算法）方法、Large?Kernel方法、Nonlocal方法、PSF（Point-spread?Function，點擴散函數）方法、Shared摳圖方法等，無論是在摳圖結果準確性、MSE性能測試還是算法速度上都有著不同程度的顯著進步。但另一方面，對視頻序列的摳圖相比對單幅圖像的摳圖更具挑戰性：視頻序列的大數據量、每幀圖像邊緣處理的流暢性、對物體大幅度動作的適應性等影響因素在對單幅圖像的摳圖技術中均無需考慮。目前的視頻摳圖算法有貝葉斯視頻摳圖系統、基于Rotoscoping的視頻摳圖、基于Graphcut的視頻剪貼系統、Snapcut等，但是這些算法中，或者由于運動估計本身存在較大的誤差導致摳圖結果無法滿意，或者對于前景對象運動的魯棒性不強，或者使用的算法計算量過大，無法滿足視頻序列大規模數據流的要求，或者需要用戶輸入的信息過于復雜且不直觀，系統需要經過訓練的專業人員操作，實用性不強。

發明內容

本發明在前人研究的基礎上，結合視頻序列摳圖特有的時空三維信息，提出了一種快速視頻摳圖方法：將前后關鍵幀之間的幀疊加成關鍵幀簇，在關鍵幀簇上進行用戶交互標記，保證了用戶交互的自然性和直觀性，并且對于前景對象局部動作較大的情況有較強的魯棒性。還使用標準化譜聚類（譜聚類方法是子空間學習算法的一種，譜聚類算法建立在譜圖論理基礎上，與傳統的聚類算法相比，它具有能在任意形狀的樣本空間上聚類且收斂于全局最優解的優點。）完成聚類過程，將傳統的模糊連接度分割擴展應用到視頻序列的三維空間里完成α值估計。還進一步使用SURF（Speeded?Up?Robust?Features）檢測匹配搜索窗，將關鍵幀的摳圖結果傳遞至整個視頻序列，大大減小了算法的時間復雜度。同時，還根據視頻序列中前景對象的不同運動情況設計了一種自適應選擇傳播方向的視頻流賦值方法，使得算法對于不同種類的前景對象運動視頻都能有較好的摳圖結果。

本發明所要解決的技術問題是：克服現有技術的缺陷，提供一種用戶交互簡單直觀、魯棒性較強且摳圖效果好的用于視頻中的交互式圖像處理方法，該方法在視頻序列中提取關鍵幀，并將相鄰關鍵幀之間的幀逐個疊加形成用于交互標記的關鍵幀簇，以此將所述關鍵幀的圖像區分為前景區域、背景區域和未知區域；然后對所述關鍵幀進行譜聚類和α值估計，獲得所述關鍵幀的摳圖結果；最后，將所述關鍵幀的摳圖結果傳遞至整個視頻序列，得到最終的摳圖結果。

根據實施例，本發明還可采用以下優選的技術方案：

所述將所述關鍵幀的摳圖結果傳遞至整個視頻序列包括：a.在關鍵幀檢測前景對象的邊緣線，b.遍歷所述邊緣線設置若干個搜索窗，c.用SURF特征點檢測方法尋找標記前后幀匹配的所述搜索窗，d.將所述關鍵幀對應的搜索窗內的摳圖結果順次賦值給其他中間幀對應的搜索窗。

所述步驟d中，如果前景為單一或者相互獨立的運動物體，則賦值的視頻流向前后兩個方向傳播；如果視頻序列中前景為有相對運動的多個物體，則賦值的視頻流只從前往后傳播。

所述SURF特征點檢測方法包括如下步驟：