[發(fā)明專利]基于超像素和快速三分圖的圖像前景提取方法

在審

• 申請?zhí)枺?/td>: 201510260422.7
• 申請日: 2015-05-20
• 公開（公告）號: CN104899877A
• 公開（公告）日: 2015-09-09
• 發(fā)明（設(shè)計）人: 李學龍;劉康;董永生
• 申請（專利權(quán)）人: 中國科學院西安光學精密機械研究所
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 西安智邦專利商標代理有限公司 61211
• 代理人: 胡樂

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺和圖像處理技術(shù)領(lǐng)域，特別針對有明顯前景目標的自然圖像，進行前景目標的提取工作，為后續(xù)的應(yīng)用處理提供有效的前景信息，可以應(yīng)用到圖像編輯、目標跟蹤、圖像檢索等方面。

背景技術(shù)

前景提取就是指從現(xiàn)實圖像中把感興趣的目標識別和提取出來的一個任務(wù)。它是圖像分割的一個分支，也是計算機視覺和模式識別領(lǐng)域的關(guān)鍵問題之一。圖象分割在圖像分析和圖像處理研究中起著承前啟后的作用，它是圖像處理的一個重要環(huán)節(jié)。它不但可以檢驗圖像的預(yù)處理效果，而且為后續(xù)的圖像分析和處理奠定堅實基礎(chǔ)。從其產(chǎn)生至今，它廣泛地應(yīng)用在諸多領(lǐng)域，為人們生活中的圖像處理水平提高做出了重大貢獻，也為人類生產(chǎn)力科技水平的提高起到了很大促進作用。因此，在過去的四十多年里，關(guān)于圖像分割的研究一直受到人們的高度重視。

在人們生活工作中，圖像分割的技術(shù)有廣泛應(yīng)用，一直是圖像技術(shù)研究的熱點方向。圖像分割技術(shù)是計算機視覺系統(tǒng)、自動目標獲取、視頻監(jiān)控等圖像識別和解析系統(tǒng)中需要首要解決的問題，它在計算機視覺和圖像識別中的廣泛應(yīng)用系統(tǒng)中占有關(guān)鍵地位。但是，到目前為止，世界上還沒有一個普適的或者在某一應(yīng)用領(lǐng)域能夠完全滿足人們應(yīng)用需求的圖像分割算法，當然也不存在判斷分割是否成功的客觀標準。因此，圖像分割算法的研究還有廣闊的探索空間。

當把圖像的前景提取出來后，我們可以利用它做進一步處理或研究，比如進行特征提取，然后用于識別，跟蹤和圖像檢索。例如，如果我們能準確全面的提取出一個人的身體或物體的某個部分，這對于理解人的感興趣目標和目標跟蹤的問題將是一個很大的貢獻，也使得這些問題在將來能夠得到解決。通過提取前景并且與所需的背景圖像進行融合，我們也可以實現(xiàn)虛擬現(xiàn)實與增強現(xiàn)實。另外，前景提取也廣泛地應(yīng)用在如電視，廣告，雜志等領(lǐng)域。因此，前景提取是圖像處理中的基本操作，也是視覺特效中的最重要的操作。對于圖像分割，科研人員已經(jīng)提出了大量的方法。傳統(tǒng)的方法有基于閾值的方法、顏色直方圖的方法、邊緣檢測的方法、區(qū)域相似性的方法、聚類的方法以及分水嶺方法等。但是這些方法的一個共同缺點是分割結(jié)果的語義表達難以滿足人們需求。

目前較新的方法大多是基于能量優(yōu)化、Graph?Cut以及能夠表達語義的圖像分割模式。一種能夠較好表達用戶意圖的分割模式是交互式圖像分割技術(shù)，而GrabCut是其中最具有代表性的算法：C.Rother,V.Kolmogorov,and?A.Blake.GrabCut:Interactive?foreground?extraction?using?iterated?graph?cuts.ACM?Transactions?on?Graphics,23:309–314,2004.GrabCut的主要思路是：(1)手工交互的給出一個前景區(qū)域的包圍盒；(2)根據(jù)當前的前景和背景分割結(jié)果，分別估計前景和背景的GMM模型；(3)用max?flow/min?cut算法進行分割。GrabCut對Graph?Cut有如下的改進：(1)利用了GMMs取代了直方圖來描述前景與背景像素的分布，并且由灰度圖像的處理發(fā)展到了彩色圖的處理；(2)GrabCut應(yīng)用了迭代估計的方法代替了原來Graph?Cut的一次最小化的估計來完成能量最小化的計算；(3)GrabCut允許通過非完全標記，減少了與用戶的交互，用戶只需用矩形框標記出背景區(qū)域并且少量修飾即可。也就是說只需要矩形框選目標，那么在方框外的像素全部當成背景，這時候就可以對背景和前景分別用GMM進行建模和完成良好的分割了。

存在的問題：

1)計算時間復(fù)雜度和空間復(fù)雜度比較大；

2)后續(xù)Matting處理需要的三分圖Trimap不能自動自適應(yīng)。

發(fā)明內(nèi)容

本發(fā)明針對上述現(xiàn)有方法的不足，提出一種基于超像素和快速三分圖的圖像前景提取方法。該方法利用超像素生成技術(shù)SLIC來進行圖像與處理，使得圖像前景分割計算的時間復(fù)雜度和空間復(fù)雜度的到大幅降低，同時提出主動自適應(yīng)的三分圖Trimap，使得后續(xù)Matting處理的效率提高。

具體實現(xiàn)方案包括如下步驟：

(1)對輸入的圖像，采用簡單線性迭代聚類(SLIC)算法進行超像素預(yù)處理，得到以超像素塊為單元的超像素圖像；

(2)以超像素塊內(nèi)的信息代替單個像素的信息進行分割運算，提取超像素特征；

(3)利用GrabCut技術(shù)，對超像素圖像構(gòu)建吉布斯能量公式，建立有向帶權(quán)圖結(jié)構(gòu)，采用最大流/最小割的方法將超像素圖像進行迭代能量最小化分割，得到Raw?Mask分割結(jié)果；