[發明專利]局部形狀遷移指導的圖像對象共分割方法

有效

• 申請號: 201610827420.6
• 申請日: 2016-09-16
• 公開（公告）號: CN106650744B
• 公開（公告）日: 2019-08-09
• 發明（設計）人: 陳小武;滕煒;張宇;李甲;趙沁平
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06T7/11;G06T7/136
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 成金玉;賈玉忠

本發明涉及局部形狀遷移指導的圖像對象共分割方法，包括：輸入M幅包含相同語義類別對象的圖像，對每幅圖像進行顯著性分析，生成前背景初始分割結果；對任意兩幅圖像進行稠密特征點匹配；根據匹配結果，建立每一局部圖像區域與來自其他圖像的局部區域之間的對應關系；采用局部線性結構保持算法學習對應關系的權重；使用迭代求解算法在對應局部區域之間傳遞其前背景分割結果，得到最終分割結果。本發明在相同語義類別的圖像對象共分割方面有良好的表現，可應用于圖像內容理解，圖像對象識別等領域。

技術領域

本發明屬于圖像處理、計算機視覺技術領域，是局部形狀遷移指導的圖像對象共分割方法。

背景技術

給定包含相同語義類別對象的圖像集，圖像對象共分割技術主要考慮如何從中分割出共同的對象，以便開展圖像內容理解、對象檢測等更高層次的視覺理解工作。在2006年，Rother等人首次提出圖像對象共分割的概念，利用產生式模型在包含相同類別的圖像對上進行對象前背景分割，該方法使用高斯模型產生潛在前景直方圖，并將圖像對在前景直方圖的差異作為一項全局約束加入基于馬爾科夫隨機場的能量中，最后采用TRGC優化算法得到共分割結果。目前，多幅圖像的共分割大致分為兩個方向：基于統一模板學習的共分割和基于區域匹配的共分割。

基于統一模板學習的共分割方面，在2010年，Joulin等人提出了一種基于判別聚類的圖像對象共分割方法，他們將現有的單張圖像分割算法(歸一化分割)和對象檢測算法(核方法)集成到一個新的判別聚類框架中，目標是對多幅圖像進行前背景分割。首先，該方法為保持單幅特定圖片在空間和外觀上的一致性，利用像素點的坐標及RGB顏色值作為特征計算相似度矩陣，在得到標準化拉普拉斯矩陣L后采用類似歸一化分割的譜分割算法得到圖像內部的分割結果；其次，該方法為使同時分割的多幅圖像產生關聯，使用了基于正定核的判別聚類算法實現不同圖像之間前背景差異最大化；最后，該方法通過將空間一致性拉普拉斯矩陣L和判別聚類損失矩陣A進行組合，將多幅圖像的共分割轉化為一個組合優化問題，并通過將其松弛為連續的凸優化問題實現多幅圖像共分割。然而，當共分割對象的外觀模型復雜程度增大，或前景區域與背景區域十分相似時，共分割對象在全局形狀上的不一致性將導致很難學習到統一的模板用于前景對象的分割，此時基于統一模板學習的共分割方法便不能很好的區分前景對象與背景區域。

基于區域匹配的共分割方面，在2013年，Wang等人提出一種一致性泛函映射方法，通過計算圖像間在外觀上的關聯性實現多幅圖像的共分割，該方法包含三個部分。第一部分：將每幅圖像分割成超像素塊，并將每幅圖片表示為無向圖，圖中頂點表示超像素塊，圖中邊的權值由超像素塊公共邊的長度決定，通過給每個圖計算一個標準化的拉普拉斯矩陣為每幅圖片生成一個維度較低的泛函空間，同時分割結果表示成包含對象的超像素塊的集合。第二部分：將兩幅圖像之間的關聯性表達成線性泛函。第三部分：聯合優化分割函數產生分割結果，該過程需要匹配單幅圖像上的分割先驗，同時保持相鄰圖像間泛函映射時的一致性。該方法既可以實現無監督的共分割，也可以通過使用部分圖像的真實分割結果進行有監督的共分割。基于區域匹配的共分割方法在公開數據集上取得了令人滿意的結果，但前景對象在外觀發生較大變化時，會極大的影響最終的分割結果。

局部形狀遷移是一種廣泛應用于基于數據驅動的前背景分割方法，該方法能將真實分割結果遷移到測試圖像上，達到對單張測試圖像進行前背景分割的目的。在2015年，Yang等人提出了一種通過局部形狀遷移實現數據驅動下的對象分割方法，該方法首先輸入一幅測試圖像和多幅帶有真實分割結果的樣本圖像，然后采用Barnes在2010年提出的PatchMatch方法實現以局部patch塊為單位的多尺度圖像匹配，通過匹配結果為測試圖像上每一個局部patch塊得到在其他圖像上的近似局部patch塊，最后采用MRF能量函數得到最終分割結果。