[發明專利]一種交互式自然圖像摳圖方法

有效

• 申請號: 202010000472.2
• 申請日: 2020-01-02
• 公開（公告）號: CN111161286B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 喬羽;楊鑫;魏小鵬;張強;尹寶才
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/187;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 溫福雪;侯明遠

本發明屬于計算機視覺技術領域，提供了一種交互式自然圖像摳圖方法，實現一種用戶友好地簡單交互式圖像摳圖框架，分為超像素劃分、信息區域選取、用戶劃線、馬爾科夫傳播和CNN傳播5個階段。整體框架通過簡單的用戶交互實現準確、高效的圖像蒙版生成，一些圖像細節都可以準確地預測。馬爾科夫鏈與深度學習的結合在有限鄰域和全圖上進行有效的標簽傳播與擴散，實現有限用戶交互的最大化標注。本發明得到更為精準的摳圖蒙版，同時又比依賴于三分圖的摳圖算法節省大量的運算時間，實現了圖像摳圖準確度與代價之間的有效平衡。

技術領域

本發明屬于計算機視覺技術領域，涉及馬爾可夫鏈與深度學習的交互式自然圖像摳圖的方法。

背景技術

近年來，隨著互聯網與移動設備的不斷發展，圖像越來越成為人類生活中不可或缺的一部分，相應一些圖像相關的處理技術也伴隨著大眾的需求而在研究領域逐漸發展起來。圖像分類、語義分割等技術一直是圖像處理領域的熱門話題，但伴隨著電影制作、在線直播、人像美化等工業、生活應用水平的提高，傳統的圖像分割已經不能滿足人們對于前景精細化的要求，而對應的圖像摳圖得到了更多的重視與關注。相比于圖像分割，摳圖技術不僅僅要求將圖像中的物體分割出來，更要求一些頭發絲、動物毛發，植物枝干等精細化的圖像細節，都能在分割結果中精確的展示。這樣精細化的分割更能滿足人們對于高質量生活的追求，對于一些工業、研究等領域更具有吸引力和挑戰性。

圖像摳圖要求精確到像素的準確分割，對應的出發點是最基本的圖像合成公式：

I_z＝αF_z+(1-α)B_z,α∈[0,1]??(1)

其中z表示圖像中的一個像素點，而I表示我們實際觀測到的z點，F和B分別表示z點出的前景值和背景值，α表示前景和背景所占的比例，也可以看作是前景到背景的透明度。圖像合成公式定義了最基本的圖像成像的像素級解釋：圖像中的每一個像素點都是由前景和背景組成的，α＝1表示z點為前景，即完全不透明，α＝0表示z點為背景，即完全透明。α∈(0,1)的區域表示該像素點處于前景和背景的臨界區域(如人的頭發，植物密密麻麻的枝干，半透明區域等)，這些區域是由前景和背景混合在一起形成的，這就是圖像摳圖需要求解的過渡區域。由α值構成的灰度圖像，即是摳圖技術的目標圖像蒙版(alphamatte)。

公式(1)是一個欠約束的公式，對于常見的彩色RGB三通道圖片來說，有7個需要求解的變量，因此現有的摳圖算法都是依賴額外的輔助圖片，結合輸入的RGB圖片來實現圖像蒙版的計算。主要的輔助圖片有兩大類：三分圖和筆畫圖。三分圖將原始彩色圖片分成白色、黑色和灰色三部分，其中白色區域表示前景，黑色區域表示背景，而灰色區域則表示前景和背景之間的過渡區域。筆畫圖則是簡單地在圖片上繪制幾筆來標明前景、背景和過渡區域。兩類輔助圖片都可以對于圖像中的一些像素點進行分類，摳圖算法解決的問題就是如何根據輔助圖片提供的已有信息來實現整張圖像蒙版的計算。

雖然三分圖能夠提供整張的注釋，但需要大量的時間和精力來進行標注，在實際應用中的可行性很差。而筆畫圖雖然對于用戶比較友好，用戶只需要繪制幾筆就可以實現圖像蒙版的計算，顯然筆畫的數量對于蒙版質量有著決定性的作用，而筆畫的位置也需要滿足一些邊界平滑性的假設或先驗分布。近幾年產生了很多基于深度學習的方法，但它們大都依賴三分圖來保證預測蒙版的質量，而且深度學習的方法通常在合成數據集上進行訓練，導致它們在真實世界的圖片上效果較差。

發明內容

本發明針對現有方法的不足之處，提出了一種基于級聯傳播的交互式圖像摳圖框架。本框架能夠自主選擇出一些滿足摳圖算法先驗分布或邊緣光滑性假設的區域，稱之為信息區域，然后由用戶在信息區域進行簡單地繪制，標明前景、背景和過渡區域。用戶給出的類別標簽先是經過馬爾可夫鏈進行鄰域之間的傳播，然后更新出超像素之間的類別轉移概率，然后由卷積神經網絡(CNN)進行整張圖片的傳播，實現最終的精細化圖像蒙版。

本發明的技術方案：