[發明專利]一種交互式視頻分割方法

有效

• 申請號: 201710794283.5
• 申請日: 2017-09-06
• 公開（公告）號: CN107590818B
• 公開（公告）日: 2019-10-25
• 發明（設計）人: 韓守東;楊迎春;劉昱均;陳陽;胡卓
• 申請（專利權）人: 華中科技大學;深圳華中科技大學研究院
• 主分類號: G06T7/215
• 分類號: G06T7/215;G06T7/246;G06T7/269
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 廖盈春;李智

本發明公開了一種交互式視頻分割方法，首先，進行目標輪廓線預估，得到目標物體在當前幀的預估初始輪廓，并在當前幀目標預估輪廓線基礎上，通過距離映射得出每個像素點到目標預估輪廓的最短距離，作為該像素點的位置屬性。在當前幀每個像素除了三維顏色屬性的基礎上，加入反映時空約束的位置屬性，即每個像素點距離預估目標輪廓的距離值，擴展到高維空間。建立圖結構時先將高維空間的每個屬性預先劃分為多個直方圖Bin，然后將幀間平滑項疊加到通過全局概率模型計算得到的數據項中，作為能量函數模型的數據項，最終利用最大流最小割算法得到能量函數模型的解，成功的融入了目標的運動信息，增加了視頻分割的時空連續性。

技術領域

本發明屬于圖像處理和機器視覺中的視頻分割技術領域，更具體地，涉及一種交互式視頻分割方法。

背景技術

視頻分割是一類二值標記問題，旨在把作為一個整體的視頻或圖像序列，通過一定的方法分割出具有實際意義的對象。視頻分割在很多領域中均有著重要的作用，例如：在目標識別中，視頻分割可以為目標識別提供先驗信息；在圖像編碼中，視頻分割可以提高視頻壓縮編碼的效率。一般地，根據是否加入人工交互，視頻分割可以分為非交互式視頻分割和交互式視頻分割兩種。非交互式視頻分割主要采用視頻對象的運動特征，如基于光流或基于梯度下降法的非交互式視頻分割方法。該類方法對視頻中存在運動物體的情況適用性較好，如果待分割的目標固定或者運動緩慢或者交替著運動，該類方法由于無法通過運動特征來預測目標物體的可能區域，從而無法達到分割的目的。而交互式視頻分割方法通過加入人工交互能夠較好地解決上述目標不規律運動的問題。

視頻作為一個時空整體，時空約束表現為視頻分割結果的時空連續性，包含時間連續性和空間連續性，時間連續性表現為目標在前后兩幀中的運動，是分割結果有效傳遞的重要保障；空間連續性最早被用在圖像分割中，其表現形式為相鄰像素或者相鄰區域的相似度，在能量函數中通常被稱為平滑項(N-link)，是保證分割結果中目標物體整體性的必要條件。視頻分割作為圖像分割在時間維上的擴展，因此，時空連續性對于視頻分割結果的傳遞至關重要。

時空連續性是判斷一個視頻分割結果傳遞性的重要指標，是各種基于運動分析的視頻分割方法運用最多的屬性。時空連續性包括時間連續性和空間連續性，時間連續性通常反映了目標的運動特征，空間連續性主要反應了目標的形狀信息。利用時空連續性的視頻分割方法很多，有些方法先進行超像素預分割，然后通過計算相鄰兩幀的超像素相似度來分配幀間平滑項，在計算兩個超像素中心距離時僅使用兩個超像素的空間距離，將時間連續性即運動信息用一個外觀模型描述。基于點軌跡跟蹤的視頻分割方法利用稠密光流跟蹤長時間范圍的點軌跡，并通過點軌跡聚類得到目標的時空連續性。還有些視頻分割方法在考慮時空連續性時，通常把時間維度和空間維度同等看待，即時間維相鄰的一個單元和空間維相鄰的一個單元等價，但是實際情況中時間和空間是有差異的，相鄰兩幀同一位置的像素在傳統視頻分割中是時間相鄰的，計算時間維度的距離就是一個單元，然后計算當前幀像素在上一幀的鄰域像素的時空距離就簡單描述為時間和空間的歐式距離。目前，基于雙邊空間的視頻分割方法將待分割視頻看作一個整體，總共包含時間空間還有像素顏色的六個屬性，通過對每個維度線性插值映射到六維雙邊空間，然后對雙邊空間采用傳統的圖割方法求解，得到雙邊空間中節點的標簽，最后通過線性插值逆映射得到待分割視頻每一幀像素的前背景概率。目前大多數視頻分割方法都是基于圖論的，有很多方法直接將圖割模型從圖像分割推廣到視頻分割，通過光流或其他跟蹤方式在原有的空間連續性基礎上加入時間連續性。傳統的圖割模型在考慮像素間相似性的時候通常只考慮鄰近的一些像素點，這類方法沒有很好地考慮大范圍顏色相近的像素點之間的聯系。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種交互式視頻分割方法，由此解決現有交互式視頻分割技術中存在的分割結果精確性不強，時空連續性不一致以及交互量過大等技術問題。

為實現上述目的，本發明提供了一種交互式視頻分割方法，包括：

(1)根據上一幀圖像的分割結果，得到目標在上一幀圖像中的輪廓線；