[發明專利]一種基于非局部時空特征學習的無監督視頻分割方法

在審

• 申請號: 201710130587.1
• 申請日: 2017-03-07
• 公開（公告）號: CN107016675A
• 公開（公告）日: 2017-08-04
• 發明（設計）人: 張開華;李雪君;宋慧慧
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T7/215
• 代理公司: 江蘇愛信律師事務所32241
• 代理人: 唐小紅

1.一種基于非局部時空特征學習的無監督視頻分割方法，其特征在于，包括如下步驟：

1)獲取所需分割的視頻序列，利用超像素分割處理視頻序列，利用光流進行前后幀信息匹配，根據視頻序列相鄰幀的光流信息獲取運動目標的大致范圍，利用非局部時空信息對匹配結果進行優化，建立圖模型，求解并輸出分割結果；

2)對視頻序列中的所有幀進行超像素分割，降低計算復雜度，提高算法處理速度；

3)計算每個超像素的特征均值，中心點位置。每個超像素的特征項用一個八維向量R，G，B，H，S，V，x，y來表示；

4)由于光流法計算結果的不準確性，無法單獨利用光流準確判斷目標位置，因此結合光流法與投票的方法，計算出運動目標的大致位置范圍，同時判斷出各個超像素所屬的區域即前景或背景，所得結果將用于圖模型的初始化輸入；

5)利用光流法所提供的信息計算出相鄰幀超像素之間的聯系，找出第n幀與第n+1幀之間相互對應的超像素組合；

6)對于所有超像素匹配完成之后的視頻序列，對每一幀的每一個超像素計算一個新的非局部超像素特征值，對原超像素進行優化；當n<＝5時，選用前n-1幀圖片對該幀中的每一個超像素進行優化計算，n>5時，選用該幀之前的五幀來對其進行優化；

7)建立圖模型，所述圖模型由一元勢函數和互勢函數構成；一元勢函數包括顏色特征項和位置特征項，互勢函數包括時間平滑項和空間平滑項；

8)利用優化后的第n幀超像素信息與第n+1幀超像素信息計算圖模型的代價函數，利用圖割及最大流最小割算法迭代計算直至收斂，得到最優的目標分割結果，即重新判斷每個超像素是屬于前景還是背景。