[發明專利]一種結合運動信息的目標主動輪廓跟蹤方法

有效

• 申請號: 201710446147.7
• 申請日: 2017-06-14
• 公開（公告）號: CN107273905B
• 公開（公告）日: 2020-05-08
• 發明（設計）人: 周雪;馮媛媛;鄒見效;徐紅兵
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 溫利平

1.一種結合運動信息的目標主動輪廓跟蹤方法，其特征在于，包括以下步驟：

(1)、初始化SVM(支持向量機)分類器

針對序列圖像第一幀圖像，首先手動標定初始輪廓，初始輪廓的最大外接矩形向外擴大p個像素點后的區域作為感興趣區域(Region of Interest，簡稱ROI)；然后，對感興趣區域進行超像素分割，得到一系列的超像素；

對于每一個超像素，提取感興趣的顏色特征和紋理特征向量，并將兩者進行合并，得到該超像素的d維表觀特征向量；

記感興趣區域的初始輪廓內像素點為正，初始輪廓外像素點為負，統計每個超像素內的所有像素點，若超過半數像素點為正，記為1，則將該超像素標記為正樣本，否則標記為負樣本，記為-1；

將每個超像素的d維表觀特征向量作為輸入，其標記作為輸出對SVM分類器進行訓練，得到初始化的SVM分類器；同時，將每個超像素的d維表觀特征向量作為輸入，其標記作為輸出作為一組訓練樣本存入樣本池中；

將初始輪廓作為第一幀圖像目標主動輪廓跟蹤結果、序列圖像第二幀圖像作為當前幀圖像；

(2)、基于SVM分類器和局部信息的判別式表觀模型構建

將當前幀圖像的上一幀圖像的目標主動輪廓跟蹤結果作為初始輪廓，初始輪廓的最大外接矩形向外擴大p個像素點后的區域作為感興趣區域(Region of Interest，簡稱ROI)；然后，對感興趣區域進行超像素分割，得到一系列的超像素；

對于每個超像素，提取感興趣的顏色特征和紋理特征向量，并將兩者進行合并，得到每個超像素的d維表觀特征向量；

2.1)、基于SVM分類器的置信圖計算

將第i個超像素sp′_i的d維表觀特征向量輸入到SVM分類器中，得到該超像素的樣本標記值，即基于SVM分類器的置信圖值ConfMap_{svm_i}；

2.2)、基于局部信息的置信圖計算

首先，計算每個超像素屬于目標和屬于背景的概率，具體計算步驟如下：

2.2.1)、對上一幀圖像的輪廓跟蹤結果即目標輪廓進行標記，如果上一幀圖像感興趣區域第j個超像素sp_j內超過半數的像素點在目標輪廓內，則記為L_j為1，否則為-1；

2.2.2)、記當前幀圖像感興趣區域第i個超像素為sp′_i，其中心坐標為(x′_i,y′_i)；上一幀圖像感興趣區域第j個超像素sp_j的中心坐標為(x_j,y_j)，設置閾值為T_R；

2.2.3)、記當前幀圖像感興趣區域第i個超像素sp′_i屬于目標輪廓內的似然概率為p(sp′_i|obj)，屬于背景的似然概率為p(sp′_i|bck)，令：p(sp′_i|obj)＝p(sp′_i|bck)＝0；

2.2.4)、對于當前幀圖像感興趣區域第i個超像素sp′_i，遍歷上一幀圖像感興趣區域的超像素sp_j，并進行以下運算：

2.2.4.1)、令m＝n＝0，j＝1

2.2.4.2)、如果則：

當L_j為1時：

num1＝p(sp′_i|obj)+p_ij

m＝m+1

當L_j為-1：

num2＝p(sp′_i|bck)+p_ij

n＝n+1

如果不成立，則轉到步驟2.2.4.4；

2.2.4.3)、計算屬于目標輪廓內的似然概率p(sp′_i|obj)、屬于背景的似然概率p(sp′_i|bck)：

其中，p_ij定義為超像素sp′_i與sp_j的相似度，記sp′_i和sp_j的表觀特征向量分別為f′_i，f_j，則p_ij的計算公式為：

p_ij＝exp(-||f_i′-f_j||²)，

其中，||f_i′-f_j||²表示特征向量f_i′，f_j的歐式距離；

2.2.4.4)、如果沒有遍歷完上一幀圖像感興趣區域的超像素sp_j，則j＝j+1，返回步驟2.2.4.2)，否則，結束，得到第i個超像素sp′_i屬于目標輪廓內的似然概率p(sp′_i|obj)，屬于背景的似然概率p(sp′_i|bck)；

定義第i個超像素sp′_i基于局部信息的置信圖值為：

置信圖值的取值范圍為[-1,1]，并且具有以下的對稱判別屬性：

2.3)、融合得到表觀特征的置信圖

對于第i個超像素sp′_i，基于局部信息的置信圖值ConfMap_{local_i}的權值為w_{1_i}，基于SVM分類器的置信圖值ConfMap_{svm_i}的權值為w_{2_i}，令：

w_{1_i}＝ε*|ConfMap_{local_i}|

w_{2_i}＝1-ε*|ConfMap_{local_i}|

其中，ε為常量，根據具體跟蹤場景設置，取0.5，融合后的置信圖值ConfMap_i為：

ConfMap_i＝w_{1_i}*ConfMap_{local_i}+w_{2_i}*ConfMap_{svm_i}；

將當前幀圖像的所有超像素按照步驟2.1)～2.3)進行處理，得到融合后的置信圖，然后將每個超像素中的像素點賦值為該超像素的融合后的置信圖值，得到表觀特征的置信圖；

(3)、基于運動信息的光流灰度圖計算

采用稠密光流計算法來計算當前幀圖像上每一個像素點的光流，得到光流場是一個雙通道圖像，分別為x方向和y方向上的位移；通過孟塞爾顏色系統(Munsell Color System)實現可視化，得到光流彩色圖，其中，不同的顏色代表不同運動方向，顏色深淺代表運動速度的快慢；再通過以下公式將光流彩色圖轉換成光流灰度圖：

I＝0.2989*R+0.5870*G+0.1140*B

其中R，G和B分別代表彩色空間三個通道的像素點像素值；

(4)、基于決策樹的融合權重計算

將表觀特征的置信圖像素點的取值為-1到1等分的10個區間，分別用0～9表示，光流灰度圖像素點的取值為0到255等分的8個區間，分別用0～7表示；

使用決策樹對像素點進行預測分類，如果一個像素點位置在表觀特征的置信圖中的像素點像素值在：

區間0、1，則該像素點置為背景；

區間2，同時，該像素點位置在光流灰度圖中像素點像素值在區間0，則該像素點置為目標，否則，則該像素點置為背景；

區間3、4，同時，該像素點位置在光流灰度圖中像素點像素值在區間0、1，則該像素點置為目標，否則，則該像素點置為背景；

區間5、6，同時，該像素點位置在光流灰度圖中像素點像素值在區間0-3，則該像素點置為目標，否則，則該像素點置為背景；

區間7、8，同時，該像素點位置在光流灰度圖中像素點像素值在區間0-5，則該像素點置為目標，否則，則該像素點置為背景；

區間9，則該像素點置為目標；

將屬于目標的像素點標記為1，屬于背景的像素點標記為-1，可以得到最終的置信圖即融合置信圖；

(5)、水平集輪廓演化

采用基于邊緣的DRLSE(Distance Regularized Level Set Evolution)模型進行水平集輪廓演化，演化采用融合置信圖代替氣球力α與邊緣梯度函數g的乘積進行引導并迭代k次；

然后，再由邊緣梯度函數和曲率共同引導，得到目標輪廓；

(6)、更新樣本池，并重新初始化SVM(支持向量機)分類器

依據目標輪廓，對感興趣區域的超像素進行標記：如果超過半數像素點為正即落入目標輪廓內，記為1，則將該超像素標記為正樣本，否則標記為負樣本，記為-1，然后作為一組訓練樣本存入樣本池中；

樣本池容納的最大訓練樣本個數為S_z，采用排隊的方式進行更新，新來的訓練樣本排在隊列的末端，直到訓練樣本個數超過S_z，則刪除排在隊列前端的訓練樣本，訓練樣本總個數S_z保持不變；

用樣本池中的訓練樣本對SVM分類器進行訓練，得到更新的初始化的SVM分類器；

將下一幀作為當前幀，返回步驟(2)。

2.根據權利要求1所述的目標主動輪廓跟蹤方法，其特征在于，步驟(1)中所述的提取感興趣的顏色特征和紋理特征向量為：將RGB圖像的超像素轉換到HSV顏色空間，對顏色進行量化，將h劃分為8等份，s劃分為4等份，v劃分為4等分，然后統計每個超像素內所有像素點落入每個區間的數目，得到128維歸一化顏色特征向量；將RGB圖像的超像素轉為灰度圖，計算其LBP(Local Binary Pattern,局部二值模式)值，將LBP值等分為8個區間，同樣基于超像素直方圖統計得到8維的歸一化LBP特征向量即紋理特征向量。