[發明專利]一種從視頻序列中發現主題目標的方法

有效

• 申請號: 201510044825.8
• 申請日: 2015-01-29
• 公開（公告）號: CN104573671B
• 公開（公告）日: 2018-02-02
• 發明（設計）人: 劉華平;劉云輝;孫富春
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙)11201
• 代理人: 羅文群

1.一種從視頻序列中發現主題目標的方法，其特征在于該方法包括以下步驟：

(1)訓練一個用于對待處理視頻圖像中包含主題目標的候選區域進行選取的分類器w、增益系數v_i和偏置系數t_i，具體過程如下：

(1-1)將一個包含已知目標的圖像集作為訓練樣本，通過插值方法，將訓練樣本中的圖像調整成長、寬分別為W和H的圖像，其中W,H∈{10,20,40,80,160,320}，計算調整后的圖像的梯度范數；

(1-2)設T為圖像中所有包含已知目標的圖像窗口，S為圖像中的任意圖像窗口，則窗口t∈T和窗口s∈S的疊加面積o(t,s)為：

o(t,s)=t∩st∪s,]]>

采用8×8圖像窗口對步驟(1-1)中調整大小后的訓練樣本進行滑動采樣，得到多個8×8滑動窗口，計算與8×8滑動窗口相對應的o(t,s)，并計算該8×8滑動窗口相對應的64維梯度范數，記為g_train，將與o(t,s)≥0.5的8×8滑動窗口相對應的64維梯度范數作為正樣本，與o(t,s)＜0.5的8×8滑動窗口相對應的64維梯度范數作為負樣本，利用線性支持向量機，計算得到分類器w；

(1-3)利用下述公式，計算訓練樣本的排序得分score_train：

score_train＝<w,g_train>

l＝(i,x,y)

其中，<·,·>表示內積，g_train、i和(x,y)分別為64維梯度范數、與8×8滑動窗口相對應的調整大小之前的圖像窗口的大小以及位置；

(1-4)利用非極大抑制方法，從每個大小為i的圖像窗口中選擇多個窗口作為訓練樣本，將上述score_train作為圖像窗口的一維特征，利用線性支持向量機，計算得到增益系數v_i及偏置系數t_i；

(2)每一秒從待處理視頻中隨機抽取兩幀圖像，得到一個視頻圖像序列；

(3)從上述得到的圖像序列中選取候選主題目標，具體過程如下：

(3-1)通過插值方法，將步驟(2)得到的視頻圖像序列中的每幅視頻圖像調整成長、寬分別為W和H的視頻圖像，其中W,H∈{10,20,40,80,160,320}，計算每幅視頻圖像的梯度范數；

(3-2)采用8×8大小的窗口對調整大小后的視頻圖像進行滑動采樣，得到多個8×8大小的滑動窗口，并分別計算多個8×8滑動窗口的64維梯度范數g_l，l＝(i,x,y)，其中i為與8×8滑動窗口相對應的調整大小之前的視頻圖像的大小，(x,y)為8×8滑動窗口在調整大小之前的視頻圖像中的位置；

(3-3)通過下述公式，分別計算每個8×8大小的滑動窗口的得分：

score_l＝<w,g_l>

其中，w為上述步驟(1)得到的分類器；

(3-4)通過下式，分別計算與8×8大小的滑動窗口相對應的調整大小之前的視頻圖像的目標性得分o_l：

o_l＝v_i·score_l+t_i

其中v_i、t_i分別為上述步驟(1)得到的增益系數和偏置系數；

(3-5)按照視頻圖像窗口的目標性得分從高到低進行排序，目標性得分越高，則包含主題目標的可能性越大；從排序后的視頻圖像窗口中選取前n個視頻圖像窗口，作為候選主題目標區域，n的取值與要求發現主題目標的精度有關，取值為10-1000；

(4)對候選主題目標進行特征表示，具體過程如下：

(4-1)對上述步驟(2)的視頻圖像序列中的各視頻圖像進行特征點提取，得到特征點集合{d_p}，采用K均值算法，對特征點集合{d_p}進行聚類，得到V個聚類中心，記為{c_q}，V為設定參數，取值為100～2000；

(4-2)用向量f＝R^V表示上述特征點集合{d_p}中的每一個特征點d_p，f_q表示從V個聚類中心中的第q個聚類中心c_q產生特征點d_p的概率，σ²為方差，σ的取值為10⁴～10⁵；

(4-3)用F表示候選主題目標，用上述向量f＝R^V表示候選主題目標中的特征點，特征點的集合為F＝{f₁,f₂,...,f_N}，其中N為候選主題目標區域中的特征點個數；

(5)用隱狄利克雷分配模型，從步驟(3)的候選主題目標中尋找主題目標，具體過程如下：

(5-1)設為屬于候選主題目標中第m個候選主題目標且屬于隱狄利克雷分配模型中的第k個主題的特征點數目，n_m為屬于第m個候選主題目標的特征點數目，為屬于第k個主題并且由第v個聚類中心產生的特征點數目，n_k為屬于第k個主題的特征點數目，初始化時，使n_m、n_k分別為0；

(5-2)根據多項分布Mult(1/V)得到與第m個候選主題目標中的第n個特征點相對應的聚類中心的序號w_m,n＝v，以及根據多項分布Mult(1/K)得到隱狄利克雷分配模型中主題序號z_m，n＝k，并分別使n_m+＝1，n_k+＝1；

(5-3)根據第m個候選目標中的第n個特征點對應的聚類中心序號和主題序號，n_m-＝1,n_k-＝1，然后，根據分布p(w_i＝v)得到與第m個候選主題目標中的第n個特征點相對應的新的聚類中心的序號以及根據分布p(z_i＝k)得到新的隱狄利克雷分配模型中主題序號其中，

p(wi=v)∝fiv·nk(v)+βnk+Vβ]]>

p(zi=k)∝nk(v)+βnk+Vβ·(nm(k)+α)]]>

其中α，β為正實數，并分別使n_m+＝1，

(5-4)按照(5-3)中的步驟進行迭代，直到迭代次數達到1000，此時，就可以按照下式算出每個主題的分布：

其中，為K×V的矩陣；

(5-5)用的每一列分別去與每一個候選目標計算KL距離，公式如下：

與該列有最小KL距離的候選目標，作為視頻序列的一個主題目標。