[發(fā)明專利]一種基于上下文稀疏表示的恐怖視頻識別方法及裝置

在審

• 申請?zhí)枺?/td>: 201410065197.7
• 申請日: 2014-02-25
• 公開（公告）號: CN103854014A
• 公開（公告）日: 2014-06-11
• 發(fā)明（設計）人: 李兵;胡衛(wèi)明;丁昕苗;祝守宇
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 宋焰琴

1.一種基于上下文稀疏表示的恐怖視頻識別方法，該方法包括：

步驟1：對訓練視頻樣本進行鏡頭分割，然后針對每個鏡頭選取一幅關鍵幀來代表該鏡頭；

步驟2：提取每個關鍵幀的視覺特征，并提取整個訓練視頻樣本的音頻特征；

步驟3：利用ε-graph建圖方法，建立起每一個訓練視頻樣本內(nèi)部各個關鍵幀之間的上下文關系圖；

步驟4：對待識別視頻進行鏡頭分割，并針對每個鏡頭選取一幅關鍵幀，提取所選取關鍵幀的視覺特征；并提取待識別視頻的音頻特征；

步驟5：構建待識別視頻與訓練視頻樣本之間的代價矩陣，其對角元素為待識別視頻與各個訓練視頻樣本的音頻特征之間的距離；

步驟6：基于上下文稀疏表示模型，利用所有訓練視頻樣本對所述待識別視頻進行重構，重構誤差最小的訓練視頻樣本的類別即為待識別視頻的類別；其中所述上下文稀疏表示模塊以所述訓練視頻樣本的上下文關系圖作為稀疏表示的詞典，并利用所述代價矩陣對其進行約束。

2.如權利要求1所述的方法，其特征在于，所述音頻特征包括Mel頻率倒譜系數(shù)、譜功率和頻譜質心中的一種或幾種的組合；所述視覺特征包括：情感強度、顏色和諧度、顏色變化、亮度基調和紋理特征中的一種或幾種組合。

3.如權利要求1所述的方法，其特征在于，采用基于互信息熵的鏡頭分割算法對視頻進行鏡頭分割。

4.如權利要求1所述的方法，其特征在于，所述上下文稀疏模型如下表示：

D=diag(||a₁-a′||，…，||a_i-a′||，…，||a_N-a′||)

其中，G′表示待識別視頻的上下文關系圖；{G₁，...，G_i，...，G_N}表示訓練視頻樣本的上下文關系圖，表示視頻上下文關系圖對應的高維特征向量；{a₁，...，a_i，...，a_N}表示訓練視頻樣本的音頻特征，a′表示待識別視頻的音頻特征；β為上下文稀疏模型的系數(shù)，D為代價矩陣。

5.如權利要求4所述的方法，其特征在于，求解所述上下文稀疏模型時，通過圖核函數(shù)K_g(G_i，G_j)來表達視頻場景上下文圖之間的相似度，所述圖核函數(shù)如下表示：

K(v_i，a，v_j，b)=exp(-σ||v_i，a-v_j，b||²)，

其中，G_i和G_j表示訓練視頻樣本或待識別視頻的上下文關系圖，v_i，a，v_j，b分別為G_i和G_j中的元素，n_i，n_j分別為G_i和G_j中的元素個數(shù)，Wⁱ和W^j分別是G_i和G_j的鄰接矩陣，K(v_i，a，v_j，b)是高斯核函數(shù)，σ為可調參數(shù)。