[發明專利]基于混淆矩陣的高層語義視頻行為識別方法

有效

• 申請號: 201711415758.1
• 申請日: 2017-12-25
• 公開（公告）號: CN108256434B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 同鳴;郭志強;陳逸然;田偉娟
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華;朱紅星

1.基于混淆矩陣的高層語義行為視頻識別方法，包括：

(1)對所有行為視頻提取稠密軌跡，采用軌跡的方向梯度直方圖HOG和光流方向直方圖HOF對軌跡進行描述，并對該HOG和HOF分別采用主成分分析PCA降維，得到行為視頻的兩個底層特征F_HOG和F_HOF；

(2)對兩個底層特征F_HOG和F_HOF分別進行K-means聚類，再采用詞袋模型BoW分別編碼，串接得到行為視頻的底層特征向量M，將M作為線性SVM分類器的訓練樣本，訓練得到所有行為的SVM分類器集合SVM_Low_Set；

(3)采用步驟(2)訓練得到的分類器集合SVM_Low_Set，對行為視頻進行分類，獲取分類后的混淆矩陣H；

(4)針對混淆矩陣H，人工定義能夠區分混淆行為的高層語義，獲取所有行為類別的高層語義集合G_set；

(5)將高層語義集合G_set與行為類別相關聯，獲取完整的高層語義列表L；

(6)將高層語義列表L和行為視頻訓練集Train_Set相關聯，獲取所有高層語義的判別式分類器集合SVM_Dis_Set；

(7)將行為視頻測試集Test_Set中的每一個行為視頻V_n，依次輸入到SVM_Dis_Set中，將所有判別式分類器的判分輸出結果串接，得到行為視頻V_n的高層語義特征向量G_Feat(V_n)；

(8)將行為視頻訓練集Train_Set與測試集Test_Set進行交換，重復步驟(6)和步驟(7)，得到所有行為視頻的高層語義特征向量G_Feat；

(9)利用行為視頻分類器集合SVM_Low_Set，獲取各行為視頻類別在其隸屬類別分類器下的隸屬度Sco，并與行為視頻的高層語義特征向量G_Feat共同訓練隱變量支持向量機LSVM分類器，測試時，將測試樣本的隸屬度和高層語義特征向量輸入到訓練好的LSVM中，獲取視頻行為分類結果。

2.根據權利要求1所述的方法，其中步驟(2)中“訓練得到所有行為類的SVM分類器集合SVM_Low_Set”，按如下步驟進行：

(2.1)設定聚類中心個數為N，分別對底層特征F_HOG和F_HOF進行K-means聚類，并用N個聚類中心構建碼書；

(2.2)利用步驟(2.1)構建的碼書，分別對F_HOG和F_HOF進行量化編碼，統計量化編碼后的碼字直方圖，作為該行為視頻的兩個底層特征描述子；

(2.3)將兩個底層特征描述子進行串接，作為該行為視頻的底層特征向量M，使用線性SVM分類器進行訓練，得到所有行為類別的SVM分類器集合SVM_Low_Set。

3.根據權利要求1所述的方法，其中步驟(4)中“獲取所有行為類別的高層語義集合G_set”，按如下步驟進行：

(4.1)利用步驟(3)得到的混淆矩陣H，選擇H中非對角線上的非零元素，將其作為行為視頻中的混淆行為；

(4.2)對混淆行為進行有針對性地糾正，列舉混淆行為的所有屬性，從該屬性中選擇能夠區分混淆行為的屬性，作為混淆行為視頻的高層語義；

(4.3)對不同混淆行為執行步驟(4.2)的過程，得到所有行為類別的高層語義集合G_set。

4.根據權利要求1所述的方法，其中步驟(5)中“獲取行為視頻中完整的高層語義列表L”，按如下步驟進行：

(5.1)通過二進制方法，獲取各高層語義在所有行為類別下的二進制值：

若某類行為視頻中包含某一個高層語義，則將該類行為視頻的標簽設置為1，并將該類行為視頻作為正樣本；

否則，將該類行為視頻的標簽設置為0，并將該類行為視頻作為負樣本；

(5.2)統計所有行為類別對應的二進制標簽值，得到行為視頻數據集完整的高層語義列表L。