[發明專利]基于排序池化融合空間特征的視頻動作識別方法

有效

• 申請號: 201810177015.3
• 申請日: 2018-03-04
• 公開（公告）號: CN108416795B
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 項欣光;趙恒穎
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T7/215
• 分類號: G06T7/215;G06T7/246;G06T7/269
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 朱寶慶

1.一種基于排序池化融合空間特征的視頻動作識別方法，其特征在于，包括以下步驟：

步驟1，采用視頻局部特征描述子算法對每個視頻提取基本視覺特征向量集；

步驟2，對每個視頻每幀圖像的二維空間進行多尺度分割，構建二維空間金字塔模型；

步驟3，對金字塔模型中每個子空間內的視頻基本特征向量集按照幀序列時間順序排列；

步驟4，對每個子空間內的有序基本特征向量序列單獨進行smooth操作；

步驟5，對每個子空間內經smooth操作后的有序特征向量序列單獨運用排序池化算法，學習得到屬于該子空間的模型參數；

步驟6，將金字塔模型中所有子空間得到的模型參數進行串聯，得到的特征向量作為視頻最終特征向量；

步驟7，通過使用分類器對該視頻的特征向量進行分類，識別出該視頻的動作類別；

步驟5以子空間為單位，單獨對每個子空間的經smooth操作后有序特征向量序列運用排序池化算法，學習得到屬于該子空間的模型參數w_(s,n)，表示第t幀圖像的第s層第n個子空間中的特征向量，

用每幀的新特征向量序列的偏序關系表示每幀的新特征向量隨著時序變化的內在聯系，通過學習排序范式對順序約束條件建立數學模型，表示第t幀的特征向量在第t+1幀特征向量之前，

所構建的數學模型的學習過程是有監督的，對于輸入樣本將特征序列中所有的特征向量兩兩組合其中表示時間的幀序號t_i在t_j之前，定義正例樣本為樣本標簽設為1，則反例樣本為樣本標簽設為-1，

通過SVM的學習算法學習凸優化問題：

ξ_ij≥0

當目標函數達到最優時，學習到的函數參數w_(s,n)可以作為該子空間內的視頻序列新的特征描述符。

2.根據權利要求1所述的方法，其特征在于，所述步驟2中對視頻的每一幀圖像構建一個兩層的空間金字塔模型，對圖像的二維空間結構進行多尺度分割，以此將視頻每幀圖像的二維空間結構信息融入排序池化算法得到的視頻特征向量中。

3.根據權利要求1所述的方法，其特征在于，所述步驟3中將金字塔每層的每個子空間內的基本特征向量序列按照該基本特征向量所屬的幀圖像的時間順序排列，獲得有序的基本特征向量序列，用表示，其中s表示金字塔的層號，n表示每層中子空間的序號，表示第t幀圖像的第s層第n個子空間中的基本特征向量，X_(s,n)表示該視頻的所有幀再第s層第n個子空間中的有序特征向量序列。

4.根據權利要求3所述的方法，其特征在于，所述步驟4中對步驟3所得到的每個子空間的有序基本特征向量序列進行smooth操作，該smooth操作采用的是時變均值向量法對每個子空間的基本特征序列X_(s,n)進行預處理，令V_(s,n)表示預處理過后金字塔第s層中第n個子空間內的新特征向量序列，令表示該子空間內新特征向量序列中的第t幀新特征向量，則其中第t幀新特征向量的計算方式如公式：

其中是表示金子塔第s層第n個子空間內的從第一幀到第t幀圖像的所有基本視覺特征向量序列的平均值，計算方式見公式：

5.根據權利要求4所述的方法，其特征在于，所述步驟5中以視頻二維空間金字塔模型中的子空間為單位，單獨對每個子空間的有序特征向量序列運用排序池化算法，學習得到屬于該子空間的模型參數W。