[發明專利]基于時間尺度不變性的視頻中人體動作識別方法及系統

有效

• 申請號: 201710018095.3
• 申請日: 2017-01-10
• 公開（公告）號: CN108288015B
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 胡瑞敏;陳軍;陳華鋒;李紅陽;徐增敏;吳華;柴笑宇;柯亨進;張立國
• 申請（專利權）人: 武漢大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 胡艷

1.基于時間尺度不變性的視頻中人體動作識別方法，其特征是，包括：

S1利用子動作聚類法將原始視頻拆分為多個視頻子段，基于視頻子段構造子動作視頻段，所述的原始視頻為原始視頻訓練樣本或待測試原始視頻；

S2分別獲取各子動作視頻段的代表幀，得代表幀集；所述代表幀的采樣位置Loc(s_pα)為：

其中，Loc(s_pα)表示第p段子動作視頻段S'_p的代表幀s_pα的采樣位置；k_p-1表示S'_p-1中最后一幀圖像在原始視頻序列中的序號；k_p表示S'_p中最后一幀圖像在原始視頻序列中的序號；k₀＝0，k_a＝n，n表示原始視頻序列中圖像總幀數；表示下取整；α為步長參數，0＜α≤2；

S3在代表幀所對應的子動作視頻段中，基于代表幀及其相鄰幀圖像計算幀間光流，獲得各代表幀的光流強度圖像集；

S4采用各原始視頻訓練樣本的代表幀集以及光流強度圖像集訓練卷積神經網絡；以各原始視頻訓練樣本和待測試原始視頻的代表幀集以及光流強度圖像集為輸入，采用訓練后的卷積神經網絡分別提取出各原始視頻訓練樣本和待測試原始視頻中各代表幀的圖像卷積特征和光流卷積特征；

S5對各原始視頻訓練樣本和待測試原始視頻分別執行：分別融合各代表幀的圖像卷積特征和光流卷積特征，獲得融合特征，所有融合特征構成子動作特征集；

S6采用各原始視頻訓練樣本的子動作特征集訓練LSTM神經網絡，采用訓練后的LSTM神經網絡對待測試原始視頻的子動作特征集中各融合特征分別進行動作識別，獲得多階段的動作識別結果R＝[L₁,…,L_p,…L_a]，L_p表示第p個子動作視頻段S'_p的動作識別結果；

S7融合多階段的動作識別結果，得最終的動作識別結果將子動作視頻段的數量記為a，a為經驗值，其取值范圍為3～15。

2.如權利要求1所述的基于時間尺度不變性的視頻中人體動作識別方法，其特征是：

步驟S1中，所述的利用子動作聚類法將原始視頻拆分為多個視頻子段，具體為：

計算原始視頻中各幀圖像的二進制特征，基于幀間圖像的二進制特征的海明距離，將原始視頻拆分為多個視頻子段。

3.如權利要求1所述的基于時間尺度不變性的視頻中人體動作識別方法，其特征是：

步驟S1中，所述的基于視頻子段構造子動作視頻段，具體為：

將視頻子段數量記為m，所有視頻子段構成視頻子段集；將子動作視頻段的數量記為a，所有子動作視頻段構成子動作視頻段集，a為經驗值，其取值范圍為3～15；

若a＝m，將視頻子段集作為子動作視頻段集，視頻子段集中各視頻子段即子動作視頻段。

4.如權利要求1所述的基于時間尺度不變性的視頻中人體動作識別方法，其特征是：

步驟S1中，所述的基于視頻子段構造子動作視頻段，具體為：

將視頻子段數量記為m，所有視頻子段構成視頻子段集；將子動作視頻段的數量記為a，所有子動作視頻段構成子動作視頻段集，a為經驗值，其取值范圍為3～15；

若a＞m，執行如下子步驟：

(1a)從視頻子段集中選擇幀數最多的視頻子段，利用子動作聚類法將其拆分為兩個視頻子段，形成新的視頻子段集；

(1b)判斷新的視頻子段集中視頻子段數是否達到a，若達到，將該新的視頻子段集作為子動作視頻段集，該新的視頻子段集中各視頻子段即子動作視頻段；否則，對新的視頻子段集重復子步驟(1a)。