[發(fā)明專利]一種基于層次化特征子空間學(xué)習(xí)的人體行為識別方法

有效

• 申請?zhí)枺?/td>: 201811415195.0
• 申請日: 2018-11-26
• 公開（公告）號: CN109508686B
• 公開（公告）日: 2022-06-28
• 發(fā)明（設(shè)計）人: 盛碧云;肖甫;李群;沙樂天;黃海平;沙超
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/77;G06K9/62
• 代理公司: 南京正聯(lián)知識產(chǎn)權(quán)代理有限公司 32243
• 代理人: 王素琴

1.一種基于層次化特征子空間學(xué)習(xí)的人體行為識別方法，其特征在于，所述方法包括：

將人體行為識別的視頻樣本劃分成訓(xùn)練樣本和測試樣本，提取并編碼視頻樣本的手工特征和深度特征，并分別以所述手工特征和所述深度特征的特征向量表示每一視頻樣本；

對每一視頻樣本設(shè)置獨有的樣本標(biāo)簽，采用訓(xùn)練樣本的所述手工特征和所述深度特征的特征向量以及對應(yīng)視頻樣本的所述樣本標(biāo)簽作為輸入，訓(xùn)練層次化特征子空間學(xué)習(xí)模型，生成子空間投影矩陣和行為類別的決策邊界；其步驟為：

構(gòu)建訓(xùn)練樣本的層次化特征子空間學(xué)習(xí)模型：

其中，Z_v為所述訓(xùn)練樣本在第v個視角下的列向量表示，P_v為所述子空間投影矩陣，X表示所述手工特征向量和深度特征向量的共有特征子空間，H表示所述樣本標(biāo)簽，W表示所述決策邊界；

將所述列向量Z_v以及所述樣本標(biāo)簽H作為所述層次化特征子空間學(xué)習(xí)模型的輸入，采用迭代交替算法來優(yōu)化所述層次化特征子空間學(xué)習(xí)模型，獲得所述子空間投影矩陣P_v和所述決策邊界W；

利用所述子空間投影矩陣，學(xué)習(xí)測試樣本的所述手工特征和所述深度特征的子空間特征向量；

計算并比較測試樣本的子空間特征向量到各個行為類別的所述決策邊界的距離，并判別測試樣本的行為類，完成人體行為識別操作。

2.如權(quán)利要求1所述的層次化特征子空間學(xué)習(xí)的人體行為識別方法，其特征在于，將人體行為識別的視頻樣本劃分成訓(xùn)練樣本和測試樣本，提取并編碼視頻樣本的手工特征和深度特征，并分別以所述手工特征和所述深度特征的特征向量表示每一視頻樣本的步驟包括：

生成手工特征的特征向量：稠密采樣并跟蹤視頻多幀圖像的特征點，提取視頻樣本的稠密運動軌跡，并計算基于稠密運動軌跡的梯度方向直方圖、光流方向直方圖和運動邊界方向直方圖，將所述梯度方向直方圖、光流方向直方圖和運動邊界方向直方圖連接，作為手工特征；將所述手工特征進行Fisher Vector編碼，生成基于所述手工特征的列向量；

生成深度特征的特征向量：將訓(xùn)練樣本的RGB圖像、光流圖像分別輸入兩個深度卷積神經(jīng)網(wǎng)絡(luò)中，訓(xùn)練深度空間模型和深度時間模型，并采用所述深度空間模型或所述深度時間模型的頂層全連接層作為空間流或時間流的深度特征；并池化每個視頻所有幀圖像的空間流或所有光流圖像的時間流深度特征，并將池化的結(jié)果連接，生成基于所述深度特征的列向量。

3.如權(quán)利要求1所述的基于層次化特征子空間學(xué)習(xí)的人體行為識別方法，其特征在于，利用所述子空間投影矩陣，學(xué)習(xí)測試樣本的所述手工特征和所述深度特征的子空間特征向量的步驟包括：

構(gòu)建測試樣本的層次化特征到子空間的變換模型：

其中，P_v表示所述子空間投影矩陣，表示測試樣本的層次化特征表達，表示測試樣本的子空間特征表達。

4.如權(quán)利要求3所述的基于層次化特征子空間學(xué)習(xí)的人體行為識別方法，其特征在于，所述計算并比較測試樣本的子空間特征向量到各個行為類別的所述決策邊界的距離，并判別測試樣本的行為類，完成人體行為識別操作的步驟包括：將所述子空間特征向量和所述決策邊界做矩陣乘法運算，得到測試樣本對所有行為類別的響應(yīng)值，選擇最大響應(yīng)值對應(yīng)的行為類別作為測試樣本的識別結(jié)果，完成人體行為的識別操作。