[發(fā)明專利]一種基于層次化特征子空間學(xué)習(xí)的人體行為識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811415195.0
• 申請(qǐng)日: 2018-11-26
• 公開(kāi)（公告）號(hào): CN109508686B
• 公開(kāi)（公告）日: 2022-06-28
• 發(fā)明（設(shè)計(jì)）人: 盛碧云;肖甫;李群;沙樂(lè)天;黃海平;沙超
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V20/40;G06V10/77;G06K9/62
• 代理公司: 南京正聯(lián)知識(shí)產(chǎn)權(quán)代理有限公司 32243
• 代理人: 王素琴

本發(fā)明公開(kāi)了基于層次化特征子空間學(xué)習(xí)的人體行為識(shí)別方法，方法包括：將人體行為視頻樣本劃分成訓(xùn)練樣本和測(cè)試樣本，提取并編碼視頻樣本的手工特征和深度特征，分別以手工特征和深度特征的特征向量表示每一視頻樣本；設(shè)置視頻樣本的樣本標(biāo)簽，采用訓(xùn)練樣本的手工特征和深度特征的特征向量以及對(duì)應(yīng)的樣本標(biāo)簽作為輸入，訓(xùn)練層次化特征子空間學(xué)習(xí)模型，生成子空間投影矩陣和行為類別的決策邊界；利用子空間投影矩陣學(xué)習(xí)測(cè)試樣本的手工特征和深度特征的子空間特征向量；計(jì)算并比較測(cè)試樣本的子空間特征向量到各個(gè)行為類別的決策邊界的距離，判別測(cè)試樣本的行為類完成識(shí)別操作；本發(fā)明提高了子空間特征表達(dá)的辨識(shí)力，且具有良好的識(shí)別精度和效率。

技術(shù)領(lǐng)域

本發(fā)明屬于視頻行為識(shí)別技術(shù)領(lǐng)域，具體涉及一種基于層次化特征子空間學(xué)習(xí)的人體行為識(shí)別方法。

背景技術(shù)

基于視頻的行為識(shí)別是人工智能發(fā)展和計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)，在智能安全監(jiān)控、智能機(jī)器人、人機(jī)交互、虛擬現(xiàn)實(shí)和游戲控制等領(lǐng)域都有重要的市場(chǎng)需求和應(yīng)用價(jià)值。學(xué)習(xí)辨識(shí)力強(qiáng)的視頻特征表達(dá)是提高行為識(shí)別精度的關(guān)鍵，然而，不同行為的相似性和同一行為的差異性，增加了行為描述和識(shí)別的復(fù)雜性。

目前，大多數(shù)學(xué)者致力于挖掘新的手工底層特征、或者構(gòu)建更深更復(fù)雜的深度學(xué)習(xí)模型，探索包含更多信息的特征表示。這些算法雖然能夠在一定程度上提高識(shí)別精度，但復(fù)雜的模型也降低了算法的效率和識(shí)別速度。

發(fā)明內(nèi)容

本發(fā)明目的是針對(duì)上述現(xiàn)有技術(shù)的人體行為識(shí)別模型復(fù)雜、算法效率低和識(shí)別速度慢的問(wèn)題，提供一種基于層次化特征子空間學(xué)習(xí)的人體行為識(shí)別方法，該方法考慮從多視角子空間學(xué)習(xí)的角度，融合基于手工特征和深度特征的互補(bǔ)特征表達(dá)實(shí)現(xiàn)對(duì)人體行為的識(shí)別操作，具體技術(shù)方案如下：

一種基于層次化特征子空間學(xué)習(xí)的人體行為識(shí)別方法，所述方法包括：

將人體行為識(shí)別的視頻樣本劃分成訓(xùn)練樣本和測(cè)試樣本，提取并編碼視頻樣本的手工特征和深度特征，并分別以所述手工特征和所述深度特征的特征向量表示每一視頻樣本；

對(duì)每一視頻樣本設(shè)置獨(dú)有的樣本標(biāo)簽，采用訓(xùn)練樣本的所述手工特征和所述深度特征的特征向量以及對(duì)應(yīng)視頻樣本的所述樣本標(biāo)簽作為輸入，訓(xùn)練層次化特征子空間學(xué)習(xí)模型，生成子空間投影矩陣和行為類別的決策邊界；

利用所述子空間投影矩陣，學(xué)習(xí)測(cè)試樣本的所述手工特征和所述深度特征的子空間特征向量；

計(jì)算并比較測(cè)試樣本的子空間特征向量到各個(gè)行為類別的所述決策邊界的距離，并判別測(cè)試樣本的行為類，完成人體行為識(shí)別操作。

進(jìn)一步的，將人體行為識(shí)別的視頻樣本劃分成訓(xùn)練樣本和測(cè)試樣本，提取并編碼視頻樣本的手工特征和深度特征，并分別以所述手工特征和所述深度特征的特征向量表示每一視頻樣本的步驟包括：

生成手工特征的特征向量：稠密采樣并跟蹤視頻多幀圖像的特征點(diǎn)，提取視頻樣本的稠密運(yùn)動(dòng)軌跡，并計(jì)算基于稠密運(yùn)動(dòng)軌跡的梯度方向直方圖、光流方向直方圖和運(yùn)動(dòng)邊界方向直方圖，將所述梯度方向直方圖、光流方向直方圖和運(yùn)動(dòng)邊界方向直方圖連接，作為手工特征；將所述手工特征進(jìn)行Fisher Vector編碼，生成基于所述手工特征的列向量；

生成深度特征的特征向量：將訓(xùn)練樣本的RGB圖像、光流圖像分別輸入兩個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)中，訓(xùn)練深度空間模型和深度時(shí)間模型，并采用所述深度空間模型或所述深度時(shí)間模型的頂層全連接層作為空間流或時(shí)間流的深度特征；并池化每個(gè)視頻所有幀圖像的空間流或所有光流圖像的時(shí)間流深度特征，并將池化的結(jié)果連接，生成基于所述深度特征的列向量。

進(jìn)一步的，對(duì)每一視頻樣本設(shè)置獨(dú)有的樣本標(biāo)簽，采用訓(xùn)練樣本的所述手工特征和所述深度特征的特征向量以及對(duì)應(yīng)視頻樣本的所述樣本標(biāo)簽作為輸入，訓(xùn)練層次化特征子空間學(xué)習(xí)模型，生成子空間投影矩陣和行為類別的決策邊界的步驟包括：

構(gòu)建訓(xùn)練樣本的層次化特征子空間學(xué)習(xí)模型：