[發(fā)明專(zhuān)利]一種基于多路徑激勵(lì)的視頻人體行為識(shí)別方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210505201.1
• 申請(qǐng)日: 2022-05-10
• 公開(kāi)（公告）號(hào): CN114821438A
• 公開(kāi)（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 田智強(qiáng);王晨宇;岳如靖;杜少毅
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西安交通大學(xué)
• 主分類(lèi)號(hào): G06V20/40
• 分類(lèi)號(hào): G06V20/40;G06V40/20;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 西安通大專(zhuān)利代理有限責(zé)任公司 61200
• 代理人: 李鵬威

1.一種基于多路徑激勵(lì)的視頻人體行為識(shí)別方法，其特征在于，包括以下步驟：

S1，將待識(shí)別視頻分段后根據(jù)各段提取圖像幀；

S2，采用預(yù)訓(xùn)練模型對(duì)提取的圖像幀進(jìn)行多路徑特征提取識(shí)別匹配，匹配度最高的行為動(dòng)作即為該圖像幀的動(dòng)作，將提取的圖像幀識(shí)別動(dòng)作連接后即可得到待識(shí)別視頻中人體行為。

2.根據(jù)權(quán)利要求1所述的一種基于多路徑激勵(lì)的視頻人體行為識(shí)別方法，其特征在于，采用多路徑激勵(lì)方法對(duì)提取的圖像幀進(jìn)行特征提取。

3.根據(jù)權(quán)利要求1所述的一種基于多路徑激勵(lì)的視頻人體行為識(shí)別方法，其特征在于，提取過(guò)程中，分別對(duì)圖像幀進(jìn)行短時(shí)運(yùn)動(dòng)激勵(lì)，運(yùn)動(dòng)通道激勵(lì)與全局時(shí)空激勵(lì)；利用提取的特征進(jìn)行網(wǎng)絡(luò)訓(xùn)練同時(shí)進(jìn)行預(yù)測(cè)，預(yù)測(cè)結(jié)果滿足設(shè)定訓(xùn)練迭代次數(shù)或者達(dá)到設(shè)定匹配度，即可完成得到行為識(shí)別網(wǎng)絡(luò)模型，利用訓(xùn)練好的行為識(shí)別網(wǎng)絡(luò)模型進(jìn)行基于視頻的人體行為識(shí)別任務(wù)。

4.根據(jù)權(quán)利要求1所述的一種基于多路徑激勵(lì)的視頻人體行為識(shí)別方法，其特征在于，預(yù)訓(xùn)練模型采用深度卷積神經(jīng)網(wǎng)絡(luò)，包括五個(gè)卷積模塊，第一個(gè)卷積模塊對(duì)圖像幀數(shù)據(jù)初步提取特征并降維，同時(shí)利用短時(shí)運(yùn)動(dòng)激勵(lì)模塊對(duì)第一個(gè)卷積后的特征加和作為補(bǔ)充信息；然后經(jīng)過(guò)一個(gè)最大池化層后通過(guò)第二個(gè)至第五個(gè)進(jìn)行特征提取。

5.根據(jù)權(quán)利要求4所述的一種基于多路徑激勵(lì)的視頻人體行為識(shí)別方法，其特征在于，第二個(gè)卷積模塊與第五個(gè)卷積模塊的Bottleneck層中加入shift移位模塊與MCE運(yùn)動(dòng)通道激勵(lì)模塊，通過(guò)通道注意力機(jī)制尋找特征通道中對(duì)運(yùn)動(dòng)信息敏感的通道。

6.根據(jù)權(quán)利要求4所述的一種基于多路徑激勵(lì)的視頻人體行為識(shí)別方法，其特征在于，第二個(gè)卷積模塊同步采用SME作為運(yùn)動(dòng)特征信息的補(bǔ)充。

7.根據(jù)權(quán)利要求4所述的一種基于多路徑激勵(lì)的視頻人體行為識(shí)別方法，其特征在于，第三個(gè)卷積模塊與第四個(gè)卷積模塊中的全局激勵(lì)模塊獲取時(shí)空全局信息。

8.根據(jù)權(quán)利要求4所述的一種基于多路徑激勵(lì)的視頻人體行為識(shí)別方法，其特征在于，對(duì)提取的特征X采用1×1的卷積conv_r來(lái)降維，得到X^r＝conv_r(X),X^r∈R^{N×T×C/r×H×W}，其中r為減少率；然后沿時(shí)間維度T將X拆分，其中兩個(gè)時(shí)間維度相鄰的幀X^r(t)與X^r(t+1)之間的差為時(shí)間t處的特征級(jí)運(yùn)動(dòng)表示；對(duì)X^r(t+1)進(jìn)行通道變化后與X^r(t)做差得到t時(shí)刻的運(yùn)動(dòng)特征C(t)，如下式所示：

C(t)＝conv_t(X^r(t+1))-X^r(t),1≤t≤T-1

其中conv_t是3×3的對(duì)每個(gè)通道進(jìn)行變換的2D通道層卷積；在T個(gè)時(shí)間上循環(huán)執(zhí)行上述操作，并將所有的運(yùn)動(dòng)特征連接，生成運(yùn)動(dòng)通道矩陣C[C(1),C(2),…,C(T)]。

9.根據(jù)權(quán)利要求8所述的一種基于多路徑激勵(lì)的視頻人體行為識(shí)別方法，其特征在于，通過(guò)sigmoid激活函數(shù)獲取運(yùn)動(dòng)通道注意力權(quán)值A(chǔ)：

A＝2δ(conv_e(C^p))-1,A∈R^{N×T×C×1×1}

式中conv_e為1×1的二維卷積，將通道維度擴(kuò)展回原有的C；δ表示sigmoid激活函數(shù)。

10.一種基于多路徑激勵(lì)的視頻人體行為識(shí)別系統(tǒng)，其特征在于，包括預(yù)處理模塊和識(shí)別模塊；

預(yù)處理模塊用于將待識(shí)別視頻分段后根據(jù)各段提取圖像幀，然后采用預(yù)訓(xùn)練模型對(duì)提取的圖像幀進(jìn)行多路徑特征提取識(shí)別匹配，匹配度最高的行為動(dòng)作即為該圖像幀的動(dòng)作，將提取的圖像幀識(shí)別動(dòng)作連接后即可得到待識(shí)別視頻中人體行為。