[發(fā)明專利]一種人體行為識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011256262.6
• 申請(qǐng)日: 2020-11-11
• 公開（公告）號(hào): CN112418032A
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計(jì)）人: 王亞飛;朱偉;陳濤;張飛
• 申請(qǐng)（專利權(quán)）人: 北京城市系統(tǒng)工程研究中心;北京辰安科技股份有限公司;武漢瑞泰華軟件技術(shù)有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢藍(lán)寶石專利代理事務(wù)所(特殊普通合伙) 42242
• 代理人: 高蘭

1.一種人體行為識(shí)別方法，其特征在于，包括：

獲取人體行為數(shù)據(jù)集后，通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)視頻RGB幀進(jìn)行特征提取，將最后一個(gè)卷積層的特征作為人體行為表觀特征；

基于光流特征計(jì)算層對(duì)所述人體行為表觀特征進(jìn)行迭代優(yōu)化，得到包含有人體短期行為動(dòng)態(tài)信息的光流特征；

將連續(xù)的多幀光流特征自適應(yīng)聚合后，對(duì)光流特征與表觀特征進(jìn)行融合，并基于注意力圖對(duì)表觀特征進(jìn)行引導(dǎo)，得到運(yùn)動(dòng)信息增強(qiáng)的表觀特征；

將運(yùn)動(dòng)信息增強(qiáng)的表觀特征與光流特征傳入分類融合層，并將分類器的預(yù)測(cè)分?jǐn)?shù)融合得到行為預(yù)測(cè)結(jié)果；

根據(jù)行為預(yù)測(cè)結(jié)果和行為類別，通過交叉熵?fù)p失函數(shù)計(jì)算損失，將損失進(jìn)行誤差反向傳播，迭代更新網(wǎng)絡(luò)參數(shù)，直至人體行為識(shí)別模型收斂，以基于收斂后的人體行為識(shí)別模型進(jìn)行行為識(shí)別。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取人體行為數(shù)據(jù)集還包括：

對(duì)人體行為數(shù)據(jù)集進(jìn)行預(yù)處理，將樣本數(shù)據(jù)歸一化，并將歸一化的樣本數(shù)據(jù)傳送至卷積神經(jīng)網(wǎng)絡(luò)中。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述光流特征計(jì)算層中，使用特定的卷積核處理每一個(gè)特征圖，得到每個(gè)特征圖的梯度和散度，基于特征圖的梯度和散度迭代優(yōu)化光流場(chǎng)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于注意力圖對(duì)表觀特征進(jìn)行引導(dǎo)，得到運(yùn)動(dòng)信息增強(qiáng)的表觀特征包括：

基于注意力機(jī)制加權(quán)聚合相鄰幀的光流特征圖，計(jì)算公式為：

其中，表示加權(quán)聚合后光流特征圖，ω_j→i表示第j幀光流特征向第i幀特征聚合的權(quán)重，F(xiàn)_j表示第j幀光流特征，i和j表示計(jì)數(shù)變量，K表示加權(quán)聚合相鄰幀的數(shù)量；

通過激活函數(shù)ReLU(x)＝max(0,x)對(duì)特征加權(quán)聚合后結(jié)果進(jìn)行非線性映射，得到注意力圖，將注意力圖與表觀特征進(jìn)行逐像素相乘，得到運(yùn)動(dòng)信息增強(qiáng)的表觀特征。

5.根據(jù)權(quán)利要求1所述方法，其特征在于，所述分類融合層包含表觀特征分類器和動(dòng)態(tài)特征分類器，并設(shè)置有預(yù)定個(gè)數(shù)的輸出神經(jīng)元，每個(gè)神經(jīng)元表示一種特定的行為種類，將兩個(gè)分類器的預(yù)測(cè)分?jǐn)?shù)融合后，將最大神經(jīng)元值所在的位置作為行為預(yù)測(cè)的類別。

6.一種人體行為識(shí)別裝置，其特征在于，包括：

提取模塊，用于獲取人體行為數(shù)據(jù)集后，通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)視頻RGB幀進(jìn)行特征提取，將最后一個(gè)卷積層的特征作為人體行為表觀特征；

優(yōu)化模塊，用于基于光流特征計(jì)算層對(duì)所述人體行為表觀特征進(jìn)行迭代優(yōu)化，得到包含有人體短期行為動(dòng)態(tài)信息的光流特征；

融合模塊，用于將連續(xù)的多幀光流特征自適應(yīng)聚合后，對(duì)光流特征與表觀特征進(jìn)行融合，并基于注意力圖對(duì)表觀特征進(jìn)行引導(dǎo)，得到運(yùn)動(dòng)信息增強(qiáng)的表觀特征；

分類模塊，用于將運(yùn)動(dòng)信息增強(qiáng)的表觀特征與光流特征傳入分類融合層，并將分類器的預(yù)測(cè)分?jǐn)?shù)融合得到行為預(yù)測(cè)結(jié)果；

更新模塊，用于根據(jù)行為預(yù)測(cè)結(jié)果和行為類別，通過交叉熵?fù)p失函數(shù)計(jì)算損失，將損失進(jìn)行誤差反向傳播，迭代更新網(wǎng)絡(luò)參數(shù)，直至人體行為識(shí)別模型收斂，以基于收斂后的人體行為識(shí)別模型進(jìn)行行為識(shí)別。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述基于注意力圖對(duì)表觀特征進(jìn)行引導(dǎo)，得到運(yùn)動(dòng)信息增強(qiáng)的表觀特征包括：

基于注意力機(jī)制加權(quán)聚合相鄰幀的光流特征圖，計(jì)算公式為：

其中，表示加權(quán)聚合后光流特征圖，ω_j→i表示第j幀光流特征向第i幀特征聚合的權(quán)重，F(xiàn)_j表示第j幀光流特征，i和j表示計(jì)數(shù)變量，K表示加權(quán)聚合相鄰幀的數(shù)量；

通過激活函數(shù)ReLU(x)＝max(0,x)對(duì)特征加權(quán)聚合后結(jié)果進(jìn)行非線性映射，得到注意力圖，將注意力圖與表觀特征進(jìn)行逐像素相乘，得到運(yùn)動(dòng)信息增強(qiáng)的表觀特征。