[發(fā)明專利]一種人體行為識別方法、裝置、電子設備及存儲介質在審
| 申請?zhí)枺?/td> | 202011256262.6 | 申請日： | 2020-11-11 |
| 公開（公告）號： | CN112418032A | 公開（公告）日： | 2021-02-26 |
| 發(fā)明（設計）人： | 王亞飛;朱偉;陳濤;張飛 | 申請（專利權）人： | 北京城市系統(tǒng)工程研究中心;北京辰安科技股份有限公司;武漢瑞泰華軟件技術有限公司 |
| 主分類號： | G06K9/00 | 分類號： | G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 武漢藍寶石專利代理事務所(特殊普通合伙) 42242 | 代理人： | 高蘭 |
| 地址： | 100000 北*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 人體 行為 識別 方法 裝置 電子設備 存儲 介質 | ||
1.一種人體行為識別方法，其特征在于，包括：
獲取人體行為數(shù)據(jù)集后，通過卷積神經(jīng)網(wǎng)絡對視頻RGB幀進行特征提取，將最后一個卷積層的特征作為人體行為表觀特征；
基于光流特征計算層對所述人體行為表觀特征進行迭代優(yōu)化，得到包含有人體短期行為動態(tài)信息的光流特征；
將連續(xù)的多幀光流特征自適應聚合后，對光流特征與表觀特征進行融合，并基于注意力圖對表觀特征進行引導，得到運動信息增強的表觀特征；
將運動信息增強的表觀特征與光流特征傳入分類融合層，并將分類器的預測分數(shù)融合得到行為預測結果；
根據(jù)行為預測結果和行為類別，通過交叉熵損失函數(shù)計算損失，將損失進行誤差反向傳播，迭代更新網(wǎng)絡參數(shù)，直至人體行為識別模型收斂，以基于收斂后的人體行為識別模型進行行為識別。
2.根據(jù)權利要求1所述的方法，其特征在于，所述獲取人體行為數(shù)據(jù)集還包括：
對人體行為數(shù)據(jù)集進行預處理，將樣本數(shù)據(jù)歸一化，并將歸一化的樣本數(shù)據(jù)傳送至卷積神經(jīng)網(wǎng)絡中。
3.根據(jù)權利要求1所述的方法，其特征在于，所述光流特征計算層中，使用特定的卷積核處理每一個特征圖，得到每個特征圖的梯度和散度，基于特征圖的梯度和散度迭代優(yōu)化光流場。
4.根據(jù)權利要求1所述的方法，其特征在于，所述基于注意力圖對表觀特征進行引導，得到運動信息增強的表觀特征包括：
基于注意力機制加權聚合相鄰幀的光流特征圖，計算公式為：
其中，表示加權聚合后光流特征圖，ωj→i表示第j幀光流特征向第i幀特征聚合的權重，F(xiàn)j表示第j幀光流特征，i和j表示計數(shù)變量，K表示加權聚合相鄰幀的數(shù)量；
通過激活函數(shù)ReLU(x)＝max(0,x)對特征加權聚合后結果進行非線性映射，得到注意力圖，將注意力圖與表觀特征進行逐像素相乘，得到運動信息增強的表觀特征。
5.根據(jù)權利要求1所述方法，其特征在于，所述分類融合層包含表觀特征分類器和動態(tài)特征分類器，并設置有預定個數(shù)的輸出神經(jīng)元，每個神經(jīng)元表示一種特定的行為種類，將兩個分類器的預測分數(shù)融合后，將最大神經(jīng)元值所在的位置作為行為預測的類別。
6.一種人體行為識別裝置，其特征在于，包括：
提取模塊，用于獲取人體行為數(shù)據(jù)集后，通過卷積神經(jīng)網(wǎng)絡對視頻RGB幀進行特征提取，將最后一個卷積層的特征作為人體行為表觀特征；
優(yōu)化模塊，用于基于光流特征計算層對所述人體行為表觀特征進行迭代優(yōu)化，得到包含有人體短期行為動態(tài)信息的光流特征；
融合模塊，用于將連續(xù)的多幀光流特征自適應聚合后，對光流特征與表觀特征進行融合，并基于注意力圖對表觀特征進行引導，得到運動信息增強的表觀特征；
分類模塊，用于將運動信息增強的表觀特征與光流特征傳入分類融合層，并將分類器的預測分數(shù)融合得到行為預測結果；
更新模塊，用于根據(jù)行為預測結果和行為類別，通過交叉熵損失函數(shù)計算損失，將損失進行誤差反向傳播，迭代更新網(wǎng)絡參數(shù)，直至人體行為識別模型收斂，以基于收斂后的人體行為識別模型進行行為識別。
7.根據(jù)權利要求6所述的裝置，其特征在于，所述基于注意力圖對表觀特征進行引導，得到運動信息增強的表觀特征包括：
基于注意力機制加權聚合相鄰幀的光流特征圖，計算公式為：
其中，表示加權聚合后光流特征圖，ωj→i表示第j幀光流特征向第i幀特征聚合的權重，F(xiàn)j表示第j幀光流特征，i和j表示計數(shù)變量，K表示加權聚合相鄰幀的數(shù)量；
通過激活函數(shù)ReLU(x)＝max(0,x)對特征加權聚合后結果進行非線性映射，得到注意力圖，將注意力圖與表觀特征進行逐像素相乘，得到運動信息增強的表觀特征。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京城市系統(tǒng)工程研究中心;北京辰安科技股份有限公司;武漢瑞泰華軟件技術有限公司，未經(jīng)北京城市系統(tǒng)工程研究中心;北京辰安科技股份有限公司;武漢瑞泰華軟件技術有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011256262.6/1.html，轉載請聲明來源鉆瓜專利網(wǎng)。
