[發(fā)明專利]基于多流深度學(xué)習(xí)的人體行為識別方法

在審

• 申請?zhí)枺?/td>: 202010045606.2
• 申請日: 2020-01-16
• 公開（公告）號: CN111259795A
• 公開（公告）日: 2020-06-09
• 發(fā)明（設(shè)計(jì)）人: 韓雪平;簡艷;時(shí)倩如;胡兆麟;王春芳;楊本環(huán);湯璟穎;廖昳;孫冬陽;焦晨瑩;崔伯淵;楊若曦
• 申請（專利權(quán)）人: 河南職業(yè)技術(shù)學(xué)院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 鄭州旭揚(yáng)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 41185
• 代理人: 高超

1.基于多流深度學(xué)習(xí)的人體行為識別方法，其特征在于，包括以下步驟：

S1、分別建立基于BN-inception網(wǎng)絡(luò)的全局空域信息網(wǎng)絡(luò)訓(xùn)練模型、局部空域信息網(wǎng)絡(luò)訓(xùn)練模型和時(shí)域信息網(wǎng)絡(luò)訓(xùn)練模型；

S2、訓(xùn)練并優(yōu)化全局空域信息網(wǎng)絡(luò)訓(xùn)練模型、局部空域信息網(wǎng)絡(luò)訓(xùn)練模型和時(shí)域信息網(wǎng)絡(luò)訓(xùn)練模型的參數(shù)，獲取全局空域信息網(wǎng)絡(luò)模型、局部空域信息網(wǎng)絡(luò)模型和時(shí)域信息網(wǎng)絡(luò)模型；

S3、將待識別視頻V劃分為S段非重疊的視頻片段；

S4、在每個(gè)視頻片段中隨機(jī)提取一幀RGB圖像以及RGB圖像的分塊圖像和光流場特征，RGB圖像作為對應(yīng)視頻片段的全局空域信息輸入全局空域信息網(wǎng)絡(luò)模型，分塊圖像作為對應(yīng)視頻片段的局部空域信息輸入局部空域信息網(wǎng)絡(luò)模型，光流場特征作為對應(yīng)視頻片段的時(shí)域信息輸入時(shí)域信息網(wǎng)絡(luò)模型；

S5、全局空域信息網(wǎng)絡(luò)模型輸出RGB圖像的類別分?jǐn)?shù)，局部空域信息網(wǎng)絡(luò)模型輸出分塊圖像的類別分?jǐn)?shù)，時(shí)域信息網(wǎng)絡(luò)模型輸出光流場特征的類別分?jǐn)?shù)；

S6、采用段共識函數(shù)對S段視頻片段中的RGB圖像的類別分?jǐn)?shù)進(jìn)行融合產(chǎn)生RGB圖像段共識，采用段共識函數(shù)對S段視頻片段中的分塊圖像進(jìn)行融合產(chǎn)生分塊圖像段共識，采用段共識函數(shù)對S段視頻片段中的光流場特征的類別分?jǐn)?shù)進(jìn)行融合產(chǎn)生光流場特征段共識；

S7、采用段共識函數(shù)對S段視頻片段中的RGB圖像段共識、分塊圖像段共識和光流場特征段共識進(jìn)行加權(quán)融合，輸出待識別視頻的人體行為分類得分。

2.根據(jù)權(quán)利要求1所述的基于多流深度學(xué)習(xí)的人體行為識別方法，其特征在于：在步驟S2中，采用數(shù)據(jù)集ImageNet分別對全局空域信息網(wǎng)絡(luò)訓(xùn)練模型、局部空域信息網(wǎng)絡(luò)訓(xùn)練模型和時(shí)域信息網(wǎng)絡(luò)訓(xùn)練模型進(jìn)行訓(xùn)練。

3.根據(jù)權(quán)利要求2所述的基于多流深度學(xué)習(xí)的人體行為識別方法，其特征在于：在步驟S2中，采用數(shù)據(jù)集UCF-101和數(shù)據(jù)集HMGB51分別對訓(xùn)練后的全局空域信息網(wǎng)絡(luò)模型、局部空域信息網(wǎng)絡(luò)模型和時(shí)域信息網(wǎng)絡(luò)模型進(jìn)行參數(shù)優(yōu)化。

4.根據(jù)權(quán)利要求1所述的基于多流深度學(xué)習(xí)的人體行為識別方法，其特征在于：對于待識別視頻V，把它按相等間隔分為S段，為{V₁,V₂,…,V_S}，待識別視頻V的動作識別公式為：c＝H(F(G(rand(V₁),W),…,G(rand(V_s),W)))；

其中，F(xiàn)表示段共識函數(shù)，c表示類別分?jǐn)?shù)，G表示在訓(xùn)練階段使用的對應(yīng)類別的真值，H采用Softmax預(yù)測函數(shù)，對待識別視頻中人體行為分類得分進(jìn)行預(yù)測；

最終的損失函數(shù)為：

其中，y表示訓(xùn)練數(shù)據(jù)集中的標(biāo)簽，F(xiàn)表示預(yù)測的結(jié)果，L(y，F(xiàn))表示訓(xùn)練過程中使用的損失函數(shù)。

5.根據(jù)權(quán)利要求1所述的基于多流深度學(xué)習(xí)的人體行為識別方法，其特征在于：所述分塊圖像的分塊方式為：采用由上到下水平平均分配的方法將每一幀RGB圖像分為大小相等的三個(gè)部分，然后分別將這三個(gè)部分的圖像信息得出的類別分?jǐn)?shù)加權(quán)融合得到分塊圖像的類別分?jǐn)?shù)。

6.根據(jù)權(quán)利要求1所述的基于多流深度學(xué)習(xí)的人體行為識別方法，其特征在于：在步驟S2中，全局空域信息網(wǎng)絡(luò)模型、局部空域信息網(wǎng)絡(luò)模型和時(shí)域信息網(wǎng)絡(luò)模型均采用單獨(dú)訓(xùn)練。

7.根據(jù)權(quán)利要求1所述的基于多流深度學(xué)習(xí)的人體行為識別方法，其特征在于：在步驟S2中，RGB圖像、分塊圖像和光流場特征的輸入模式的像素大小均調(diào)整為32×32。

8.根據(jù)權(quán)利要求1所述的基于多流深度學(xué)習(xí)的人體行為識別方法，其特征在于：在步驟S4中，全局空域信息網(wǎng)絡(luò)模型和局部空域信息網(wǎng)絡(luò)模型共享參數(shù)。