[發(fā)明專利]一種基于時(shí)空注意力增強(qiáng)特征融合網(wǎng)絡(luò)的行為識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010437298.8
• 申請(qǐng)日: 2020-05-21
• 公開（公告）號(hào): CN111709304B
• 公開（公告）日: 2023-05-05
• 發(fā)明（設(shè)計(jì)）人: 蔣敏;莊丹楓;孔軍
• 申請(qǐng)（專利權(quán)）人: 江南大學(xué)
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V40/20;G06V10/80;G06V10/82;G06V10/764;G06N3/045
• 代理公司: 大連理工大學(xué)專利中心 21200
• 代理人: 梅洪玉;劉秋彤

本發(fā)明公開了一種基于時(shí)空注意力增強(qiáng)特征融合網(wǎng)絡(luò)的行為識(shí)別方法，屬于機(jī)器視覺領(lǐng)域。該方法采用了基于外觀流和運(yùn)動(dòng)流雙流網(wǎng)絡(luò)的網(wǎng)絡(luò)架構(gòu)，稱作時(shí)空注意力增強(qiáng)特征融合網(wǎng)絡(luò)。針對(duì)傳統(tǒng)雙流網(wǎng)絡(luò)對(duì)不同分支采用簡(jiǎn)單特征或分?jǐn)?shù)融合，本發(fā)明構(gòu)建了一個(gè)注意力增強(qiáng)的多層特征融合流作為第三個(gè)分支以補(bǔ)充雙流結(jié)構(gòu)。同時(shí)，針對(duì)傳統(tǒng)深度網(wǎng)絡(luò)忽略對(duì)通道特征的建模、無法充分利用通道間的相互關(guān)系，本發(fā)明引入不同層級(jí)的通道注意力模塊，以建立通道間的相互關(guān)系來增強(qiáng)通道特征的表達(dá)能力。此外，時(shí)序信息在分段融合中起著重要的作用，通過對(duì)幀序列進(jìn)行時(shí)序建模增強(qiáng)了重要時(shí)序特征的代表性。最終本發(fā)明通過對(duì)不同支流的分類得分進(jìn)行加權(quán)融合。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器視覺領(lǐng)域，特別涉及一種基于時(shí)空注意力增強(qiáng)特征融合網(wǎng)絡(luò)的行為識(shí)別方法。

背景技術(shù)

隨著機(jī)器視覺在理論上和實(shí)踐上的廣泛研究，基于RGB視頻的行為識(shí)別也逐漸成為具有挑戰(zhàn)性的一個(gè)分支。目前，面向RGB視頻的行為識(shí)別主要使用雙流網(wǎng)絡(luò)架構(gòu)，并且發(fā)展趨勢(shì)十分良好。在雙流架構(gòu)中，深度神經(jīng)網(wǎng)絡(luò)通過在RGB外觀流上和光流運(yùn)動(dòng)流上分別訓(xùn)練各自的深度卷積網(wǎng)絡(luò)來得到有效特征。但是傳統(tǒng)的聯(lián)合RGB外觀流和光流運(yùn)動(dòng)流訓(xùn)練的雙流網(wǎng)絡(luò)仍舊面臨以下問題：(1)對(duì)雙流網(wǎng)絡(luò)中不同分支中得到的特征或分?jǐn)?shù)進(jìn)行簡(jiǎn)單融合不能有效地利用不同分支的特性，同時(shí)在單個(gè)分支中會(huì)存在特征過擬合的情況。(2)網(wǎng)絡(luò)中具有豐富細(xì)節(jié)特征的初始輸入空間特征和具有高層語義信息的高層空間特征沿著通道維度聚合。如何增強(qiáng)重要通道特征的代表性是一個(gè)重要的問題。(3)在通過時(shí)序分段網(wǎng)絡(luò)TSN分段隨機(jī)采樣策略選擇的幀序列中，包含了長距離的時(shí)序信息。因此，需要建立幀與幀之間的相互關(guān)系得到有效的時(shí)序特征，從而提升網(wǎng)絡(luò)中幀序列進(jìn)行分段融合方法的效果。

基于以上考慮，本發(fā)明提出一種基于時(shí)空注意力增強(qiáng)的特征融合網(wǎng)絡(luò)用于人體行為識(shí)別。首先，本發(fā)明設(shè)計(jì)了一種新型的聯(lián)合訓(xùn)練分支，稱為注意力增強(qiáng)的多層特征融合流，其中RGB特征和光流特征共同訓(xùn)練從而得到補(bǔ)充特征。其次，本發(fā)明提出了作用在不同層級(jí)上的通道注意力模塊，利用初始輸入通道特征和經(jīng)過深度特征提取的高層通道特征生成自適應(yīng)權(quán)重來對(duì)深度網(wǎng)絡(luò)中特征提取過程進(jìn)行引導(dǎo)和增強(qiáng)，以提高重要通道特征的代表性。最后，本發(fā)明通過對(duì)分段隨機(jī)采樣策略選擇的幀序列中包含的時(shí)序信息進(jìn)行建模，增強(qiáng)重要的時(shí)序特征對(duì)分段融合方法的影響。

發(fā)明內(nèi)容

本發(fā)明的主要目的是提出一種時(shí)空注意力增強(qiáng)特征融合網(wǎng)絡(luò)(SpatiotemporalAttention?Enhanced?Features?Fusion?Network，ST-AEFFNet)以進(jìn)行行為識(shí)別，對(duì)于基于RGB視頻的行為識(shí)別任務(wù)，能夠更好地提取出RGB視頻中有效的外觀特征和運(yùn)動(dòng)特征以進(jìn)行多分類的行為識(shí)別。

為了實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于時(shí)空注意力增強(qiáng)特征融合網(wǎng)絡(luò)的行為識(shí)別方法，步驟如下：

步驟一、獲取外觀流的RGB靜態(tài)幀：將數(shù)據(jù)集中的每個(gè)視頻等分成N₁個(gè)片段，從每一個(gè)片段中隨機(jī)選擇幀，這些從不同片段中選出的RGB靜態(tài)幀構(gòu)成幀序列N′₁為RGB幀序列中的幀數(shù)，其中

步驟二、計(jì)算運(yùn)動(dòng)流的光流幀：對(duì)于每個(gè)數(shù)據(jù)集中的每個(gè)視頻等分成N₂個(gè)片段，在每一個(gè)片段中隨機(jī)選擇連續(xù)的幀RGB靜態(tài)幀，在這些連續(xù)的RGB靜態(tài)幀上兩兩應(yīng)用TV-L1算法進(jìn)行計(jì)算，在每一個(gè)片段中得到x方向和y方向上共幀堆疊的光流幀，最終得到整個(gè)視頻的光流幀：N′₂為光流幀序列中的幀數(shù)，其中