[發(fā)明專利]基于殘差收縮結(jié)構(gòu)和非局部注意力的行為檢測方法

在審

• 申請?zhí)枺?/td>: 202210401553.2
• 申請日: 2022-04-18
• 公開（公告）號: CN114842553A
• 公開（公告）日: 2022-08-02
• 發(fā)明（設(shè)計）人: 劉娟;黃忠;陶孟元;王穎;張丹妮
• 申請（專利權(quán)）人: 安慶師范大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06K9/62;G06N3/04;G06N3/08;G06V10/764;G06V10/74;G06V10/80;G06V10/82
• 代理公司: 安徽中辰臻遠(yuǎn)專利代理事務(wù)所(普通合伙) 34175
• 代理人: 劉朝琴

本發(fā)明涉及行為檢測技術(shù)領(lǐng)域，具體涉及基于殘差收縮結(jié)構(gòu)和非局部注意力的行為檢測方法(CN?R?DRSN)，將殘差收縮結(jié)構(gòu)融入到3D?ResNet卷積網(wǎng)絡(luò)的殘差模塊中，設(shè)計一種3D?DRSN特征提取網(wǎng)絡(luò)以自適應(yīng)消除行為視頻存在的噪聲、背景等冗余的行為特征信息，在時序候選子網(wǎng)中嵌入逐層空間卷積，以在時序特征圖下采樣及時序邊界片段分割中保留更為豐富的層次化空間信息，在行為分類子網(wǎng)利用Soft?NMS抑制策略篩選時序候選段并引入非局部注意力機制獲取優(yōu)質(zhì)時序片段間上下文時空運動信息，本發(fā)明所提供的行為檢測方法，能夠有效提高行為動作邊界檢測精度以及行為分類的準(zhǔn)確度，與R?C3D相比，本發(fā)明提出的CN?R?DRSN方法mAP@0.5值提高到32.7％。

技術(shù)領(lǐng)域

本發(fā)明涉及行為檢測技術(shù)領(lǐng)域，具體涉及基于殘差收縮結(jié)構(gòu)和非局部注意力的行為檢測方法。

背景技術(shù)

隨著機器人廣泛應(yīng)用于迎賓講解、老人陪護等自然人機交互場景，如何讓機器人正確理解人的行為、感知人的意圖成為人機交互研究的熱點。而行為檢測作為提升人機交互質(zhì)量最重要的手段，受到研究者高度重視和廣泛關(guān)注。行為檢測主要任務(wù)是在未經(jīng)過剪輯處理的長視頻中，自動定位動作時間邊界(即行為開始時間即行為結(jié)束時間)并進行動作識別。因此，與已知動作邊界的行為識別方法相比，探索行為檢測方法更適合機器人在自然人機交互等領(lǐng)域的應(yīng)用。在自然場景下，機器人識別人的行為動作易受噪音，光照，遮擋等因素制約，一方面使得提取到的信息包含較多噪聲、背景等冗余信息，從而影響行為區(qū)域定位的精度和行為分類準(zhǔn)確度；另一方面，由于視頻動作的持續(xù)性和時序性，容易忽略行為的上下文運動信息，進而影響行為候選片段的定位精度。因此，設(shè)計能抑制冗余特征信息和融合行為上下文運動信息的時序行為檢測網(wǎng)絡(luò)以提高行為檢測精度是時序行為檢測的研究重點。當(dāng)前解決這類任務(wù)的方法主要分為單階段、兩階段以及基于弱監(jiān)督學(xué)習(xí)的行為檢測方法。單階段方法是在一維時序特征上產(chǎn)生動作邊界定位信息，直接在原始視頻中生成時間邊界和識別行為類別，如Lin T等在提取視頻時空行為特征后使用一維卷積預(yù)測動作邊界定位信息和行為類別；Long F等通過高斯核去預(yù)測行為位置片段，并解決了行為持續(xù)時間的多變性；Piergiovanni A J等構(gòu)建基于時序高斯混合的卷積模塊代替了傳統(tǒng)卷積層，并利用軟注意力機制來學(xué)習(xí)混合高斯核的參數(shù)；Yuan Z等通過二維卷積網(wǎng)絡(luò)對單幀圖片進行分類，并預(yù)測其所屬每個行為所在時間區(qū)間的概率。單階段方法由于采用單幀計算方式，難以獲取時序上的運動特征信息，其在機器人自然人機交互的場景中魯棒性差。兩階段方法則是先從視頻中提取出大量可能包含行為的候選時序片段，再對行為進行時間邊界的定位和分類。其代表性為R-C3D網(wǎng)絡(luò)，其由特征提取子網(wǎng)、時序候選子網(wǎng)和行為分類子網(wǎng)三個部分組成，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。