[發(fā)明專(zhuān)利]基于弱監(jiān)督互補(bǔ)學(xué)習(xí)的人體行為檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010529393.0
• 申請(qǐng)日: 2020-06-11
• 公開(kāi)（公告）號(hào): CN111680643B
• 公開(kāi)（公告）日: 2023-06-02
• 發(fā)明（設(shè)計(jì)）人: 韓雪平;王春芳;魯守瑋;王威;時(shí)倩如;胡兆麟;楊本環(huán);姬玉俠;湯璟穎;姜夢(mèng)園;度冉;孫冬陽(yáng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 河南職業(yè)技術(shù)學(xué)院
• 主分類(lèi)號(hào): G06V40/20
• 分類(lèi)號(hào): G06V40/20;G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/0895
• 代理公司: 鄭州旭揚(yáng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 41185
• 代理人: 高超

1.基于弱監(jiān)督互補(bǔ)學(xué)習(xí)的人體行為檢測(cè)方法，其特征在于，包括以下步驟：

S1：建立基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)的弱監(jiān)督網(wǎng)絡(luò)模型；

弱監(jiān)督網(wǎng)絡(luò)模型中包括具有嵌入特性的時(shí)域激活映射模型和互補(bǔ)消除模型；時(shí)域激活映射模型包括時(shí)域激活映射層和位于時(shí)域激活映射層之后的卷積層C₁，時(shí)域激活映射模型實(shí)現(xiàn)在線的時(shí)域激活映射完成對(duì)動(dòng)作發(fā)生的起始時(shí)間的捕獲；

S2：提取帶有嵌入特性的特征表示及顯著加權(quán)特征；

提取待檢測(cè)視頻的原始特征，將原始特征輸入時(shí)域激活映射模型，輸出帶有嵌入特性的特征表示，提取特征表示的顯著加權(quán)特征；

提取待檢測(cè)視頻原始特征具體過(guò)程如下：

S2.1采用基于Kinetics數(shù)據(jù)集預(yù)訓(xùn)練建立的I3D網(wǎng)絡(luò)模型；

S2.2采用I3D網(wǎng)絡(luò)模型提取待檢測(cè)視頻V的原始特征F_i；所述原始特征F_i包括外觀RGB特征和光流特征；

特征表示的顯著加權(quán)特征獲取過(guò)程為：

利用sigmoid函數(shù)計(jì)算視頻V中第i個(gè)視頻的第j個(gè)輸入片段的原始特征F_i,j的權(quán)重s_i，計(jì)算公式如下：

根據(jù)所得原始特征F_i,j和權(quán)重s_i獲取顯著加權(quán)特征，計(jì)算公式如下：

公式(5)中，表示F_i,j的顯著加權(quán)特征；利用F^att表示整個(gè)加權(quán)后的特征；

S3：根據(jù)特征表示及顯著加權(quán)特征獲取初始的預(yù)測(cè)結(jié)果；

將步驟S2所得顯著加權(quán)特征輸入分類(lèi)器并獲取初始的預(yù)測(cè)結(jié)果；預(yù)測(cè)結(jié)果包括行為類(lèi)別和起止時(shí)間；

S4：利用互補(bǔ)消除模型獲取消除后的預(yù)測(cè)結(jié)果；具體為：

S4.1：采用互補(bǔ)消除模型對(duì)步驟S2所得顯著加權(quán)特征進(jìn)行互補(bǔ)消除，提取消除后的嵌入特征；具體過(guò)程如下：

通過(guò)原始分類(lèi)器S_cla和互補(bǔ)分類(lèi)器E_cla對(duì)輸入的顯著加權(quán)特征進(jìn)行互補(bǔ)消除，當(dāng)對(duì)應(yīng)類(lèi)別的時(shí)域激活映射區(qū)域R高于閾值α?xí)r，認(rèn)為該區(qū)域?qū)Ψ诸?lèi)結(jié)果的貢獻(xiàn)較高，利用消除原理，將具有嵌入特性的特征表示F'對(duì)應(yīng)區(qū)域擦除，得到消除后的嵌入特征；

S4.2：將步驟S4.1所得嵌入特征輸入時(shí)域激活模型及互補(bǔ)分類(lèi)器，獲取消除后的預(yù)測(cè)結(jié)果；

S5：將消除后的預(yù)測(cè)結(jié)果與未通過(guò)消除的初始的預(yù)測(cè)結(jié)果進(jìn)行融合，獲取最終預(yù)測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于弱監(jiān)督互補(bǔ)學(xué)習(xí)的人體行為檢測(cè)方法，其特征在于，步驟S1所述卷積神經(jīng)網(wǎng)絡(luò)的卷積層卷積核大小為1×1，卷積神經(jīng)網(wǎng)絡(luò)的激活函數(shù)為Relu激活函數(shù)，Relu激活函數(shù)如下：

3.根據(jù)權(quán)利要求2所述的基于弱監(jiān)督互補(bǔ)學(xué)習(xí)的人體行為檢測(cè)方法，其特征在于，步驟S1中卷積層C₁的激活函數(shù)為：

其中，z_i表示卷積層C₁的ReLU函數(shù)，f₂₅₆和f₁分別表示全連接層輸入維度為256和1的特征。

4.根據(jù)權(quán)利要求2所述的基于弱監(jiān)督互補(bǔ)學(xué)習(xí)的人體行為檢測(cè)方法，其特征在于，在卷積神經(jīng)網(wǎng)絡(luò)Relu激活函數(shù)的后面增加一個(gè)卷積層C₂以提取F^att的卷積特征，卷積核大小為1×1，channel數(shù)為類(lèi)別數(shù)N，然后，提取第i個(gè)視頻的雙流特征碼F^l，F(xiàn)^l∈R^l×N，其中l(wèi)為第i個(gè)視頻的幀數(shù)除以16得到的輸入片段數(shù)，并對(duì)F^l對(duì)應(yīng)的每個(gè)輸入片段求和得到Ff。