[發明專利]基于弱監督互補學習的人體行為檢測方法

有效

• 申請號: 202010529393.0
• 申請日: 2020-06-11
• 公開（公告）號: CN111680643B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 韓雪平;王春芳;魯守瑋;王威;時倩如;胡兆麟;楊本環;姬玉俠;湯璟穎;姜夢園;度冉;孫冬陽
• 申請（專利權）人: 河南職業技術學院
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/0895
• 代理公司: 鄭州旭揚知識產權代理事務所(普通合伙) 41185
• 代理人: 高超

1.基于弱監督互補學習的人體行為檢測方法，其特征在于，包括以下步驟：

S1：建立基于卷積神經網絡構的弱監督網絡模型；

弱監督網絡模型中包括具有嵌入特性的時域激活映射模型和互補消除模型；時域激活映射模型包括時域激活映射層和位于時域激活映射層之后的卷積層C₁，時域激活映射模型實現在線的時域激活映射完成對動作發生的起始時間的捕獲；

S2：提取帶有嵌入特性的特征表示及顯著加權特征；

提取待檢測視頻的原始特征，將原始特征輸入時域激活映射模型，輸出帶有嵌入特性的特征表示，提取特征表示的顯著加權特征；

提取待檢測視頻原始特征具體過程如下：

S2.1采用基于Kinetics數據集預訓練建立的I3D網絡模型；

S2.2采用I3D網絡模型提取待檢測視頻V的原始特征F_i；所述原始特征F_i包括外觀RGB特征和光流特征；

特征表示的顯著加權特征獲取過程為：

利用sigmoid函數計算視頻V中第i個視頻的第j個輸入片段的原始特征F_i,j的權重s_i，計算公式如下：

根據所得原始特征F_i,j和權重s_i獲取顯著加權特征，計算公式如下：

公式(5)中，表示F_i,j的顯著加權特征；利用F^att表示整個加權后的特征；

S3：根據特征表示及顯著加權特征獲取初始的預測結果；

將步驟S2所得顯著加權特征輸入分類器并獲取初始的預測結果；預測結果包括行為類別和起止時間；

S4：利用互補消除模型獲取消除后的預測結果；具體為：

S4.1：采用互補消除模型對步驟S2所得顯著加權特征進行互補消除，提取消除后的嵌入特征；具體過程如下：

通過原始分類器S_cla和互補分類器E_cla對輸入的顯著加權特征進行互補消除，當對應類別的時域激活映射區域R高于閾值α時，認為該區域對分類結果的貢獻較高，利用消除原理，將具有嵌入特性的特征表示F'對應區域擦除，得到消除后的嵌入特征；

S4.2：將步驟S4.1所得嵌入特征輸入時域激活模型及互補分類器，獲取消除后的預測結果；

S5：將消除后的預測結果與未通過消除的初始的預測結果進行融合，獲取最終預測結果。

2.根據權利要求1所述的基于弱監督互補學習的人體行為檢測方法，其特征在于，步驟S1所述卷積神經網絡的卷積層卷積核大小為1×1，卷積神經網絡的激活函數為Relu激活函數，Relu激活函數如下：

3.根據權利要求2所述的基于弱監督互補學習的人體行為檢測方法，其特征在于，步驟S1中卷積層C₁的激活函數為：

其中，z_i表示卷積層C₁的ReLU函數，f₂₅₆和f₁分別表示全連接層輸入維度為256和1的特征。

4.根據權利要求2所述的基于弱監督互補學習的人體行為檢測方法，其特征在于，在卷積神經網絡Relu激活函數的后面增加一個卷積層C₂以提取F^att的卷積特征，卷積核大小為1×1，channel數為類別數N，然后，提取第i個視頻的雙流特征碼F^l，F^l∈R^l×N，其中l為第i個視頻的幀數除以16得到的輸入片段數，并對F^l對應的每個輸入片段求和得到Ff。