[發(fā)明專利]基于弱監(jiān)督互補(bǔ)學(xué)習(xí)的人體行為檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010529393.0
• 申請(qǐng)日: 2020-06-11
• 公開（公告）號(hào): CN111680643B
• 公開（公告）日: 2023-06-02
• 發(fā)明（設(shè)計(jì)）人: 韓雪平;王春芳;魯守瑋;王威;時(shí)倩如;胡兆麟;楊本環(huán);姬玉俠;湯璟穎;姜夢(mèng)園;度冉;孫冬陽(yáng)
• 申請(qǐng)（專利權(quán)）人: 河南職業(yè)技術(shù)學(xué)院
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/0895
• 代理公司: 鄭州旭揚(yáng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 41185
• 代理人: 高超

本發(fā)明屬于視頻人體行為檢測(cè)方法技術(shù)領(lǐng)域，具體是一種基于弱監(jiān)督互補(bǔ)學(xué)習(xí)的人體行為檢測(cè)方法，包括建立基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)的弱監(jiān)督網(wǎng)絡(luò)模型、提取帶有嵌入特性的特征表示及顯著加權(quán)特征、根據(jù)特征表示及顯著加權(quán)特征獲取初始的預(yù)測(cè)結(jié)果、利用互補(bǔ)消除模型獲取消除后的預(yù)測(cè)結(jié)果、將消除后的預(yù)測(cè)結(jié)果與未通過消除的初始的預(yù)測(cè)結(jié)果進(jìn)行融合，獲取最終預(yù)測(cè)結(jié)果。本發(fā)明通過對(duì)時(shí)域激活映射模型進(jìn)行改進(jìn)，并采用互補(bǔ)消除模塊對(duì)數(shù)據(jù)進(jìn)行修正，提升弱監(jiān)督學(xué)習(xí)檢測(cè)方法中的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明屬于視頻人體行為檢測(cè)方法技術(shù)領(lǐng)域，具體是一種基于弱監(jiān)督互補(bǔ)學(xué)習(xí)的人體行?為檢測(cè)方法。

背景技術(shù)

視頻人體行為檢測(cè)方法需要完成兩個(gè)任務(wù)：行為起始時(shí)間的預(yù)測(cè)和行為識(shí)別。目前的檢?測(cè)方法多集中采用有監(jiān)督學(xué)習(xí)的方法完成視頻人體行為檢測(cè)任務(wù)，在有監(jiān)督學(xué)習(xí)領(lǐng)域中，視?頻中包含的標(biāo)簽信息分為幀級(jí)標(biāo)注和視頻級(jí)標(biāo)注，而行為檢測(cè)需要的行為起始時(shí)間和動(dòng)作識(shí)?別分別屬于幀級(jí)標(biāo)注和視頻級(jí)標(biāo)注。隨著視頻數(shù)據(jù)的不斷增多，有監(jiān)督學(xué)習(xí)的方法中對(duì)視頻?的標(biāo)注工作變得越來越困難，為后續(xù)視頻行為檢測(cè)帶來更大的挑戰(zhàn)。

弱監(jiān)督學(xué)習(xí)方法在計(jì)算機(jī)視覺領(lǐng)域逐漸受到重視，涌現(xiàn)了一些基于弱監(jiān)督學(xué)習(xí)的圖像視?頻分析方法，這為弱監(jiān)督學(xué)習(xí)方法在視頻行為檢測(cè)領(lǐng)域的實(shí)現(xiàn)提供了更多可能。

基于弱監(jiān)督學(xué)習(xí)的視頻檢測(cè)任務(wù)的輸入為一段不定長(zhǎng)度的視頻，且該視頻的真值不像有?監(jiān)督任務(wù)那樣，既包含視頻中的所有動(dòng)作類別又包含每個(gè)動(dòng)作對(duì)應(yīng)的開始時(shí)間和結(jié)束時(shí)間，?而是假設(shè)數(shù)據(jù)集中僅僅包含視頻中發(fā)生的所有動(dòng)作的類別。由此，基于弱監(jiān)督學(xué)習(xí)的視頻檢?測(cè)任務(wù)根據(jù)輸入的視頻和該視頻中包含的所有動(dòng)作的類別訓(xùn)練弱監(jiān)督動(dòng)作定位模型，使得在?預(yù)測(cè)時(shí)，盡可能準(zhǔn)確的識(shí)別出視頻中對(duì)應(yīng)的動(dòng)作類別，以及每個(gè)動(dòng)作類別對(duì)應(yīng)的開始時(shí)間和?結(jié)束時(shí)間。

意味著，弱監(jiān)督檢測(cè)方法在可處理的數(shù)據(jù)量具有較大優(yōu)勢(shì)，但是其準(zhǔn)確性缺無法達(dá)到有?監(jiān)督學(xué)習(xí)的檢測(cè)方法，所以如何提升弱監(jiān)督學(xué)習(xí)檢測(cè)方法中的準(zhǔn)確性是本領(lǐng)域人員當(dāng)前的重?點(diǎn)研究方向。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于弱監(jiān)督互補(bǔ)學(xué)習(xí)的人體?行為檢測(cè)方法，本發(fā)明通過對(duì)時(shí)域激活映射模型進(jìn)行改進(jìn)，并采用互補(bǔ)消除模塊對(duì)數(shù)據(jù)進(jìn)行?修正，提升弱監(jiān)督學(xué)習(xí)檢測(cè)方法中的準(zhǔn)確性。

為達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：

基于弱監(jiān)督互補(bǔ)學(xué)習(xí)的人體行為檢測(cè)方法，包括以下步驟：

S1：建立基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)的弱監(jiān)督網(wǎng)絡(luò)模型；

弱監(jiān)督網(wǎng)絡(luò)模型中包括具有嵌入特性的時(shí)域激活映射模型和互補(bǔ)消除模型；時(shí)域激活映?射模型包括時(shí)域激活映射層和位于時(shí)域激活映射層之后的卷積層C₁，時(shí)域激活映射模型實(shí)現(xiàn)?在線的時(shí)域激活映射完成對(duì)動(dòng)作發(fā)生的起始時(shí)間的捕獲；

S2：提取帶有嵌入特性的特征表示及顯著加權(quán)特征；

提取待檢測(cè)視頻的原始特征，將原始特征輸入時(shí)域激活映射模型，輸出帶有嵌入特性的?特征表示，提取特征表示的顯著加權(quán)特征；

S3：根據(jù)特征表示及顯著加權(quán)特征獲取初始的預(yù)測(cè)結(jié)果；

將步驟S2所得顯著加權(quán)特征輸入分類器并獲取初始的預(yù)測(cè)結(jié)果；預(yù)測(cè)結(jié)果包括行為類別?和起止時(shí)間；

S4：利用互補(bǔ)消除模型獲取消除后的預(yù)測(cè)結(jié)果；具體為：

S4.1：采用互補(bǔ)消除模型對(duì)步驟S2所得顯著加權(quán)特征進(jìn)行互補(bǔ)消除，提取消除后的嵌入?特征；

S4.2：將步驟S4.1所得嵌入特征輸入時(shí)域激活模型及互補(bǔ)分類器，獲取消除后的預(yù)測(cè)結(jié)?果；

S5：將消除后的預(yù)測(cè)結(jié)果與未通過消除的初始的預(yù)測(cè)結(jié)果進(jìn)行融合，獲取最終預(yù)測(cè)結(jié)果。