[發(fā)明專利]標(biāo)注異常行為的方法及裝置

在審

• 申請?zhí)枺?/td>: 202010427324.9
• 申請日: 2020-05-19
• 公開（公告）號: CN111666983A
• 公開（公告）日: 2020-09-15
• 發(fā)明（設(shè)計(jì)）人: 莫益軍;劉金陽
• 申請（專利權(quán)）人: 華中科技大學(xué)鄂州工業(yè)技術(shù)研究院;華中科技大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06Q10/10
• 代理公司: 北京眾達(dá)德權(quán)知識產(chǎn)權(quán)代理有限公司 11570
• 代理人: 趙曉鳳

本發(fā)明涉及行為分析技術(shù)領(lǐng)域，尤其涉及標(biāo)注異常行為的方法及裝置。所述方法包括：基于當(dāng)前的異常行為數(shù)據(jù)集預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，獲得第一神經(jīng)網(wǎng)絡(luò)模型；對第一神經(jīng)網(wǎng)絡(luò)模型中除輸出層以外的所有網(wǎng)絡(luò)架構(gòu)和模型參數(shù)進(jìn)行復(fù)制，創(chuàng)建第二神經(jīng)網(wǎng)絡(luò)模型；在第二神經(jīng)網(wǎng)絡(luò)模型中添加張量大小與異常行為檢測類別的數(shù)量相對應(yīng)的輸出層；根據(jù)通過PASCAL VOC標(biāo)注方式或COCO標(biāo)注方式標(biāo)注得到的目標(biāo)數(shù)據(jù)集，對添加有輸出層的第二神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，獲得異常行為標(biāo)注模型；將待標(biāo)注數(shù)據(jù)集輸入異常行為標(biāo)注模型，對待標(biāo)注數(shù)據(jù)集中的各個(gè)待標(biāo)注數(shù)據(jù)進(jìn)行標(biāo)注，獲得標(biāo)注后的數(shù)據(jù)集；判斷標(biāo)注后的數(shù)據(jù)集是否標(biāo)注正確；將標(biāo)注錯(cuò)誤的數(shù)據(jù)輸入異常行為標(biāo)注模型重新標(biāo)注。

技術(shù)領(lǐng)域

本發(fā)明涉及行為分析技術(shù)領(lǐng)域，尤其涉及標(biāo)注異常行為的方法及裝置。

背景技術(shù)

異常行為檢測是人類行為識別的一個(gè)重要分支，是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究任務(wù)。異常行為檢測主要是指對特定行為進(jìn)行類別分類及檢測，特定行為可以是公共場所下的斗毆事件、踩踏事件等。異常行為檢測過程主要包含目標(biāo)特征提取和特征分類這兩部分。目標(biāo)特征提取是指從視頻數(shù)據(jù)中提取能夠表征異常行為動(dòng)作的特征。特征分類是指對提取出的特征進(jìn)行分類，例如，通過支持向量機(jī)(Support Vector Machine,SVM)對提取出的特征向量進(jìn)行分類。

隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的發(fā)展，將深度學(xué)習(xí)應(yīng)用到異常行為檢測中能夠極大推動(dòng)該領(lǐng)域的研究進(jìn)程，使得目標(biāo)特征提取和特征分類的準(zhǔn)確率及實(shí)時(shí)性得到了大幅提高。

目前，可用于深度學(xué)習(xí)的異常行為數(shù)據(jù)包含以下三類：

第一類是針對人群異常進(jìn)行研究的數(shù)據(jù)集。例如，USCD數(shù)據(jù)集是對馬路場景下行人的異常行為進(jìn)行研究，其包含98個(gè)視頻和5個(gè)異常行為。CUHK數(shù)據(jù)集是對校園擁擠場景下的交通和行人的異常行為進(jìn)行研究，兩個(gè)子數(shù)據(jù)集分別包含90和30分鐘的視頻。VIRAT數(shù)據(jù)集是對人和車輛這兩個(gè)對象的活動(dòng)進(jìn)行研究，其包含12種不同類型的事件，通過11個(gè)攝像頭獲取不同場景下的事件，約8.5個(gè)小時(shí)的視頻。

第二類是人類在公共場所下具有破壞性行為的數(shù)據(jù)集。例如，Minnesota大學(xué)在7個(gè)場景下采集視頻數(shù)據(jù)，對人類丟棄物體、跨越禁區(qū)等行為進(jìn)行了研究并制作了數(shù)據(jù)集。

第三類是人類在公共場所下暴力行為的數(shù)據(jù)集。例如，VIF(violent flow)數(shù)據(jù)庫從YouTube搜集了246個(gè)關(guān)于暴力行為的視頻。UCF-Crime Dataset數(shù)據(jù)集研究了13個(gè)現(xiàn)實(shí)世界中的暴力行為，從網(wǎng)絡(luò)上搜集相關(guān)視頻并進(jìn)行標(biāo)注。

現(xiàn)有技術(shù)在標(biāo)注異常行為數(shù)據(jù)集時(shí)，通常采用人工標(biāo)注方式，這樣不僅會(huì)花費(fèi)大量時(shí)間，還會(huì)消耗大量人力。

發(fā)明內(nèi)容

鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的標(biāo)注異常行為的方法及裝置。

依據(jù)本發(fā)明的第一個(gè)方面，本發(fā)明提供一種標(biāo)注異常行為的方法，所述方法包括：

基于當(dāng)前的異常行為數(shù)據(jù)集，預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，獲得第一神經(jīng)網(wǎng)絡(luò)模型；

對所述第一神經(jīng)網(wǎng)絡(luò)模型中除輸出層以外的所有網(wǎng)絡(luò)架構(gòu)和模型參數(shù)進(jìn)行復(fù)制，創(chuàng)建第二神經(jīng)網(wǎng)絡(luò)模型；

基于異常行為檢測類別的數(shù)量，在所述第二神經(jīng)網(wǎng)絡(luò)模型中添加張量大小與所述異常行為檢測類別的數(shù)量相對應(yīng)的輸出層；

根據(jù)通過PASCAL VOC標(biāo)注方式或COCO標(biāo)注方式標(biāo)注得到的目標(biāo)數(shù)據(jù)集，對添加有所述輸出層的所述第二神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，直至收斂，獲得異常行為標(biāo)注模型；

將待標(biāo)注數(shù)據(jù)集輸入所述異常行為標(biāo)注模型，以使所述異常行為標(biāo)注模型對所述待標(biāo)注數(shù)據(jù)集中的各個(gè)待標(biāo)注數(shù)據(jù)進(jìn)行標(biāo)注，獲得標(biāo)注后的數(shù)據(jù)集；

判斷所述標(biāo)注后的數(shù)據(jù)集是否標(biāo)注正確；