[發(fā)明專利]標(biāo)注異常行為的方法及裝置

在審

• 申請?zhí)枺?/td>: 202010427324.9
• 申請日: 2020-05-19
• 公開（公告）號: CN111666983A
• 公開（公告）日: 2020-09-15
• 發(fā)明（設(shè)計）人: 莫益軍;劉金陽
• 申請（專利權(quán)）人: 華中科技大學(xué)鄂州工業(yè)技術(shù)研究院;華中科技大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06Q10/10
• 代理公司: 北京眾達(dá)德權(quán)知識產(chǎn)權(quán)代理有限公司 11570
• 代理人: 趙曉鳳

1.一種標(biāo)注異常行為的方法，其特征在于，所述方法包括：

基于當(dāng)前的異常行為數(shù)據(jù)集，預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，獲得第一神經(jīng)網(wǎng)絡(luò)模型；

對所述第一神經(jīng)網(wǎng)絡(luò)模型中除輸出層以外的所有網(wǎng)絡(luò)架構(gòu)和模型參數(shù)進(jìn)行復(fù)制，創(chuàng)建第二神經(jīng)網(wǎng)絡(luò)模型；

基于異常行為檢測類別的數(shù)量，在所述第二神經(jīng)網(wǎng)絡(luò)模型中添加張量大小與所述異常行為檢測類別的數(shù)量相對應(yīng)的輸出層；

根據(jù)通過PASCAL VOC標(biāo)注方式或COCO標(biāo)注方式標(biāo)注得到的目標(biāo)數(shù)據(jù)集，對添加有所述輸出層的所述第二神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，直至收斂，獲得異常行為標(biāo)注模型；

將待標(biāo)注數(shù)據(jù)集輸入所述異常行為標(biāo)注模型，以使所述異常行為標(biāo)注模型對所述待標(biāo)注數(shù)據(jù)集中的各個待標(biāo)注數(shù)據(jù)進(jìn)行標(biāo)注，獲得標(biāo)注后的數(shù)據(jù)集；

判斷所述標(biāo)注后的數(shù)據(jù)集是否標(biāo)注正確；

若標(biāo)注錯誤，將標(biāo)注錯誤的數(shù)據(jù)輸入所述異常行為標(biāo)注模型重新標(biāo)注。

2.如權(quán)利要求1所述的方法，其特征在于，通過PASCAL VOC標(biāo)注方式標(biāo)注得到所述目標(biāo)數(shù)據(jù)集，包括：

對至少一個目標(biāo)圖片進(jìn)行標(biāo)注，獲得與所述目標(biāo)圖片對應(yīng)的標(biāo)注文件，形成所述目標(biāo)數(shù)據(jù)集；

其中，所述對至少一個目標(biāo)圖片進(jìn)行標(biāo)注，包括以下標(biāo)注情況中的至少一種：不標(biāo)注行為類型的情況、標(biāo)注為bad的情況以及利用標(biāo)注框標(biāo)注的情況；

其中，所述不標(biāo)注行為類型的情況包括：不確定的目標(biāo)行為、尺寸小于預(yù)設(shè)尺寸的目標(biāo)行為和遮擋范圍大于預(yù)設(shè)遮擋范圍的目標(biāo)行為；

其中，所述標(biāo)注為bad的情況包括：目標(biāo)行為的數(shù)量大于預(yù)設(shè)數(shù)量的目標(biāo)圖片、圖像質(zhì)量低至無法識別出目標(biāo)行為的目標(biāo)圖片以及包含多個子圖像的目標(biāo)圖片；

其中，利用標(biāo)注框標(biāo)注的情況包括：利用標(biāo)注框標(biāo)注目標(biāo)行為的可見區(qū)域；利用標(biāo)注框標(biāo)注所有可見像素；目標(biāo)行為的15％以上被遮擋并且位于標(biāo)注框外，標(biāo)注為“Truncated”；利用標(biāo)注框?qū)⒏綄儆谀繕?biāo)行為的遮擋物與目標(biāo)行為一同標(biāo)注；利用標(biāo)注框標(biāo)注通過玻璃可見的目標(biāo)行為；利用標(biāo)注框標(biāo)注出現(xiàn)在鏡子中的目標(biāo)行為；

其中，所述標(biāo)注文件包含所述目標(biāo)圖片和可擴(kuò)展標(biāo)注語言子文件；

所述可擴(kuò)展標(biāo)注語言子文件包含所述目標(biāo)圖片的路徑、所述目標(biāo)圖片的長和寬、經(jīng)過所述標(biāo)注框標(biāo)注后的行為類別以及所述標(biāo)注框在所述目標(biāo)圖片中的位置。

3.如權(quán)利要求1所述的方法，其特征在于，通過COCO標(biāo)注方式標(biāo)注得到所述目標(biāo)數(shù)據(jù)集，包括：

對與目標(biāo)檢測任務(wù)或語義分割任務(wù)對應(yīng)的第一數(shù)據(jù)集中的各個目標(biāo)圖片進(jìn)行標(biāo)注，獲得與所述目標(biāo)圖片對應(yīng)的第一標(biāo)注文件，形成所述第一目標(biāo)數(shù)據(jù)集；其中，所述第一標(biāo)注文件包含以下數(shù)據(jù)結(jié)構(gòu)：第一注解和第一種類，所述第一注解包括目標(biāo)行為ID、目標(biāo)行為所屬圖片、目標(biāo)行為的類別和所述標(biāo)注框在所述目標(biāo)圖片中的位置，所述第一種類包括標(biāo)注針對的所有行為類別以及各行為類別的ID；

對與關(guān)鍵點檢測任務(wù)對應(yīng)的第二數(shù)據(jù)集中的各個目標(biāo)圖片進(jìn)行標(biāo)注，獲得與所述目標(biāo)圖片對應(yīng)的第二標(biāo)注文件，形成所述第二目標(biāo)數(shù)據(jù)集；其中，所述第二標(biāo)注文件包含以下數(shù)據(jù)結(jié)構(gòu)：第二注解和第二種類，所述第二注解包括目標(biāo)行為的關(guān)鍵點位置及關(guān)鍵點數(shù)目、目標(biāo)行為的類別和所述標(biāo)注框在所述目標(biāo)圖片中的位置，所述第二種類包括標(biāo)注針對的所有關(guān)鍵點；

對與場景分割任務(wù)對應(yīng)的第三數(shù)據(jù)集中的各個目標(biāo)圖片進(jìn)行標(biāo)注，獲得與所述目標(biāo)圖片對應(yīng)的第三標(biāo)注文件，形成所述第三目標(biāo)數(shù)據(jù)集；其中，所述第三標(biāo)注文件包含以下數(shù)據(jù)結(jié)構(gòu)：第三注解、段信息和第三種類，所述第三注解包括所述目標(biāo)圖片的ID和所述目標(biāo)圖片的文件名，所述段信息包含像素段ID、目標(biāo)行為的ID和所述標(biāo)注框在所述目標(biāo)圖片中的位置，所述第三種類包括標(biāo)注針對的所有像素段ID、標(biāo)注針對的所有行為類別和像素段顏色；

對與圖片字幕任務(wù)對應(yīng)的第四數(shù)據(jù)集中的各個目標(biāo)圖片進(jìn)行標(biāo)注，獲得與所述目標(biāo)圖片對應(yīng)的第四標(biāo)注文件，形成所述第四目標(biāo)數(shù)據(jù)集；其中，所述第四標(biāo)注文件包含以下數(shù)據(jù)結(jié)構(gòu)：第四注解，所述第四注解包括目標(biāo)行為ID、所述目標(biāo)圖片的ID和字幕。