[發(fā)明專利]基于級聯(lián)時序遷移模塊TSM網(wǎng)絡(luò)的行為識別方法

在審

• 申請?zhí)枺?/td>: 202310416564.2
• 申請日: 2023-04-18
• 公開（公告）號: CN116580351A
• 公開（公告）日: 2023-08-11
• 發(fā)明（設(shè)計）人: 李永;梁起明;張友善;郭少哲
• 申請（專利權(quán)）人: 中國人民武裝警察部隊工程大學(xué)
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/774;G06V10/82;G06N20/20
• 代理公司: 西安眾和至成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61249
• 代理人: 強宏超

本發(fā)明公開一種級聯(lián)時序遷移模塊行為識別方法，在殘差模塊的基礎(chǔ)上在卷積層之前加入了級聯(lián)的兩個TSM模塊形成兩級級聯(lián)TSM殘差模塊，級聯(lián)的TSM模塊獨立地進(jìn)行時序信息的遷移，有效地改善了特征在時序維度的融合，強化了模型對長時信息的特征提取能力；同時，級聯(lián)的模塊之間會對遷移的張量進(jìn)行有效地改制，在二次遷移之前有效融合時空信息，避免了時序遷移的片面化、碎片化；構(gòu)建的行為識別網(wǎng)絡(luò)可以有效識別行為類別，在智能安防、人機交互等領(lǐng)域有較好的應(yīng)用前景。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機技術(shù)領(lǐng)域，涉及深度學(xué)習(xí)學(xué)科，具體為一種基于級聯(lián)時序遷移模塊TSM網(wǎng)絡(luò)的行為識別方法。

背景技術(shù)

隨著移動終端的快速普及，互聯(lián)網(wǎng)每時每刻都在上傳著海量的視頻數(shù)據(jù)，而這些視頻數(shù)據(jù)中極有可能涉及到暴力場景，為網(wǎng)絡(luò)環(huán)境的健康帶來不利影響。對涉及暴力場景的智能識別，能夠及時將突發(fā)安全事件反饋給后方執(zhí)勤人員，便于對事件的及時處置。因此，對行為的識別在維護(hù)社會及網(wǎng)絡(luò)空間安全健康方面具有重要的作用。

當(dāng)前智能安防、視頻內(nèi)容審查、人機交互等領(lǐng)域?qū)θ祟愋袨榈姆直嬗休^高的應(yīng)用需求，但實際上目前現(xiàn)有的多種算法實時性和有效性偏低，難以滿足任務(wù)的需求。時序遷移模塊(Temporal?Shift?Module,TSM)TSM網(wǎng)絡(luò)在進(jìn)行行為識別時獲取的長時信息有限，網(wǎng)絡(luò)結(jié)構(gòu)過于簡單，在特征學(xué)習(xí)的過程中容易出現(xiàn)過擬合。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供了一種基于級聯(lián)時序遷移模塊TSM網(wǎng)絡(luò)的行為識別方法，有效提升行為識別效果。

本發(fā)明是通過以下技術(shù)方案來實現(xiàn)：

基于級聯(lián)時序遷移模塊TSM網(wǎng)絡(luò)的行為識別方法，包括如下步驟：

步驟1：在現(xiàn)有開源數(shù)據(jù)集的基礎(chǔ)上收集、剪輯、標(biāo)記，獲得樣本量為5000的暴力行為數(shù)據(jù)集；

步驟2：通過對TSM模塊單級聯(lián)構(gòu)建級聯(lián)時序遷移模塊，將級聯(lián)時序遷移模塊插入殘差模塊中構(gòu)建兩級級聯(lián)殘差模塊，以兩級級聯(lián)殘差模塊為基本單元，按照ResNet50結(jié)構(gòu)構(gòu)建行為識別網(wǎng)絡(luò)；

步驟3：在構(gòu)建的暴力行為數(shù)據(jù)集中訓(xùn)練行為識別網(wǎng)絡(luò)，初始學(xué)習(xí)率設(shè)置為0.01，每隔兩輪次學(xué)習(xí)率調(diào)整為原來的90％，共計訓(xùn)練100輪次，獲取能夠識別暴力行為的網(wǎng)絡(luò)模型；

步驟4：將視頻輸入通過步驟3獲得的網(wǎng)絡(luò)模型對暴力行為進(jìn)行識別。

進(jìn)一步，所述步驟1中將兩個TSM模塊級聯(lián)構(gòu)建級聯(lián)時序遷移模塊。

進(jìn)一步，在兩個TSM模塊中引入短接操作，拓展到三次級聯(lián)。

進(jìn)一步，所述步驟3中在模型訓(xùn)練過程中采用學(xué)習(xí)率調(diào)整方式解決過擬合問題。

本發(fā)明在殘差模塊的基礎(chǔ)上，在卷積層之前加入了級聯(lián)的兩個TSM模塊，形成了兩級級聯(lián)TSM殘差模塊。級聯(lián)的TSM模塊獨立地進(jìn)行時序信息的遷移，有效地改善了特征在時序維度的融合，強化了模型對長時信息的特征提取能力。同時，級聯(lián)的模塊之間會對遷移的張量進(jìn)行有效地改制，在二次遷移之前有效融合時空信息，避免了時序遷移的片面化、碎片化。

對于輸入的第i幀視頻圖像F_i，采用由兩級級聯(lián)TSM殘差模塊組成的二維CNN網(wǎng)絡(luò)ResNet50來實現(xiàn)對融合有時空信息的視頻幀進(jìn)行特征提取與分類。兩級級聯(lián)TSM模塊的存在進(jìn)一步強化了時間感受野，有效地完成時間建模。在模型訓(xùn)練過程采用學(xué)習(xí)率調(diào)整方式，初始學(xué)習(xí)率為0.01，每隔兩輪次學(xué)習(xí)率調(diào)整為原來的90％。這在一定程度上加快了學(xué)習(xí)率的調(diào)整速度，也加快了模型的學(xué)習(xí)速率，可以避免在訓(xùn)練過程中出現(xiàn)過擬合的問題。

本發(fā)明還具有以下有益效果：