[發(fā)明專利]一種時(shí)空交織的行為識(shí)別網(wǎng)絡(luò)模型構(gòu)建方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202310605077.0
• 申請(qǐng)日: 2023-05-26
• 公開（公告）號(hào): CN116612352A
• 公開（公告）日: 2023-08-18
• 發(fā)明（設(shè)計(jì)）人: 姜?jiǎng)偾?/a>;王慶;蔣子凌;劉青山
• 申請(qǐng)（專利權(quán)）人: 南京信息工程大學(xué)
• 主分類號(hào): G06V10/774
• 分類號(hào): G06V10/774;G06V10/776;G06V10/82;G06V10/80;G06V20/40;G06N3/045;G06N3/0464;G06N3/09
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 李淑靜

1.一種時(shí)空交織的行為識(shí)別網(wǎng)絡(luò)模型構(gòu)建方法，其特征在于，包括以下步驟：

(1)加載視頻數(shù)據(jù)并提取視頻幀，對(duì)視頻幀進(jìn)行隨機(jī)裁剪和隨機(jī)水平翻轉(zhuǎn)，得到模型的輸入數(shù)據(jù)集，將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集；

(2)確定時(shí)空交織行為識(shí)別網(wǎng)絡(luò)模型結(jié)構(gòu)，該結(jié)構(gòu)包括基網(wǎng)絡(luò)、交互特征協(xié)同模塊、并行增強(qiáng)偽3D模塊、時(shí)空差分注意力模塊和分類器，其中基網(wǎng)絡(luò)接受視頻幀輸入并提取基特征；交互特征協(xié)同模塊通過對(duì)基特征進(jìn)行兩輪不同的卷積和拼接操作，提取出具有辨別力的時(shí)空特征；并行增強(qiáng)偽3D模塊通過對(duì)時(shí)空特征進(jìn)行并行卷積、拼接和細(xì)化操作，提取出增強(qiáng)的時(shí)空特征；時(shí)空差分注意力模塊通過對(duì)增強(qiáng)的時(shí)空特征進(jìn)行池化操作并引入注意力機(jī)制來抑制不同維度的冗余特征，獲得最終增強(qiáng)的特征；分類器基于最終增強(qiáng)的特征完成分類識(shí)別；

(3)利用訓(xùn)練集中的數(shù)據(jù)對(duì)時(shí)空交織行為識(shí)別網(wǎng)絡(luò)模型進(jìn)行網(wǎng)絡(luò)訓(xùn)練，利用驗(yàn)證集中的數(shù)據(jù)評(píng)估模型，一旦找到最佳的參數(shù)，則保存最優(yōu)模型；

(4)利用測試集中的數(shù)據(jù)對(duì)最優(yōu)模型進(jìn)行測試。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟(1)包括：

對(duì)視頻幀從五個(gè)預(yù)定義的位置進(jìn)行隨機(jī)裁剪，裁剪大小表示為H×W，其中高度H和寬度W都是16的倍數(shù)，五個(gè)預(yù)定義的位置為視頻幀的四個(gè)角和一個(gè)中心點(diǎn)；

以一定的概率對(duì)所獲得的視頻幀進(jìn)行隨機(jī)水平翻轉(zhuǎn)；

對(duì)數(shù)據(jù)集中每個(gè)類的樣本按照8：1：1的比例進(jìn)行訓(xùn)練集、驗(yàn)證集和測試集的劃分。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基網(wǎng)絡(luò)通過卷積核為3×7×7的卷積操作對(duì)輸入視頻幀進(jìn)行基特征的學(xué)習(xí)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述交互特征協(xié)同模塊對(duì)基特征的處理包括：

輸入特征首先經(jīng)過一個(gè)3×3×3的全3D卷積層，將輸出G^l再送入1×1×1的卷積層，然后再將輸出與其原始輸入沿通道維度進(jìn)行拼接，具體公式為其中，G^l、分別表示1×1×1卷積層的原始輸入與輸出，||表示拼接操作；

將特征F₁分別送到1×3×3的空間偽3D卷積層和3×1×1的時(shí)間偽3D卷積層，將這兩個(gè)卷積層的輸出與進(jìn)行拼接，并進(jìn)行細(xì)化操作：其中，f[·]表示細(xì)化操作，和分別表示空間和時(shí)間偽3D卷積操作。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，并行增強(qiáng)偽3D模塊包括第一并行增強(qiáng)偽3D模塊和第二并行增強(qiáng)偽3D模塊，所述第一并行增強(qiáng)偽3D模塊對(duì)時(shí)空特征進(jìn)行增強(qiáng)包括：將輸入特征F^l分別送到1×3×3空間偽3D卷積層和3×1×1時(shí)間偽3D卷積層，然后將這兩個(gè)時(shí)空卷積層的輸出與F^l進(jìn)行拼接，并進(jìn)行細(xì)化操作：其中，g₁[·]表示第一細(xì)化操作，具體為使用1×1×1卷積層將其通道數(shù)減為原來的1/3，分別表示時(shí)間和空間偽3D卷積層的輸出；

所述第二并行增強(qiáng)偽3D模塊對(duì)時(shí)空特征進(jìn)行增強(qiáng)包括：將輸入特征F^l分別送到兩層堆疊的1×3×3空間偽3D卷積層和兩層堆疊的3×1×1時(shí)間偽3D卷積層，之后將最后一層時(shí)空卷積層的輸出進(jìn)行拼接，并進(jìn)行細(xì)化操作：其中，分別表示輸出的增強(qiáng)后的時(shí)空特征，g₂[·]表示第二細(xì)化操作，具體為使用1×1×1卷積層將其通道數(shù)減為原來的1/2。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述時(shí)空交織行為識(shí)別網(wǎng)絡(luò)模型結(jié)構(gòu)為基網(wǎng)絡(luò)-最大池化層-交互特征協(xié)同模塊-第一并行增強(qiáng)偽3D模塊-最大池化層-交互特征協(xié)同模塊-第一并行增強(qiáng)偽3D模塊-最大池化層-第二并行增強(qiáng)偽3D模塊-第二并行增強(qiáng)偽3D模塊-時(shí)空差分注意力模塊-分類器。