[發(fā)明專利]一種基于稠密邊界時(shí)空網(wǎng)絡(luò)的時(shí)序行為檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110275575.4
• 申請(qǐng)日: 2021-03-15
• 公開（公告）號(hào): CN112990013A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 潘曉英;薛玉鋒;劉妮;王紅玉
• 申請(qǐng)（專利權(quán)）人: 西安郵電大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安新思維專利商標(biāo)事務(wù)所有限公司 61114
• 代理人: 黃秦芳

1.一種基于稠密邊界時(shí)空網(wǎng)絡(luò)的時(shí)序行為檢測(cè)方法，其特征在于，包括以下步驟：

步驟1：采用two-stream提取待檢測(cè)視頻的時(shí)空特征，生成RGB特征和光流特征；

步驟2：將RGB特征和光流特征分別通過堆疊的兩層一維卷積，然后融合得到融合特征；將3路特征序列再分別通過LSTM網(wǎng)絡(luò)與一維卷積網(wǎng)絡(luò)，產(chǎn)生3路增強(qiáng)特征序列，然后將3路增強(qiáng)特征序列進(jìn)行融合，得到動(dòng)作概率特征；

步驟3：將動(dòng)作概率特征和融合特征輸入候選特征生成層，將這兩類特征轉(zhuǎn)化為特征序列，輸入到稠密邊界提取模塊。動(dòng)作概率特征序列通過3層二維卷積得到動(dòng)作完整性置信度圖，融合特征序列通過1個(gè)三維卷積和2個(gè)二維卷積得到邊界置信度圖；

步驟4：采用Soft-NMS方法對(duì)提取出的若干候選片段進(jìn)行篩選，去除視頻中的冗余片段。

2.根據(jù)權(quán)利要求1所述基于稠密邊界時(shí)空網(wǎng)絡(luò)的時(shí)序行為檢測(cè)方法，其特征在于，步驟2中，針對(duì)視頻上下文信息的時(shí)序性，使用長(zhǎng)短期記憶網(wǎng)絡(luò)，增強(qiáng)上下文信息信息的特征，獲得動(dòng)作概率特征和融合特征。

3.根據(jù)權(quán)利要求3所述基于稠密邊界時(shí)空網(wǎng)絡(luò)的時(shí)序行為檢測(cè)方法，其特征在于，步驟3中，所述稠密邊界提取模塊采用稠密動(dòng)作概率生成子模塊和稠密邊界生成子模塊，得到動(dòng)作完整性置信度圖與邊界置信度圖。

4.一種基于稠密邊界時(shí)空網(wǎng)絡(luò)的時(shí)序行為檢測(cè)系統(tǒng)，其特征在于，包括：

特征提取模塊，采用two-stream提取待檢測(cè)視頻的時(shí)空特征，得到時(shí)空特征圖；

時(shí)序增強(qiáng)模塊，采用LSTM學(xué)習(xí)視頻信息中的長(zhǎng)期依賴關(guān)系，增強(qiáng)上下文信息的特征，獲得多尺度的稠密邊界特征。

稠密邊界提取模塊，采用稠密動(dòng)作概率生成子模塊和稠密邊界生成子模塊，得到盡可能多地選提議時(shí)序片段，并預(yù)測(cè)所述候選提議時(shí)序片段的置信度得分；

后處理模塊，采用Soft-NMS方法對(duì)提取出的若干候選片段進(jìn)行篩選。