[發(fā)明專利]一種基于復(fù)合卷積網(wǎng)絡(luò)的目標(biāo)跟蹤方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210158946.5
• 申請日: 2022-02-21
• 公開（公告）號: CN114565639A
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計）人: 陳璞花;單鼎丞;王璐;焦李成;劉芳;古晶
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 高博

1.一種基于復(fù)合卷積網(wǎng)絡(luò)的目標(biāo)跟蹤方法，其特征在于，包括以下步驟：

S1、構(gòu)建孿生復(fù)合卷積特征提取子網(wǎng)絡(luò)Siam-Co-CNNs，組成Siamese結(jié)構(gòu)的模板分支與檢測分支；

S2、將步驟S1提取的模板分支與檢測分支的特征圖輸入?yún)^(qū)域提案子網(wǎng)絡(luò)中，組成基于復(fù)合卷積網(wǎng)絡(luò)的目標(biāo)跟蹤網(wǎng)絡(luò)；

S3、使用訓(xùn)練數(shù)據(jù)集中的視頻幀序列，對步驟S2構(gòu)成的基于復(fù)合卷積網(wǎng)絡(luò)的目標(biāo)跟蹤網(wǎng)絡(luò)進(jìn)行離線預(yù)訓(xùn)練；

S4、將視頻轉(zhuǎn)化為圖像幀輸入步驟S3預(yù)訓(xùn)練好的基于復(fù)合卷積網(wǎng)絡(luò)的目標(biāo)跟蹤網(wǎng)絡(luò)，進(jìn)行在線跟蹤，得到并輸出視頻跟蹤結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于復(fù)合卷積網(wǎng)絡(luò)的目標(biāo)跟蹤方法，其特征在于，步驟S1中，構(gòu)建孿生復(fù)合卷積特征提取子網(wǎng)絡(luò)Siam-Co-CNNs具體為：

S101、搭建兩個卷積神經(jīng)網(wǎng)絡(luò)分支網(wǎng)絡(luò)，分別提取模板幀和檢測幀的CNN特征；

S102、在步驟S101搭建的兩個卷積神經(jīng)網(wǎng)絡(luò)分支網(wǎng)絡(luò)上添加圖卷積神經(jīng)網(wǎng)絡(luò)，構(gòu)建Co-CNN模塊；

S103、將步驟S102構(gòu)建的Co-CNN模塊堆疊組成孿生復(fù)合卷積特征提取子網(wǎng)絡(luò)Siam-Co-CNNs，Siam-Co-CNNs包括3組融合堆疊Co-CNN模塊，每組Co-CNN模塊包含1個卷積網(wǎng)絡(luò)和圖卷積網(wǎng)絡(luò)的融合模塊。

3.根據(jù)權(quán)利要求2所述的基于復(fù)合卷積網(wǎng)絡(luò)的目標(biāo)跟蹤方法，其特征在于，步驟S101中，每個卷積神經(jīng)網(wǎng)絡(luò)分支網(wǎng)絡(luò)均由修改過的AlexNet網(wǎng)絡(luò)組成，將卷積神經(jīng)網(wǎng)絡(luò)分支網(wǎng)絡(luò)中的第一個卷積塊記為Conv-1，第二個卷積塊記為Conv-2，第三、四、五個卷積塊記為Conv-3；兩個卷積神經(jīng)網(wǎng)絡(luò)分支網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)相同，共享同一組網(wǎng)絡(luò)參數(shù)，使用兩層圖卷積神經(jīng)網(wǎng)絡(luò)堆疊組成GCN模塊，每一層Co-CNN模塊中均使用到一層GCN模塊，分別為GCN-1、GCN-2和GCN-3。

4.根據(jù)權(quán)利要求2所述的基于復(fù)合卷積網(wǎng)絡(luò)的目標(biāo)跟蹤方法，其特征在于，步驟S102中，每層圖卷積神經(jīng)網(wǎng)絡(luò)為：

其中，σ代表非線性函數(shù)ReLU，為鄰接矩陣A加上單位矩陣I的自循環(huán)矩陣，為對應(yīng)的度矩陣，H^(l)為輸入的圖特征，W^(l)為權(quán)重矩陣。

5.根據(jù)權(quán)利要求2所述的基于復(fù)合卷積網(wǎng)絡(luò)的目標(biāo)跟蹤方法，其特征在于，步驟S103中，在第一層Co-CNN模塊中，將輸入的圖像幀經(jīng)過SLIC超像素處理，獲取超像素標(biāo)簽構(gòu)成圖g₀，同時使用Conv-1對圖像幀進(jìn)行特征提取獲得像素級特征F₁；然后將圖g₀輸入圖下采樣模塊GI-1，得到圖g₁，通過像素級特征F₁和圖g₁，構(gòu)造鄰接矩陣A₁和對應(yīng)矩陣Q₁，獲取圖特征G₁輸入GCN-1模塊；GCN-1模塊輸出圖特征G₂，再通過對應(yīng)矩陣Q₁轉(zhuǎn)化為像素級特征最后由融合模塊concat將像素級特征F₁與融合，獲得特征將特征和圖g₁輸入第二層Co-CNN模塊，獲取特征和圖g₂；最后再輸入第三層Co-CNN模塊，獲取最終的像素級特征

6.根據(jù)權(quán)利要求1所述的基于復(fù)合卷積網(wǎng)絡(luò)的目標(biāo)跟蹤方法，其特征在于，步驟S2中，區(qū)域提案子網(wǎng)絡(luò)中，模板分支和檢測分支經(jīng)過Siam-Co-CNNs模塊獲取的特征和進(jìn)入RPN網(wǎng)絡(luò)的分類分支，獲取二分類結(jié)果；模板分支和檢測分支經(jīng)過Siam-Co-CNNs模塊獲取的特征和進(jìn)入RPN網(wǎng)絡(luò)的分類分支，獲取坐標(biāo)修正結(jié)果。