[發明專利]一種基于復合卷積網絡的目標跟蹤方法及系統

在審

• 申請號: 202210158946.5
• 申請日: 2022-02-21
• 公開（公告）號: CN114565639A
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 陳璞花;單鼎丞;王璐;焦李成;劉芳;古晶
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 高博

本發明公開了一種基于復合卷積網絡的目標跟蹤方法及系統，構建孿生復合卷積特征提取子網絡Siam?Co?CNNs；將Siam?Co?CNNs提取的模板分支與檢測分支的特征圖輸入區域提案子網絡中，組成基于復合卷積網絡的目標跟蹤網絡；使用訓練數據集中的視頻幀序列，對基于復合卷積網絡的目標跟蹤網絡進行離線預訓練；將測試視頻轉化為圖像幀輸入系統，并在第一幀上標注上待跟蹤目標，進行在線跟蹤，得到并輸出目標跟蹤結果。實驗證明，本發明所提出的目標跟蹤方法能夠提高目標跟蹤的準確率和成功率。

技術領域

本發明屬于視頻目標跟蹤技術領域，具體涉及一種基于復合卷積網絡的目標跟蹤方法及系統，融合了圖像處理、特征融合以及計算機等許多領域的先進技術。

背景技術

目標跟蹤是計算機視覺中最重要和最具挑戰性的問題之一，其應用范圍廣泛，包括視頻監控、無人駕駛汽車等。只有在視頻的第一幀中給出注釋，跟蹤算法才能運行以定位對象在隨后的幀中，可能會面臨由光照、變形、遮擋和運動等原因引起的各種外觀和運動變化。

近年來，深度學習技術快速發展，在數字圖像處理領域中扮演著重要的角色。深度學習可以通過數據驅動，自動學習滿足任務需求的特征。卷積神經網絡可以抽取多尺度局部空間信息，并將其融合起來構建特征表示，但是其只能應用于常規的歐幾里得數據上。而圖神經網絡可以在非歐幾里得空間取得很好的效果，獲得全局性特征。

發明內容

本發明所要解決的技術問題在于針對上述現有技術中的不足，提供一種基于復合卷積網絡的目標跟蹤方法及系統，對目標更加準確魯棒的跟蹤，提高目標跟蹤的準確率和成功率。

本發明采用以下技術方案：

一種基于復合卷積網絡的目標跟蹤方法，包括以下步驟：

S1、構建孿生復合卷積特征提取子網絡Siam-Co-CNNs，組成Siamese結構的模板分支與檢測分支；

S2、將步驟S1提取的模板分支與檢測分支的特征圖輸入區域提案子網絡中，組成基于復合卷積網絡的目標跟蹤網絡；

S3、使用訓練數據集中的視頻幀序列，對步驟S2構成的基于復合卷積網絡的目標跟蹤網絡進行離線預訓練；

S4、將視頻轉化為圖像幀輸入步驟S3預訓練好的基于復合卷積網絡的目標跟蹤網絡，進行在線跟蹤，得到并輸出視頻跟蹤結果。

具體的，步驟S1中，構建孿生復合卷積特征提取子網絡Siam-Co-CNNs具體為：

S101、搭建兩個卷積神經網絡分支網絡，分別提取模板幀和檢測幀的CNN特征；

S102、在步驟S101搭建的兩個卷積神經網絡分支網絡上添加圖卷積神經網絡，構建Co-CNN模塊；

S103、將步驟S102構建的Co-CNN模塊堆疊組成孿生復合卷積特征提取子網絡Siam-Co-CNNs，Siam-Co-CNNs包括3組融合堆疊Co-CNN模塊，每組Co-CNN模塊包含1個卷積網絡和圖卷積網絡的融合模塊。

進一步的，步驟S101中，每個卷積神經網絡分支網絡均由修改過的AlexNet網絡組成，將卷積神經網絡分支網絡中的第一個卷積塊記為Conv-1，第二個卷積塊記為Conv-2，第三、四、五個卷積塊記為Conv-3；兩個卷積神經網絡分支網絡的網絡結構相同，共享同一組網絡參數，使用兩層圖卷積神經網絡堆疊組成GCN模塊，每一層Co-CNN模塊中均使用到一層GCN模塊，分別為GCN-1、GCN-2和GCN-3。

進一步的，步驟S102中，每層圖卷積神經網絡為：

其中，σ代表非線性函數ReLU，為鄰接矩陣A加上單位矩陣I的自循環矩陣，為對應的度矩陣，H^(l)為輸入的圖特征，W^(l)為權重矩陣。