[發明專利]一種基于多源信息融合的運動目標視覺跟蹤方法

有效

• 申請號: 202110015551.5
• 申請日: 2021-01-07
• 公開（公告）號: CN112686928B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 傅應鍇;楊鑫;張吉慶;尹寶才;魏小鵬
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/13
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 溫福雪

1.一種基于多源信息融合的運動目標視覺跟蹤方法，其特征在于，步驟如下：

(1)構建數據集

數據集包含108個序列，共有21個目標類別，涵蓋高曝光、運動模糊、HDR多種復雜的場景；該數據集提供同步拍攝的事件數據和幀圖像，以及高達240HZ的目標標注框；按照目標類別，數據集分為：動物，交通工具和日常用品；按照場景分類，數據集分為：低光照、高動態范圍、伴隨運動模糊的快速運動和沒有運動模糊的快速運動；按照相機是否運動和物體的數量，數據集分為：相機靜止單個物體運動、相機運動單個物體運動、相機靜止多個物體運動和相機運動多個物體運動四個場景；

(2)幀圖像特征提取器FFE

幀圖像特征提取器用于從幀圖像中提取特征，采用ResNet18作為幀圖像特征提取器，ResNet18中的Block 4和Block 5的輸出分別作為低級幀特征和高級幀特征；

(3)事件圖像特征提取模塊EFE

事件圖像特征提取模塊用于從事件數據堆疊的事件圖像中提取特征，事件數據用以下公式進行表達：

其中，(x_k，y_k)是事件的像素坐標，t_k是事件的時間戳，p_k＝±1是事件的極性；為了將捕獲的異步事件輸入到事件數據特征提取模塊中，首先通過如下步驟對事件圖像進行疊加以形成事件圖像：(a)對于相鄰兩個幀圖像之間的事件聚合成N張三維圖像中，將事件離散化；(b)對于每一組事件，根據以下方法生成事件圖像：

其中，i表示第i個分支，δ表示狄拉克函數，T_j是在幀域上第j個幀圖像所對應的時間戳，B是時間域上的分片大小，其值的定義為B＝(T_j+1-T_j)/2；

事件圖像特征提取模塊也提取了事件圖像的低級幀特征和高級幀特征；同時，為了有效地聚合不同時間域上的事件圖像，本方法通過設置了與N相同的可學習的參數w來將特征圖融合，具體如下：

其中，指代像素相加，e_i是第i個分支的輸出，w_i是輸出的權重，通過網絡的訓練得到；

同時，為了更好地提取事件的有效信息，本方法提出邊緣注意力模塊EAB，通過自適應注意力機制來完成幀邊緣信息的高效提取，這個過程表述為：

其中，σ是Sigmoid激活函數，ψ_1×1指代1×1的卷積，κ_i指代在第i個分支中邊緣注意力模塊的輸出特征，指代元素相乘，和分別指代通道相加和自適應平均池化；

(4)跨域信息調制選擇模塊CDMS

跨域信息調制選擇模塊用來融合事件域和幀域之間的信息；本方法提出的跨域信息調制選擇模塊將兩種不同域的特征通過跨域注意力機制融合起來，具體而言，對于兩種來自不同域的信息D₁和D₂，通過如下流程將兩種信息融合：

其中，D₁指代來自幀域的特征，D₂指代來自事件域的特征，[.]操作指代通道拼接操作；表示幀域的特征提取過程，表示事件域的特征提取過程；ψ_3×3表示3×3的卷積，ψ_5×5表示5×5的卷積。