[發明專利]一種面向弱配準數據的可見光熱紅外視覺跟蹤方法

在審

• 申請號: 202310075035.0
• 申請日: 2023-01-16
• 公開（公告）號: CN116205959A
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 李成龍;沈慶;劉磊;湯進
• 申請（專利權）人: 安徽大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06N3/08;G06T5/50;G06N3/0464
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 鄭浩

1.一種面向弱配準數據的可見光熱紅外視覺跟蹤方法，其特征在于，采用的網絡模型包括：特征提取網絡、漸進式特征融配準模塊、transformer融合模塊以及模型預測器；所述的特征提取網絡用于提取可見光和熱紅外的多模態特征；所述的漸進式特征融配準模塊，利用弱配準圖像對預測單應性矩陣，用以扭曲熱紅外模態特征以實現熱紅外模態特征向可見光模態特征的配準；所述的transformer融合模塊，由多頭注意力機制組成，用于融合配準后的多模態特征；所述的模型預測器，由模型預測模塊和調制向量模塊組成，用于利用融合的多模態特征進行最后的跟蹤結果預測；

所述的跟蹤方法包括以下步驟：

步驟一：在初始幀或上一幀結果目標周圍生成搜索區域，并提取搜索區域的多模態特征；

步驟二：將特征提取網絡提取的多模態特征利用漸進式特征配準模塊進行特征粗配準，同時預測單應性矩陣，進而實現熱紅外特征向可見光特征的細配準，同時更新單應性矩陣；

步驟三：將細配準后的可見光熱紅外模態特征通過transformer特征融合模塊進行多模態特征融合；

步驟四：利用融合特征輸入到模型預測器取得當前幀的最優的預測模型，與全圖特征進行卷積操作以獲得得分權重圖，響應值高的位置則代表目標的預測位置，同時通過調制向量模塊進行包圍框的選取，完成對當前幀目標的準確定位；

步驟五：跟蹤下一幀。

2.根據權利要求1所述的一種面向弱配準數據的可見光熱紅外視覺跟蹤方法，其特征在于，步驟二中所述的利用漸進式特征配準模塊進行特征粗配準，同時預測單應性矩陣，進而實現熱紅外特征向可見光特征的細配準的方法如下：首先根據主單應性矩陣H_M利用空間轉換網絡STN實現熱紅外模態特征向可見光模態特征的粗配準，將可見光特征與粗配準的熱紅外特征在通道維度上拼接送給單應性估計模塊估計次單應性矩陣H_R，所述的單應性估計模塊由殘差模塊、全局平均池化、全連接層以及直接線性變換依次連接組成；再使用空間轉換網絡STN實現熱紅外模態的細配準，并對預測的次單應性矩陣H_R進行監督，損失函數如下：

其中，L_M為單應性損失函數，H_T代表監督信號量矩陣，n代表單應性矩陣的維度，為次單應性矩陣的第i行、第j列的元素，為監督信號量矩陣的第i行、第j列的元素。

3.根據權利要求2所述的一種面向弱配準數據的可見光熱紅外視覺跟蹤方法，其特征在于，步驟二中所述的更新單應性矩陣的方法如下：根據預測的次單應性矩陣H_R更新主單應性矩陣H_M的值，其公式如下：

其中，為更新后的主單應性矩陣。

4.根據權利要求3所述的一種面向弱配準數據的可見光熱紅外視覺跟蹤方法，其特征在于，步驟三中所述的將細配準后的可見光熱紅外模態特征通過transformer特征融合模塊進行多模態特征融合的方法具體如下：將配準后的可見光模態特征F_RGB和熱紅外模態F_T作為transformer融合模塊的輸入，以F_RGB結合位置編碼作為Query集，以F_RGB連接F_T結合位置編碼作為Key集，以F_RGB連接F_T作為Value，進行多頭自注意力操作，并通過殘差相加，再經過前饋神經網絡以及歸一化操作獲得熱紅外可見光融合模態特征。