[發明專利]一種基于對象空間關系的目標跟蹤算法

有效

• 申請號: 202010439523.1
• 申請日: 2020-05-22
• 公開（公告）號: CN111652910B
• 公開（公告）日: 2023-04-11
• 發明（設計）人: 馮欣;張瓊敏;宋承云;龍建武;譚暑秋;蔣友妮;殷一皓;劉曦月
• 申請（專利權）人: 重慶理工大學
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 重慶晟軒知識產權代理事務所(普通合伙) 50238
• 代理人: 王海鳳

1.一種基于對象空間關系的目標跟蹤算法，其特征在于：具體包括以下步驟：

G1、以圖像的特征和目標在圖像中的位置作為輸入，并利用五層卷積小網絡來捕獲兩幀圖像中目標的關聯性，最終獲得目標間的特征相似矩陣，具體步驟如下：

S1、獲取以Ft、F_t+n作為模型輸入，時間間隔為n的兩幀圖像，然后從輕量級行人檢測模型骨干網絡得到第8倍下采樣、第16倍下采樣和第32倍下采樣特征圖的集合，其通道數分別為384、192、96；

S2、獲取以Bt、B_t+n作為模型輸入，時間間隔為n的兩幀圖像中所有行人目標框的集合，再經過特征降維之后三層特征圖的通道數降為192、96、48；將行人目標框Bt、B_t+n轉換為目標中心點坐標，在三層特征圖上分別找到對應的特征點，同一目標的三個特征點按通道拼接在一起作為目標的特征向量，每個目標的特征向量維度為336；t表示自然數；

S3、獲取每幀圖像中能夠同時跟蹤到的最大目標數量N_maX，N_maX設為80，然后根據公式(1)、公式(2)獲得兩幀圖像中的所有目標特征向量構成的特征矩陣；

其中：當圖像中目標數小于N_maX時，特征矩陣用零填充，中的第i行表示t時刻圖像幀中第i個目標的特征；

S4、根據公式(3)，獲得由中所有目標向量窮舉排列，并按通道拼接得到的混合特征向量；

其中：F_per的第i行第j列個元素是由中第i行特征向量與中第j行特征向量在通道維度拼接得到的，F_per中每個元素的維度為672；

S5、然后將由5個卷積核為1×1的普通卷積模塊組成的小網絡定義為MapNet，用來捕獲目標表觀特征的相似性，其中通道數分別為336、168、84、42、1，同時在整個網絡中不改變輸入特征圖的分辨率；

S6、最后按照公式(4)模型輸出，并進行編碼兩幀圖像目標間特征的相似程度，以此獲得目標間的特征相似矩陣；

其中：中第i行表示t時刻圖像幀中第i個目標的特征與t+n時刻圖像幀中所有目標的特征間的相似性，第j列表示t+n時刻圖像幀中第j個目標的特征與t時刻圖像幀中所有目標的特征間的相似性，上述各個步驟中涉及到的t表示自然數；

G2、獲取目標中心點的距離作為目標間的空間相似矩陣，將空間相似矩陣與特征相似矩陣做哈達瑪積，同時計算目標的關聯性，防止將表觀特征相似性大但空間位置相距較遠的目標進行錯誤關聯，最終得到目標跟蹤結果；

所述空間相似矩陣的具體計算步驟如下：

K1、將Bt、B_t+n作為輕量級行人目標檢測模型得到的目標框，Center作為每個目標的中心坐標，為t時刻圖像幀中的目標與t+n時刻圖像幀中的目標的空間相似性，S_i,j為的簡寫，表示t時刻圖像幀中第i個目標與t+n時刻圖像幀中第j個目標的空間相似性，然后將S_i,j按以下計算方式為：

其中d_i,j∈(0,1)為t時刻圖像幀中第i個目標與t+n時刻圖像幀中第j個目標間的歸一化距離，即圖像上歐式距離與圖像對角線距離的比值，其中圖像的對角線為兩個目標在圖像中的最大距離；

K2、得到兩個目標之間的空間距離之后，使用一個簡單的徑向基函數e^-x帶入公式(6.1)中將目標間的空間距離轉化為空間相似性。

2.根據權利要求1所述的一種基于對象空間關系的目標跟蹤算法，其特征在于：需要將目標在圖像上的歐式距離做歸一化處理，同時公式(6.1)也是一個歸一化操作后，將目標間的空間相似性歸一化到目標最大空間相似性與最小空間相似性區間，兩個目標的歐式距離經過歸一化之后，最小距離為0，其中中心點重疊，相似性最大：e⁰＝1；最大距離為1，即中心點分別位于圖像的對角點，相似性最小：e^-1。