[發明專利]基于目標移動軌跡預測的深度學習集成的跟蹤算法

在審

• 申請號: 202111036205.1
• 申請日: 2021-09-06
• 公開（公告）號: CN113744313A
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 安志勇;申景偉;郝芳靜;李博;謝青松
• 申請（專利權）人: 山東工商學院
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/90;G06N3/08
• 代理公司: 北京中創博騰知識產權代理事務所(普通合伙) 11636
• 代理人: 李艷艷

1.基于目標移動軌跡預測的深度學習集成的跟蹤算法，其特征在于，將深度學習的目標檢測算法與目標跟蹤算法進行集成，利用歷史預測框信息、目標物移動方向策略、三顏色特征提取策略，在跟蹤算法跟蹤效果不好時啟動檢測算法對跟蹤框進行重糾偏；包括以下步驟：

步驟1：讀取視頻幀序列，獲取初始幀圖像；

步驟2：將首幀輸入到目標檢測算法，檢測出所有目標的位置和人工標注的跟蹤框位置進行IOU計算，獲取跟蹤目標的語義信息pre_label；

步驟3：當t10，選取t幀之前的十個跟蹤評估得分＝tr的跟蹤結果，計算出顏色特征平均值模板S；

步驟4：若t10并且當前跟蹤評分小于tr并且pre_label！＝null，執行步驟5，步驟6，否則跳轉到步驟7；

步驟5：根據t-5幀和t-15幀預測目標物移動方向，篩選出語義為pre_label的k個潛在目標物；

步驟6：分別提取K個目標物的三種顏色特征與模板S進行相似度計算，從K個相似度結果中選取最大相似度數值SD_r，若SD_r＞tp，將此目標物跟蹤框對跟蹤結果進行重糾偏；

步驟7：判斷當前幀算法是否為圖像序列的最后一幀，如果是，結束算法，如果否，返回步驟3，直至循環到最后一幀圖像；

步驟8：完成目標跟蹤。

2.根據權利要求1所述的基于目標移動軌跡預測的深度學習集成的跟蹤算法，其特征在于，所述步驟2的具體步驟如下：

步驟2.1：將首幀輸入到目標檢測算法，檢測算法搜索到M個框，且每個框各有其所屬類別，將首幀中人工標注的跟蹤框和這M個框分別做交并比計算，選擇出最大的IOU數值，若Max(IOU)th，則將跟蹤語義信息pre_label設置為最大的IOU數值所對應跟蹤框的類別信息，否則pre_label為null，這里將閾值th設置為0.85。

3.根據權利要求1所述的基于目標移動軌跡預測的深度學習集成的跟蹤算法，其特征在于，所述步驟3的具體步驟如下：

步驟3.1：在幀數t10時，選取t幀之前的十個跟蹤評估得分＝tr的跟蹤結果，計算出顏色特征平均值模板S，留待下次進行重糾偏相似度匹配使用。

4.根據權利要求1所述的基于目標移動軌跡預測的深度學習集成的跟蹤算法，其特征在于，所述步驟4的具體步驟如下：

步驟4.1：當滿足條件：(1)幀數t10、(2)當前跟蹤評分小于tr、(3)pre_label不為空時，則執行步驟5，步驟6，啟動目標檢測算法對預測框進行修正，否則跳轉到步驟7，這里將閾值tr設置為0.9。

5.根據權利要求1所述的基于目標移動軌跡預測的深度學習集成的跟蹤算法，其特征在于，所述步驟5的具體步驟如下：

步驟5.1：通過對t-5幀預測框的中心點位置A(x_i,y_i)和t-15幀預測框中心點位置B(x_j,y_j)進行計算，可得斜率，如公式(1)

進而可得目標的大致移動軌跡在公式(2)這條直線附近，其中α由公式(1)得到；

y-y_j＝α·(x-x_i) (2)

得到預測軌跡直線后，取出t-1幀預測框位置擴展為其三倍大小，將其位置定位在檢測后的圖片上，從中篩選出語義信息為pre_label的目標物，根據每一個目標物的中心點位置(a_i,b_i)，將其對公式(2)形成的直線做垂線，則垂線越短，代表此目標物與A點形成的夾角越小，代表目標物越貼合目標運動軌跡方向，目標物為待跟蹤目標的可能性越大，根據垂線由短到長從目標物中篩選出K個潛在目標物，閾值K＝3。

6.根據權利要求1所述的基于目標移動軌跡預測的深度學習集成的跟蹤算法，其特征在于，所述步驟6的具體步驟如下：

步驟6.1：提取K個潛在目標物的顏色特征；

步驟6.2：若跟蹤視頻序列為RGB三通道圖片，則得通道數c＝3，若跟蹤視頻序列為灰度圖片，則得通道數c＝1，通道區間范圍為[0,255]，用來統計每個通道區間的顏色點值的數量分布，得到一個c維向量，每個向量的長度為256，N_i,{i∈[0,256]}，N_i代表像素值為i的像素點數量；分別將K個潛在目標物的顏色特征與匹配模板S的顏色特征進行相似度計算，公式如下(3)，其中c代表通道，N_i代表潛在目標的顏色特征點值的數量分布，M_i代表匹配模板S的顏色特征點值的數量分布；

SiamDegree的值歸一化在[0,1]之間，相似度越接近1，代表潛在目標和匹配模板S越相似；

步驟6.3：依次對K個目標物進行相似度計算，從中選取最大的相似度值SD_r：

SD_r＝argmax(SiamDegree₁,SiamDegree₂,...,SiamDegree_k) (4)

其中，r∈[1,k]，當SD_r＞tp時，則將當前目標物位置作為跟蹤的目標位置，繼續進行下一幀跟蹤，否則不對當前幀進行糾偏操作。