[發明專利]一種具有融合機制的多目標跟蹤方法

在審

• 申請號: 202111136383.1
• 申請日: 2021-09-27
• 公開（公告）號: CN113920161A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 張卡;何佳;尼秀明
• 申請（專利權）人: 安徽清新互聯信息科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04;G06N3/08
• 代理公司: 合肥天明專利事務所(普通合伙) 34115
• 代理人: 閆客

1.一種具有融合機制的多目標跟蹤方法，其特征在于，包括：

S31、選擇任意一幀包含有多個待跟蹤目標的圖像作為前一幀圖像；

S32、將前一幀圖像和當前幀圖像組成運動圖像對并輸入至位置預測模型，預測出當前幀圖像中所有目標位置以及每個目標相對于前一幀圖像的歸一化運動位移量；

S33、根據當前幀圖像中所有目標位置以及每個目標相對于前一幀圖像的歸一化運動位移量，更新待跟蹤目標位置，得到更新后的前一幀圖像；

S34、基于更新后的前一幀圖像，重復執行步驟S32至S33，實現多目標的持續跟蹤。

2.如權利要求1所述的具有融合機制的多目標跟蹤方法，其特征在于，所述位置預測模型包括特征提取模塊和檢測跟蹤模塊，其中：

特征提取模塊用于獲取所述運動圖像對的高層特征圖；

檢測跟蹤模塊用于基于高層特征圖，預測出所述當前幀圖像中存在的所有目標的位置以及目標相對于所述前一幀圖像的運動位移量。

3.如權利要求2所述的具有融合機制的多目標跟蹤方法，其特征在于，所述特征提取模塊包括拼接層concat、主干網絡backbone、特征金字塔網絡FPN和輸出特征層out_feature1、out_feature2，所述運動圖像對作為拼接層concat的輸入，拼接層concat將所述運動圖像對按照通道維度進行拼接并輸出拼接圖，拼接層concat輸出經主干網絡backbone與特征金字塔網絡FPN連接，特征金字塔網絡FPN輸出融合有不同尺度特征的特征圖，并經輸出特征層out_feature1、out_feature2輸出。

4.如權利要求2所述的具有融合機制的多目標跟蹤方法，其特征在于，所述檢測跟蹤模塊包括卷積層dconv1_0、dconv2_0、dconv1_1、dconv2_1及目標信息解析層dtyolo，所述輸出特征層out_feature1和所述輸出特征層out_feature2的輸出分別連接卷積層dconv1_0、dconv2_0，卷積層dconv1_0、dconv2_0分別經卷積層dconv1_1、dconv2_1連接目標信息解析層dtyolo，目標信息解析層dtyolo用于提取有效的目標位置信息。

5.如權利要求1所述的具有融合機制的多目標跟蹤方法，其特征在于，所述根據當前幀圖像中所有目標位置以及每個目標相對于前一幀圖像的歸一化運動位移量，更新待跟蹤目標位置，得到更新后的前一幀圖像，包括：

將所述當前幀圖像中的目標位置減去每個目標相對于所述前一幀圖像的歸一化運動位移量，獲得所述當前幀圖像中的目標在所述前一幀圖像中的粗略位置；

將所述當前幀圖像中的目標在所述前一幀圖像中的粗略位置和所述前一幀圖像中的每個目標位置進行關聯匹配，得到所述當前幀圖像中的目標在所述前一幀圖像中的準確位置；

根據所述當前幀圖像中的目標在所述前一幀圖像中的準確位置，更新待跟蹤目標位置，得到所述更新后的前一幀圖像。

6.如權利要求5所述的具有融合機制的多目標跟蹤方法，其特征在于，所述根據所述當前幀圖像中的目標在所述前一幀圖像中的準確位置，更新待跟蹤目標位置，得到所述更新后的前一幀圖像，包括：

將所述當前幀圖像作為所述前一幀圖像，根據所述當前幀圖像中的目標在所述前一幀圖像中的準確位置，更新所述前一幀圖像中已知目標位置的信息；

當所述前一幀圖像中出現目標未被所述當前幀圖像中的目標關聯上時，則將該目標對應的跟蹤記錄刪除。

7.如權利要求1-6任一項所述的具有融合機制的多目標跟蹤方法，其特征在于，在所述將前一幀圖像和當前幀圖像組成運動圖像對并輸入至位置預測模型之前，還包括：

收集行人視頻；

對行人視頻中每一幀圖像中的行人位置及不同幀圖像對之間的運動信息進行標注，構建得到運動圖像對集合；

利用運動圖像對集合對所述位置預測模型進行訓練，學習模型參數。