[發明專利]一種基于軌跡預測的自適應圖跟蹤方法

在審

• 申請號: 202110704517.9
• 申請日: 2021-06-24
• 公開（公告）號: CN113487653A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 單超炳;李特;危春波;余小康;王亞鴿;方駿
• 申請（專利權）人: 之江實驗室
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種基于軌跡預測的自適應圖跟蹤方法，該方法在估計軌跡的位移之后，在當前幀重新提取軌跡的特征，使得相同目標的特征盡可能保持一致。本發明融合了位置、外觀和歷史信息，在自適應圖神經網絡中更新特征，用以區分不同目標以及學習目標重要的部位。本發明提出了balanced MSE LOSS，用以平衡樣本分布，讓神經網絡自動學習區分不同類型目標(如新出現的或消失的目標)。本發明可以應用于自動駕駛中輸出多個目標的軌跡，還能夠預測視頻目標的行為，并且可以提高交通管理效率以及預防事故的發生。

技術領域

本發明屬于計算機視覺和模式識別領域，尤其涉及一種基于軌跡預測的自適應圖跟蹤方法。

背景技術

目標追蹤一直是計算機視覺中很重要的研究方向，在自動駕駛、視頻目標行為預測、交通管理及預防中有很大的應用。很多視頻涵蓋了從清晰到模糊、光照強度從白天到黑夜、視角從高到低、鏡頭從靜止到移動的不同場景，并且視頻中有較多的目標自遮擋、互遮擋現象。而即使是同一個目標，在運動的過程中可能會發生姿態、角度等的變換，甚至會發生光照強度的變化，那么目標的特征會發生較大的變化，這些都給多目標跟蹤帶來了極大的挑戰。

現在主流的方法如利用卡爾曼濾波器預測歷史目標在當前幀的位置，并用匈牙利算法進行匹配，或用CNN或變分方法預測歷史目標到當前幀的光流，用簡單的貪婪算法完成匹配；FairMOT方法加入一個Re-id分支，用以提取更精細的目標特征，并用特征余弦距離加IOU(Intersection over Union)的方式組成相似度矩陣，再用匈牙利算法完成匹配。盡管這些方法在多目標跟蹤領域取得了不錯的進展，但它們仍存在以下缺點：

(1)目標在運動過程中的特征不一致。因為即使是同一個目標，在運動的過程中可能會發生姿態、角度等的變換，甚至會發生光照強度的變化，那么這一目標在不同幀上提取出來的特征可能會有較大不同，因此在關聯匹配的時候會降低跟蹤的準確率；

(2)沒有充分利用信息。大多數方法在特征時，只利用了外觀信息，沒有用到位置關系，也沒用到歷史目標的特征信息；

(3)樣本分布不平衡。

發明內容

本發明的目的在于針對現有技術中目標在運動過程中的特征不一致、提取特征時未充分利用時空信息、樣本分布不平衡的不足，提供一種基于軌跡預測的自適應圖跟蹤方法。

本發明的目的是通過以下技術方案來實現的：一種基于軌跡預測的自適應圖跟蹤方法，包括以下步驟：

步驟一：基于軌跡預測的特征重提取：當前幀I_t通過ResNet101-fpn網絡轉化成特征圖，被檢測到的M個目標邊框用ROI Align提取區域特征，這些特征通過全連接層轉化為特征向量；同時，用pyramid-LK算法預測前一幀I_t-1的目標在當前幀的位置，再加上除了I_t-1幀的前k幀，共N個歷史目標，同樣都在當前幀的特征圖上重新提取特征向量。這些初始外觀特征向量和邊框位置都作為自適應圖神經網絡的輸入。

步驟二：在自適應圖神經網絡AGNN中通過融合外觀、位置、歷史信息，AGNN能夠更新歷史和當前目標的特征，可以學習區分不同目標以及學習目標重要的部位用來重新識別被遮擋過的目標，最后通過AGNN輸出相似度矩陣S_out∈R^M×N，在訓練階段轉到步驟三，在測試階段轉到步驟四。

步驟三：使用balanced MSE Loss平衡樣本分布，進行反向傳播，更新神經網絡參數。balanced MSE Loss為：