[發明專利]一種使用卷積神經網絡和雙向匹配算法的視頻多目標跟蹤方法

在審

• 申請號: 202111391364.3
• 申請日: 2021-11-23
• 公開（公告）號: CN114092519A
• 公開（公告）日: 2022-02-25
• 發明（設計）人: 曾澤華;羅會蘭
• 申請（專利權）人: 江西理工大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06V10/74;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 溫州知遠專利代理事務所(特殊普通合伙) 33262
• 代理人: 湯時達

1.一種使用卷積神經網絡和雙向匹配算法的視頻多目標跟蹤方法，包括以下步驟：

步驟(1)：使用當前幀和過去幀兩幀圖像數據以及過去幀通過卷積網絡提取到的中心點熱值圖信息，將這三種信息送入DLA-Net即深層聚合卷積神經網絡，進行特征提取，獲得不同尺度的高質量特征圖；

步驟(2)：在步驟(1)的不同尺度的特征圖基礎上，使用注意力上采樣模塊進行層層融合上采樣，獲得原圖4倍下采樣大小的特征圖信息；

步驟(3)：在步驟(2)的特征圖信息基礎上，使用多個卷積分支得到多種預測信息，分別是目標的中心點熱值圖、中心點的浮點偏移量、目標邊界框信息、目標的雙向運動信息；

步驟(4)：通過解碼將卷積網絡提取到的信息送入多目標跟蹤匹配算法中進行匹配，將中心點熱值圖通過池化操作和非極大抑制獲得目標中心點掩碼圖，通過該掩碼圖對中心點的浮點偏移量、目標的邊界框信息、目標的雙向運動信息進行篩選，使每一個目標中心點能夠生成唯一的目標邊界框、目標類別、目標雙向運動信息，并通過將掩碼的二維整數坐標與浮點偏移量相加，得到目標的最終的中心點位置；

步驟(5)：在視頻的第一幀，算法會根據步驟(4)的信息初始化所有目標并賦予其ID信息，在視頻第二幀之后，算法通過將網絡預測的當前幀目標中心點和指向過去幀方向的反向位移預測相加，就得到了網絡對目標在過去幀位置的預測，通過比對目標在過去幀的真實位置和預測位置的距離差異，即可將距離最近目標匹配起來，為當前幀目標賦予對應的ID信息，從而完成初次匹配；

步驟(6)：對步驟(5)中匹配失敗的目標，可以將其分為當前幀丟失的目標和當前幀新出現的目標：對于當前幀丟失的目標，算法將其置于擱淺區中暫存；對于新出現的目標，算法將其與擱淺區內已存在的目標進行基于距離的匹配，當匹配成功時，該目標被認為是從遮擋中恢復，將繼承擱淺區內對應目標的ID信息，當匹配失敗時，則認為該目標是全新出現的，將為其賦予全新ID，這就完成了二次匹配，算法的匹配過程結束；

步驟(7)：為了使被短時遮擋的目標在重新恢復時能夠保持ID一致，算法設計了擱淺區，擱淺區內目標將跟隨視頻的輸入持續移動，來模擬目標在遮擋物后的移動過程，該移動向量是其發生丟失前網絡預測到的指向未來幀的位移預測，當二次匹配結束后，擱淺區內的所有目標將進行移動，對長期處于擱淺內的目標將進行丟棄；

步驟(8)：通過步驟(1)至步驟(7)即可為視頻中檢測到的所有目標分配ID信息，通過聯系相同ID的目標，即可生成該目標在視頻中的運動軌跡，對于實時視頻，該算法能動態生成目標的ID標記，從而完成多目標跟蹤。