[發明專利]基于光流和卡爾曼濾波的多目標追蹤方法、系統、裝置

有效

• 申請號: 201910669359.0
• 申請日: 2019-07-24
• 公開（公告）號: CN110415277B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 陳亞冉;趙冬斌;張啟超
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T7/277
• 分類號: G06T7/277;G06T7/269;G06T7/246;G06N3/04
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于光流和卡爾曼濾波的多目標追蹤方法，其特征在于，該方法包括：

步驟S10，獲取輸入視頻中t時刻的圖像幀，作為輸入圖像；

步驟S20，對所述輸入圖像進行多目標檢測，獲取多個檢測目標分別對應的區域作為檢測目標的目標區域，構建檢測目標的目標區域集合；

步驟S30，若t大于等于2，根據t-1時刻追蹤到的目標，通過預設的追蹤模型分別預測t-1時刻各追蹤到的目標在t時刻圖像幀中對應的目標區域作為預測目標的目標區域，構建預測目標的目標區域集合；若t小于2，將所述檢測目標的目標區域集合作為預測目標的目標區域集合；所述追蹤模型為融合光流網絡的卡爾曼追蹤模型；

其中，預測目標的目標區域集合的構建方法為：

基于Lucas-Kanade光流得到的t時刻的各預測目標的中心點及t-1時刻的各目標追蹤結果中各目標預測區域的長寬比和高度，得到的目標t時刻的各預測目標區域，根據多個預測目標區域構建預測目標的目標區域集合；

步驟S40，對所述檢測目標的目標區域集合、所述預測目標的目標區域集合，通過區域相似度，以及匈牙利算法獲取兩個目標區域集合中目標區域匹配關系；將所述檢測目標的目標區域集合中匹配成功的目標區域作為t時刻追蹤到的目標區域；

其中，“通過區域相似度，以及匈牙利算法獲取兩個目標區域集合中目標區域匹配關系”，其方法為：計算所述檢測目標的目標區域集合、所述預測目標的目標區域集合中目標區域之間的深度相似性度量、距離相似性度量及綜合度量；根據所述綜合度量，采用匈牙利算法獲取兩個目標區域集合中目標區域匹配關系；

所述綜合度量，其計算方法為:

其中，Dist表示綜合度量，d⁽¹⁾表示深度相似性度量，d⁽²⁾表示距離相似性度量，Th₁、Th₂表示d⁽¹⁾、d⁽²⁾對應的度量閾值，λ表示d⁽¹⁾、d⁽²⁾兩種度量所占權重的系數。

2.根據權利要求1所述的基于光流和卡爾曼濾波的多目標追蹤方法，其特征在于，在步驟S40之后還包括所述追蹤模型的參數更新步驟：

基于步驟S30中預測目標的目標區域、步驟S40中追蹤到的目標區域對所述追蹤模型進行參數更新。

3.根據權利要求1所述的基于光流和卡爾曼濾波的多目標追蹤方法，其特征在于，步驟S20中“對所述輸入圖像進行多目標檢測，獲取多個檢測目標分別對應的區域作為檢測目標的目標區域”，其方法為：基于卷積神經網絡提取所述輸入圖像的特征得到多個檢測目標，將多個檢測目標分別對應的區域作為檢測目標的目標區域。

4.根據權利要求1所述的基于光流和卡爾曼濾波的多目標追蹤方法，其特征在于，在步驟S40中還包括所述檢測目標的目標區域集合中出現新增目標區域的處理步驟：

將新增的目標區域初始化并增入待確定追蹤目標的目標區域集合；所述初始化其定義的參數包括ID號、出現次數、間隔次數；

在t+1時刻及之后各時刻對應的圖像幀，若所述待確定追蹤目標的目標區域與檢測目標的目標區域匹配成功，出現次數加1，否則間隔次數加1；

當出現次數等于3且為連續時，將所述待確定追蹤目標的目標區域增入追蹤目標的目標區域集合；當出現次數大于等于1且間隔次數大于等于1時，將出現次數設置為0；當間隔次數大于10時，從待確定追蹤目標的目標區域集合中將其刪除。

5.根據權利要求1所述的基于光流和卡爾曼濾波的多目標追蹤方法，其特征在于，所述追蹤模型其原理為：

其中，A為轉移矩陣，w_t-1為t-1時刻的系統預測誤差，為在t-1時刻追蹤到的第j個目標區域，為t時刻經過卡爾曼濾波預測得到的第個目標區域，j為參數，x為狀態值。