[發明專利]一種基于視頻多目標跟蹤的足球球員跑動距離統計方法

有效

• 申請號: 201910071272.3
• 申請日: 2019-01-25
• 公開（公告）號: CN109903312B
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 毋立芳;付亨;簡萌;徐得中;李則昱;盧哲
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/277;G06T5/00
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于視頻多目標跟蹤的足球球員跑動距離統計方法，

首先將順序輸入的足球比賽視頻圖像進行預處理，鎖定球員目標檢測的感興趣區域；然后將鎖定區域的圖像送入目標檢測模塊，得到區域內球員的目標檢測框；之后將每一幀的目標檢測結果送入多目標跟蹤模塊，與卡爾曼跟蹤器關聯匹配，依據指派結果更新相應跟蹤器的運動狀態參數，隨著視頻圖像的迭代輸出球員跟蹤軌跡；接著通過人工修正，匯總每一個球員在完整視頻時間內的所有跟蹤軌跡，獲得完整的球員位置跟蹤軌跡；最后將跟蹤軌跡送入數據后處理模塊，包括軌跡平滑去噪、差值補齊、頂視圖映射變換、跑動距離計算步驟，輸出最終需要的跑動距離統計結果；

其特征在于，多目標跟蹤具體如下：

3.1多目標跟蹤流程

多目標跟蹤邏輯中將每一幀的目標檢測框作為輸入，首先將每一個檢測框和已有的卡爾曼濾波跟蹤器進行相似度關聯匹配，根據匹配結果將檢測框和跟蹤框分成三類：1.成功匹配的檢測框和跟蹤框、2.未匹配上的檢測框、3.未匹配上的跟蹤框；然后分別對分類結果進行如下對應操作，以保證跟蹤的正常運行；

1).成功匹配的檢測框和跟蹤框：對于成功匹配的檢測框和跟蹤框，以檢測框的坐標信息去更新該框所指派的卡爾曼濾波跟蹤器的運動狀態信息，用于下一幀的跟蹤框預測；同時，累計該跟蹤器的成功匹配次數Hits，以及把跟蹤器的距離上一次成功匹配時間Age置零，最后判斷該跟蹤器的成功匹配次數Hits，當成功匹配次數大于等于3判定該跟蹤器的狀態為“確定”，否則設置為“暫定”；

2).未匹配上的檢測框：

將未匹配上的檢測框與跟蹤框計算交并比IOU，當交并比大于0.7時，認為該情況下的檢測框為誤檢框，以此達到過濾誤檢的效果；對于余下的未匹配上的檢測框，則認為代表新目標出現的情況，為其創建一個基于卡爾曼濾波運動模型的跟蹤器，并將該跟蹤器的成功匹配次數Hits初始化為0，予以其新的目標id值，并且跟蹤器狀態設置為“暫定”；對于開始跟蹤后的第一幀，此時沒有初始化任何跟蹤器，因此第一幀中每一個輸入的目標檢測框都會被關聯匹配為未匹配上的檢測框；

3).未匹配上的跟蹤框：對于未匹配上的跟蹤框中存在三種可能，一種情況是跟蹤目標消失，一種情況是跟蹤目標發生遮擋，最后一種是由于錯誤的檢測而創建的跟蹤器；因此首先要過濾錯誤的跟蹤器，通過跟蹤器的狀態分類為“確定”的跟蹤框或者“暫定”的跟蹤框，如果跟蹤框的狀態為“暫定”，則認為是由于錯誤的檢測框而創建的跟蹤器，如果跟蹤框的狀態為“確定”，則認為是另外兩種正常的情況；對于目標消失的情況應去除該跟蹤框，而對于目標遮擋的情況，當目標脫離遮擋時檢測框會再次出現，此時應保證跟蹤框保持原來的運動狀態繼續預測，當檢測框再次出現時完成原跟蹤框和檢測框的匹配；因此使用距離上一次成功匹配的時間Age的大小來決定保留或刪除，Age達到預設的最大值時刪除該跟蹤器，否則允許繼續保留預測；

分別完成上述三種類別的匹配結果及處理后，返回當前幀中所有狀態為“確定”的跟蹤框，作為當前幀的跟蹤結果；

3.2關聯匹配流程

首先把當前幀中所有的檢測框和卡爾曼運動模型的跟蹤框作為輸入，對二者進行關聯匹配；首先根據跟蹤框的各自狀態，優先匹配確定狀態的跟蹤框，最后匹配暫定狀態的跟蹤框；對于確定狀態的跟蹤框，將其距離上一次成功匹配的時間的大小作為一種置信度來判斷其匹配關聯時的優先級；距離上一次成功匹配的時間越小則認為其置信度越高，越應該優先匹配；距離上一次成功匹配的時間越大則認為其置信度越低，越應該滯后匹配，每一次匹配根據度量方式計算檢測框和跟蹤框的相似度，將最相似的兩者進行唯一指派，輸出匹配對，并將該次匹配中未匹配上的檢測、跟蹤框輸入到下一優先級進行繼續關聯匹配，根據置信度的優先級以此類推，完成檢測框和跟蹤框的指派順序問題；最終目標是將其分為：成功匹配對、未匹配的檢測框和未匹配的跟蹤框三種輸出結果；

3.3度量相似度流程

首先將待匹配的所有檢測框和跟蹤框作為輸入，在該應用場景下，在空間距離層面上考慮兩者的相似度計算，因此以兩種框的上邊中點間的二維歐氏距離作為相似度度量方式；

通過上述度量方式計算每一個跟蹤框和每一檢測框之間的相似度，形成以跟蹤框個數為行數、以檢測框個數為列數的相似度開銷矩陣；然后過濾開銷矩陣中距離大于距離閾值的匹配對，將其相似度設置為無窮大，從而避免出現明顯錯誤的最小開銷匹配對，過濾掉極端情況下的錯誤指派，輸出最終匹配結果。