[發明專利]基于多目標跟蹤的行為識別輕量化方法、系統、設備

有效

• 申請號: 202110447553.1
• 申請日: 2021-04-25
• 公開（公告）號: CN113158909B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 張兆翔;宋純鋒;吳晗
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/82;G06V20/40;G06N3/0464;G06N3/084
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明屬于計算機視覺領域，具體涉及一種基于多目標跟蹤的行為識別輕量化方法、系統、設備，旨在解決現有行為識別方法無法直接識別多目標視頻數據中每個個體行為的問題。本發明方法包括：獲取輸入視頻中t時刻的圖像幀，作為輸入圖像；獲取多個檢測目標分別對應的檢測框作為目標檢測框；并提取各目標檢測框的特征，作為第一特征；利用卡爾曼濾波算法預測t?1時刻各追蹤到的目標在t時刻圖像幀中對應的檢測框，并提取各檢測框的特征，作為第二特征；將第一特征、第二特征進行匹配，獲得視頻中每個目標的跟蹤序列；對各目標的跟蹤序列，通過預構建的行為分類模型獲取其對應的行為分類結果。本發明實現了多目標視頻數據中每個個體行為的識別。

技術領域

本發明屬于計算機視覺領域，具體涉及一種基于多目標跟蹤的行為識別輕量化方法、系統、設備。

背景技術

行為識別因其在視頻監控、虛擬現實、人機智能交互等領域的廣泛應用而成為計算機視覺領域的研究熱點，目前主流的行為識別都是基于單目標的視頻數據，很少有基于多目標視頻數據的行為識別。然而在實際生活中，視頻數據中只包含單目標是極少數的情況，而且，涉及多個目標的行為識別，即在每一幀的視頻數據中需要調用多次行為識別算法，這就對涉及模型的規模提出了更高的要求。基于此，本發明在多目標跟蹤技術的基礎上引入行為識別方法，提出了一種基于多目標跟蹤的行為識別輕量化方法。

發明內容

為了解決現有技術中的上述問題，即為了解決現有行為識別方法無法直接識別多目標視頻數據中每個個體行為的問題，本發明提出了一種基于多目標跟蹤的行為識別輕量化方法，該方法包括：

S10，獲取輸入視頻中t時刻的圖像幀，作為輸入圖像；

S20，通過目標檢測算法對所述輸入圖像中進行目標檢測，獲取多個檢測目標分別對應的檢測框作為目標檢測框；并提取各目標檢測框的特征，作為第一特征；

S30，利用卡爾曼濾波算法預測t-1時刻各追蹤到的目標在時刻圖像幀中對應的檢測框，并提取各檢測框的特征，作為第二特征；通過特征匹配算法對各第一特征、第二特征進行匹配，獲得視頻中每個目標的跟蹤序列；

S40，對各目標的跟蹤序列，通過預構建的行為分類模型獲取其對應的行為分類結果；

其中，所述行為分類模型基于2D卷積神經網絡構建，包括三個卷積池化層和兩個全連接層。

在一些優選的實施方式中，所述行為分類模型，其訓練方法為：

A10，按時序信息獲取視頻數據集中視頻數據的各幀圖像，構建幀圖像序列；

A20，通過目標檢測算法獲取所述幀圖像序列各幀圖像中每個目標的檢測框作為目標檢測框；并提取各目標檢測框的特征，作為第一特征；

A30，利用卡爾曼濾波算法預測上一幀中各追蹤到的目標在當前幀中的檢測框，并提取各檢測框的特征，作為第二特征；通過特征匹配算法各第一特征、第二特征進行匹配，獲得視頻中每個目標的跟蹤序列；

A40，對所述跟蹤序列進行剪裁得到以各目標為中心的連續幀；

A50，對每個目標跟蹤序列進行行為連續幀的挑選，按照行為類型對其進行分類，進而得到行為真值標簽下不同目標的連續幀序列；

A60，對所述連續幀序列，隨機獲取連續N幀，并進行預處理，將預處理后的幀圖像進行圖像時序拼接操作；

A70，將拼接后的幀圖像輸入預構建的行為分類模型，獲取行為分類結果；

A80，基于行為分類預測結果、行為分類真值標簽，計算損失值，并更新行為分類模型的模型參數；

A90，循環執行步驟A10-A80，直至得到訓練好的行為分類模型。