[發明專利]端對端的多行人姿態跟蹤方法、裝置及電子設備

有效

• 申請號: 202111328115.X
• 申請日: 2021-11-10
• 公開（公告）號: CN113762231B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 阮威健;何耀彬;史周安
• 申請（專利權）人: 中電科新型智慧城市研究院有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/52;G06V10/74;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 梁立耀

本申請公開了一種端對端的多行人姿態跟蹤方法、裝置、電子設備及介質，用于提高姿態跟蹤準確率。方法包括：通過行人檢測和姿態估計，獲得視頻各幀的目標檢測框；針對每幀均執行以下過程：利用特征提取網絡，獲得將當前幀和前一幀中各目標檢測框的層級卷積特征；基于層級卷積特征，利用基于通道注意力機制的網絡獲得最終特征，然后基于包括最終特征的特征矩陣和相似度估計網絡獲得相似度矩陣，接著為增廣行和增廣列進行賦值，得到正向相似度矩陣和反向相似度矩陣；并基于正向相似度矩陣和反向相似度矩陣，生成當前幀和前一幀之間的數據關聯矩陣，最后根據數據關聯矩陣，對當前圖像幀各目標檢測框進行身份分配，以獲得當前幀的跟蹤結果。

技術領域

本申請屬于計算機視覺技術領域，尤其涉及一種端對端的多行人姿態跟蹤方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

多目標姿態跟蹤旨在一段連續的視頻中估計出多個人的姿態，并在不同視頻幀中準備地關聯他們的身份，在行為識別、多媒體分析、事件檢測等多個視覺領域具有廣泛的應用。

目前，姿態跟蹤方法通常首先檢測出視頻圖像中的所有行人框，然后再估計出行人框內的人體關鍵點，最后通過構建數據關聯來實現行人框在不同視頻幀之間的身份關聯。

然而，現有的數據關聯方式往往采用特征學習、相似度估計和身份分配三個獨立的步驟來實現，并且，相似度估計和身份分配這兩個步驟常常是采用手工設計的模型，模型泛化能力較低，這樣導致姿態跟蹤過程不能實現有效的數據關聯，姿態跟蹤準確率較低。

發明內容

本申請實施例提供了一種端對端的多行人姿態跟蹤方法、裝置、電子設備及計算機可讀存儲介質，可以解決現有姿態跟蹤準確率較低的問題。

第一方面，本申請實施例提供了一種基于端對端的多行人姿態跟蹤方法，包括：

獲取待檢測視頻，并對待檢測視頻進行行人檢測和姿態估計，獲得待檢測視頻中各圖像幀的目標檢測框，圖像幀包括多個目標檢測框；

針對每個待處理的圖像幀，將圖像對和圖像對中每個圖像幀的目標檢測框輸入至特征提取網絡，獲得特征提取網絡輸出的每個目標檢測框的層級卷積特征，層級卷積特征包括多層卷積特征，圖像對包括待處理的圖像幀和待處理的圖像幀的前一幀；

分別將每個層級卷積特征的每層卷積特征的各個通道特征輸入至基于通道注意力機制的網絡，獲得基于通道注意力機制的網絡輸出的通道特征的基于通道注意力描述的最終特征，每層卷積特征包括多個通道特征；

對圖像對中每個圖像幀的特征矩陣進行處理，得到特征通量，并將特征通量輸入至相似度估計網絡，獲得相似度估計網絡輸出的相似度矩陣，特征矩陣包括基于通道注意力描述的最終特征；

根據相似度矩陣中每一行的峰值旁瓣比，為正向相似度矩陣中的增廣列的元素賦值，以獲得正向相似度矩陣，并根據相似度矩陣中每一列的峰值旁瓣比，為反向相似度矩陣中的增廣行的元素賦值，以獲得反向相似度矩陣；

根據正向相似度矩陣，生成正向預測矩陣，并根據反向相似度矩陣，生成反向預測矩陣；

根據正向預測矩陣和反向預測矩陣，生成待處理的圖像幀和待處理的圖像幀的前一幀之間的數據關聯矩陣；

根據數據關聯矩陣，基于待處理的圖像幀的前一幀各目標檢測框對待處理的圖像幀各目標檢測框進行身份分配，以獲得待處理的圖像幀的跟蹤結果。

由上可見，本申請實施例通過特征提取網絡和基于通道注意力機制的網絡，提取出各個目標檢測框的特征，并在相似度度量時采用相似度估計網絡生成相似度矩陣，并對相似度都矩陣進一步增廣，獲得正向相似度矩陣和反向相似度矩陣，這兩個矩陣可以解決跟蹤過程中“舊目標消失”和“新目標進來”的問題，為當前幀和前一幀之間的目標檢測框提供雙向感知的數據關聯方式，實現了有效的數據關聯，從而提高了姿態跟蹤準確率。