[發明專利]一種利用人頭點定位和關節點信息的單相機多目標跟蹤方法

在審

• 申請號: 202011502590.X
• 申請日: 2020-12-17
• 公開（公告）號: CN112488057A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 周忠;吳威;高松;張鑫
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 鄧治平;顧煒

1.一種利用人頭點定位和關節點信息的單相機多目標跟蹤方法，其特征在于，包括：

步驟S1：構建人頭點定位深度學習網絡模型；

步驟S2：根據人頭點定位深度學習網絡，對視頻幀進行人頭點定位，得到每幀圖像中每個行人頭部的位置，同時，通過目標檢測算法得到行人包圍框，利用人頭點位置優化行人包圍框，得到最終行人目標檢測包圍框結果；

步驟S3：根據行人目標檢測包圍框，提取行人表觀特征和關節點信息；

步驟S4：根據行人的表觀特征和關節點信息，對行人進行軌跡關聯，獲取行人軌跡信息。

2.根據權利要求1所述的利用人頭點定位和關節點信息的單相機多目標跟蹤方法，其特征在于，所述步驟S1：構建人頭點定位深度學習網絡模型，包括：

步驟S11：訓練數據預處理，生成標簽；

步驟S12：構建人頭點定位深度學習網絡模型，所述人頭點定位深度學習網絡模型的輸入為圖片，輸出為人頭點位置坐標。

3.根據權利要求2所述的利用人頭點定位和關節點信息的單相機多目標跟蹤方法，其特征在于，所述步驟S11：訓練數據預處理，生成標簽，包括：

步驟S111：利用數據標注軟件對輸入圖片中人頭點進行標注，得到人頭點坐標；

步驟S112：將所述人頭點坐標轉化為與所述輸入圖片大小相同的坐標圖，并對所述人頭點坐標的區域進行局部擴張，生成人頭點坐標標簽圖；

步驟S113：通過高斯膨脹將所述人頭點坐標標簽圖轉化為密度圖，通過密度圖閾值篩選，生成注意力標簽圖。

4.根據權利要求2所述的利用人頭點定位和關節點信息的單相機多目標跟蹤方法，其特征在于，所述步驟S12，構建人頭點定位深度學習網絡模型，所述人頭點定位深度學習網絡模型的輸入為圖片，輸出為人頭點位置坐標，包括：

步驟S121：利用編碼器解碼器模型，提取所述圖片的特征，將所述圖片特征分為兩個分支，分別通過反卷積還原為與所述圖片尺寸相同的大小，分別得到特征圖1和特征圖2；

步驟S122：將所述特征圖1與步驟S113中所述注意力標簽圖進行二分類交叉熵損失訓練；

步驟S123：將所述特征圖2與步驟S121中所述特征圖1相乘，再與步驟S112的所述人頭點坐標標簽圖進行二分類交叉熵損失訓練，輸出為所述人頭點位置坐標；

步驟S124：重復步驟S121～S123，得到所述人頭點定位深度學習網絡模型。

5.根據權利要求1所述的利用人頭點定位和關節點信息的單相機多目標跟蹤方法，其特征在于，所述步驟S2：根據人頭點定位深度學習網絡，對視頻幀進行人頭點定位，得到每幀圖像中每個行人頭部的位置，同時，通過目標檢測算法得到行人包圍框，利用人頭點位置優化行人包圍框，得到最終行人目標檢測包圍框結果，包括：

步驟S21：根據目標檢測算法，對視頻幀圖片進行行人目標檢測，設置非極大值抑制NMS的篩選閾值，得到初始的行人目標檢測框；

步驟S22：將每張視頻幀圖片輸入步驟S12中的所述人頭點定位深度學習網絡模型，得到人頭點位置坐標；

步驟S23：對所述人頭點位置坐標進行篩選以及合并；

步驟S24：提高包含所述人頭點位置坐標的所述行人目標檢測框的所述置信度閾值，根據Soft NMS算法，對所述行人目標檢測框進行篩選，得到包含行人的有效的所述行人目標檢測框。

6.根據權利要求1所述的利用人頭點定位和關節點信息的單相機多目標跟蹤方法，其特征在于，所述步驟S3：根據行人目標檢測包圍框，提取行人表觀特征和關節點信息，包括：

步驟S31：對所述行人目標檢測包圍框進行表觀特征提取；

步驟S32：通過深度學習網絡對行人檢測包圍框進行關節點檢測，得到各個關節點的位置和置信度值，并篩選得出與所述行人目標檢測框相關的關節點組，得到所述行人關節點信息。

7.根據權利要求1所述的利用人頭點定位和關節點信息的單相機多目標跟蹤方法，其特征在于，所述步驟S4：根據行人的表觀特征和關節點信息，對行人進行軌跡關聯，包括：

步驟S41：利用步驟S2和步驟S3，對于當前幀進行檢測，分別得到所述行人目標檢測包圍框、表觀特征和行人關節點信息；

步驟S42：對前一幀的所述行人目標檢測框進行卡爾曼濾波，得到其在當前幀的預測結果；

步驟S43：將前一幀的所述預測結果作為當前幀感興趣區域，計算該預測結果的分類置信度；

步驟S44：計算相鄰兩幀關節點之間的相似度，并與所述檢測的分類置信度加權作為聯合相似度；

步驟S45：如果所述聯合相似度大于等于預設的相似度閾值，則用上一幀的預測結果作為當前幀的檢測的結果，利用NMS算法進行軌跡關聯和重疊框的篩除；

步驟S46：對于所述聯合相似度小于預設的相似度閾值，則將當前幀的所述行人目標檢測框中所有表觀特征進行相似度計算，通過匈牙利算法進行軌跡關聯。