[發明專利]一種骨架檢測跟蹤方法、裝置及電子設備

在審

• 申請號: 202210093617.7
• 申請日: 2022-01-26
• 公開（公告）號: CN114419103A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 廖振生
• 申請（專利權）人: 奧比中光科技集團股份有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 深圳漢世知識產權代理事務所(特殊普通合伙) 44578
• 代理人: 冷仔

本發明公開了一種骨架檢測跟蹤方法及裝置，包括步驟：S10、獲取對齊的二維圖像和深度圖像，將二維圖像輸入預設2D骨架網絡分別獲得人體關鍵點坐標和第一特征圖；S20、將深度圖像輸入預設深度跟蹤特征提取網絡，獲得深度特征圖；S30、根據人體關鍵點坐標，從第一特征圖和深度特征圖中分別獲得2D骨架特征向量序列和深度骨架特征向量序列；S40、利用2D骨架特征向量序列、深度骨架特征向量序列及預設的各對應的骨架序列樣本進行匹配計算，獲取目標2D骨架序列。本發明綜合利用二維圖像和深度信息，將兩者的輸出匹配并進行去除多余骨架及誤檢，提高了效率，且提升了跟蹤系統的魯棒性。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種骨架檢測跟蹤方法、裝置及電子設備。

背景技術

多目標跟蹤任務(MOT)是計算機視覺的基礎任務之一，其核心在于將視頻中不同幀之間的同一物體進行關聯。在多目標跟蹤領域中，tracking-by-detection(檢測跟蹤)是常用的跟蹤方法，該方法首先在每一幀上得到檢測框，然后匹配幀之間的檢測框來完成跟蹤任務。基于Tracking-by-detaction框架的MOT算法是先對視頻序列的每一幀進行目標檢測，根據包圍框對目標進行裁剪，得到圖像中的所有目標。然后，轉化為前后兩幀之間的目標關聯問題，通過IoU、外觀等構建相似度矩陣，并通過匈牙利算法、貪婪算法等方法進行求解。

目前MOT主流方法基本上都是基于tracking-by-detection的思路，即先做2D關鍵點檢測(object detection)，再將檢測結果進行幀之間的關聯(object association)，比如工業界常用的SORT算法或者DeepSORT算法，都是tracking-by-detection的方法。

然而，基于tracking-by-detection的方法其檢測網絡的輸入是灰度圖像和關鍵點坐標，在進行關鍵點檢測時沒有直接對關鍵點的坐標進行回歸，而是對每個關鍵點生成一個heatmap，關鍵點檢測網絡的heatmap用于SORT跟蹤效果不好；而DeepSORT則需要設計一個單獨的小網絡來提取跟蹤所需的特征，降低了效率。而且，目前基于RGB信息的方案對遮擋嚴重、交錯等場景會存在誤檢，而單純基于深度匹配的跟蹤方案因為缺乏顏色信息，跟蹤效果也不理想。

上述背景技術內容的公開僅用于輔助理解本發明的發明構思及技術方案，其并不必然屬于本專利申請的現有技術，在沒有明確的證據表明上述內容在本專利申請的申請日前已經公開的情況下，上述背景技術不應當用于評價本申請的新穎性和創造性。

發明內容

本發明的目的在于提供一種骨架檢測跟蹤方法、裝置及電子設備，以解決上述背景技術問題中的至少一種問題。

為達到上述目的，本發明包括如下步驟：

S10、獲取對齊的二維圖像和深度圖像，將所述二維圖像輸入預設2D骨架網絡分別獲得人體關鍵點坐標和第一特征圖；

S20、將所述深度圖像輸入預設深度跟蹤特征提取網絡，獲得深度特征圖；

S30、根據所述人體關鍵點坐標，從所述第一特征圖和所述深度特征圖中分別獲得2D骨架特征向量序列和深度骨架特征向量序列；

S40、利用所述2D骨架特征向量序列、所述深度骨架特征向量序列及預設的各對應的骨架序列樣本進行匹配計算，獲取目標2D骨架序列。

本發明另一實施例技術方案為：

一種骨架檢測跟蹤裝置，包括：

圖像獲取模塊，用于獲取對齊的二維圖像和深度圖像；

2D骨架網絡模塊，用于根據輸入的所述二維圖像進行關鍵點檢測以及特征提取，分別獲得人體關鍵點坐標和第一特征圖；

深度跟蹤特征網絡模塊，用于根據輸入的所述深度圖像提取深度特征，得到深度特征圖；