[發(fā)明專利]基于RGB-D圖像的人體跟蹤方法及裝置

有效

• 申請?zhí)枺?/td>: 202010573284.9
• 申請日: 2020-06-22
• 公開（公告）號: CN111709974B
• 公開（公告）日: 2022-08-02
• 發(fā)明（設計）人: 蔡忠強;王文光;劉江
• 申請（專利權）人: 蘇寧云計算有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/277;G06T7/292
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 盛安平

1.一種基于RGB-D圖像的人體跟蹤方法，其特征在于，包括：

將監(jiān)控區(qū)域按照行進路線依次劃分為目標外區(qū)域、注冊區(qū)域和目標內區(qū)域，并利用分布的多個深度攝像頭俯拍實時采集深度圖像；

分別檢測各深度圖像中行人的人體框、人頭框及所處區(qū)域位置，對深度圖像中同一行人的人體框和人頭框互做綁定；

將每個行人軌跡的3D重心點預測位置與各深度圖像對應人頭框的3D重心點實際位置做跟蹤匹配，根據(jù)跟蹤匹配結果更新每個行人軌跡的軌跡跟蹤狀態(tài)，更新的狀態(tài)包括新建狀態(tài)、正常狀態(tài)、丟失狀態(tài)和刪除狀態(tài)；

基于各深度圖像中3D重心點所處區(qū)域位置更新每個行人軌跡的軌跡區(qū)域狀態(tài)，更新的狀態(tài)包括初始狀態(tài)、進入狀態(tài)、注冊狀態(tài)和離開狀態(tài)；

當任一行人軌跡在連續(xù)x幀深度圖像中對應的軌跡跟蹤狀態(tài)均為丟失狀態(tài)且軌跡區(qū)域狀態(tài)為注冊狀態(tài)或進入狀態(tài)時，采用ReID方式匹配找回丟失的行人軌跡并對應更新，否則根據(jù)深度圖像中跟蹤匹配到的人頭框的3D重心點位置坐標對應更新行人軌跡，其中x＞0，且x為整數(shù)。

2.根據(jù)權利要求1所述的方法，其特征在于，分別檢測各深度圖像中行人的人體框、人頭框及所處區(qū)域位置，對深度圖像中同一行人的人體框和人頭框互做綁定的方法包括：

輪詢當前幀對應的各深度圖像，采用RGB-D目標檢測方法獲取各深度圖像中行人的人體框、人頭框及行人所處的區(qū)域位置；

輪詢各深度圖像中出現(xiàn)的人體框面積和人頭框面積，遍歷每一對人體框和人頭框的包含度；

基于每個深度圖像對應的包含度采用二分圖最大匹配算法篩選出每個深度圖像中屬于同一行人的人體框和人頭框互做綁定。

3.根據(jù)權利要求2所述的方法，其特征在于，基于每個深度圖像對應的包含度采用二分圖最大匹配算法篩選出每個深度圖像中屬于同一行人的人體框和人頭框互做綁定的方法包括：

根據(jù)各深度圖像對應的包含度大小，利用二分圖最大匹配算法篩選出每個深度圖像中的人體框和人頭框做初始配對；

將各深度圖像對應初始配對中的包含度分別與重合度閾值比較，將包含度大于或等于重合度閾值的初始配對篩選出來做綁定確認，將包含度小于重合度閾值的初始配對篩選出來做綁定解除。

4.根據(jù)權利要求1所述的方法，其特征在于，計算行人軌跡3D重心點預測位置的方法包括：

將每個深度圖像進行三維坐標轉換，并計算深度圖像中人頭框的3D重心點；

對行人軌跡3D重心點的空間位置進行多維建模，所述模型的維度向量包括(x，y，z，h，V_x，V_y，V_z)，其中，x，y，z對應表示3D重心點的三維坐標，V_x，V_y，V_z對應表示3D重心點在對應維度坐標方向上的運動速度，h表示3D重心點所屬行人的身高；

基于行人軌跡3D重心點當前的x軸坐標、y軸坐標、z軸坐標及對應在x軸方向上的運動速度V_x、y軸方向上的運動速度V_y、z軸方向上的運動速度V_z，分別計算當前行人軌跡3D重心點在下一幀深度圖像中所處x軸方向上的預測位置、所處y軸方向上的預測位置以及所處z軸方向上的預測位置。