[發明專利]一種視頻多目標跟蹤方法及裝置

有效

• 申請號: 201710535752.1
• 申請日: 2017-07-04
• 公開（公告）號: CN107516321B
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 李良群;張富有;湛西羊;謝維信;劉宗香
• 申請（專利權）人: 深圳大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/254;G06T7/269;G06K9/62;G06N5/04
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 李慶波

1.一種視頻多目標跟蹤方法，其特征在于，包括：

對當前視頻幀進行運動檢測，檢測得到的可能運動對象作為觀測結果；

對所述觀測結果和目標的預測結果進行數據關聯，其中所述預測結果是至少利用前一視頻幀的目標的軌跡進行預測而得到的；

對未被關聯的所述觀測結果和所述預測結果進行軌跡管理，所述軌跡管理包括利用未被關聯的所述預測結果獲取終結軌跡，利用未被關聯的所述觀測結果獲取新軌跡；

對所述終結軌跡和所述新軌跡進行軌跡關聯；

對被關聯的所述終結軌跡和所述新軌跡進行軌跡融合；

刪除符合預設條件的未被關聯的所述終結軌跡；

其中，所述方法還包括以下至少一個方面：

(1)所述對所述觀測結果和目標的預測結果進行數據關聯包括：

利用所述觀測結果和所述預測結果獲取目標的預測誤差和預測誤差變化量；

利用所述預測誤差和所述預測誤差變化量進行模糊推理，獲取所述觀測結果和所述預測結果的關聯概率；

以所述關聯概率為元素建立關聯概率矩陣；

從所述關聯概率矩陣中選取未被標記的所述關聯概率最大值的元素，標記所述關聯概率最大值的元素所在行和列的所有元素，并將所述關聯概率最大值的元素對應的所述觀測結果和所述預測結果關聯；

循環前一步驟直至不存在未被標記的行/列后，將未被關聯的所述觀測結果記錄到未關聯觀測集，將未被關聯的所述預測結果記錄到未關聯預測集；

(2)所述對所述終結軌跡和所述新軌跡進行軌跡關聯包括：

計算所述終結軌跡和所述新軌跡的模糊相似度；

判斷所述終結軌跡和所述新軌跡的最大模糊相似度是否不小于可信度閾值；

若不小于，則關聯所述相似度最大的所述終結軌跡和所述新軌跡；

判斷所述終結軌跡和所述新軌跡是否連續預設幀數關聯；

若是，則執行所述對被關聯的所述終結軌跡和所述新軌跡進行軌跡融合的步驟；

其中，所述計算所述終結軌跡和所述新軌跡的模糊相似度包括：

利用如下公式(14)計算所述終結軌跡和所述新軌跡的運動特征相似度：

其中，f_M(i,j)為第k幀終結軌跡i和新軌跡j的運動特征相似度，為第k幀終結軌跡i和新軌跡j的運動模型預測誤差，為運動特征的方差；

利用如下公式(15)計算所述終結軌跡和所述新軌跡的形狀特征相似度：

其中，f_S(i,j)為第k幀終結軌跡i和新軌跡j的形狀特征相似度，為第k幀終結軌跡i和新軌跡j的形狀模型預測誤差，為形狀特征的方差；

利用如下公式(16)計算所述終結軌跡和所述新軌跡的顏色特征相似度：

其中，為第k幀終結軌跡i和新軌跡j的顏色特征相似度，為第k幀終結軌跡i和新軌跡j的顏色特征預測誤差，為顏色特征的方差；

利用如下公式(17)計算所述終結軌跡和所述新軌跡的局部二進制模式特征相似度：

其中，為第k幀終結軌跡i和新軌跡j的局部二進制模式特征相似度，為第k幀終結軌跡i和新軌跡j的局部二進制模式特征預測誤差，為局部二進制模式特征的方差；

利用如下公式(18)計算所述終結軌跡和所述新軌跡的速度特征相似度：

其中，f_V(i,j)為第k幀終結軌跡i和新軌跡j的速度特征相似度，x_i和y_i分別為第k幀終結軌跡i的x坐標和y坐標，x_j和y_j分別為第k幀新軌跡j的x坐標和y坐標，和分別為第k幀終結軌跡i的x方向和y方向的速度，為速度特征的方差；

利用如下公式(19)計算所述終結軌跡和所述新軌跡的模糊相似度：

其中，∧為取小操作，∨為取大操作，μ_ij＝S_k(Λ_k(i,j))為第k幀終結軌跡i和新軌跡j的模糊相似度，為第k幀終結軌跡i和新軌跡j各特征的平均相似度，Λ_k(i,j)為相似度矢量，Λ_k(i,j)定義如下：

其中，分別為第k幀終結軌跡i和新軌跡j的運動、形狀、顏色、局部二進制模式和速度特征的平均相似度；

(3)所述利用未被關聯的所述預測結果獲取終結軌跡包括：

對未被關聯的所述預測結果進行預測，并繼續與下一視頻幀的觀測結果進行關聯；

判斷未被關聯的所述預測結果連續未被關聯的幀數是否大于第一閾值；

若大于所述第一閾值，則未被關聯的所述預測結果對應目標的軌跡為所述終結軌跡；

所述利用未被關聯的所述觀測結果獲取新軌跡包括：

以未被關聯的所述觀測結果為起點進行預測，并繼續與下一視頻幀的觀測結果進行關聯；

判斷未被關聯的所述觀測結果連續被關聯的幀數是否不小于第二閾值；

若不小于所述第二閾值，則未被關聯的所述觀測結果對應目標的軌跡為所述新軌跡。