[發明專利]一種基于頭肩檢測的多目標跟蹤方法

在審

• 申請號: 202110228197.4
• 申請日: 2021-03-02
• 公開（公告）號: CN113763418A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 吳玉香;魏丙乾
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/62
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 林梅繁

1.一種基于頭肩檢測的多目標跟蹤方法，其特征在于，包括以下步驟：

S1、通過構建頭肩檢測數據集，并且對頭肩數據集進行標注，再基于頭肩數據集對改進的YOLOv3目標檢測網絡進行訓練，獲取頭肩檢測模型，通過頭肩檢測模型實時檢測出視頻圖像中人的頭肩，輸出頭肩的位置信息；

S2、通過建立頭肩外觀特征提取的圖像數據集，并設計外觀特征提取網絡進行訓練，獲取頭肩外觀特征提取模型，通過頭肩外觀特征提取模型提取出用于目標相似度匹配的外觀特征信息；

S3、輸入視頻流，并從輸入的視頻流中獲取一幀圖像數據，利用頭肩檢測模型獲取此視頻幀圖像數據中的頭肩信息；

S4、將頭肩檢測模型獲取的頭肩信息輸入到經過訓練的外觀特征提取模型得到固定維度的頭肩特征信息，將提取出的頭肩特征信息用作外觀信息的描述，且外觀提取模型采用全局特征融合局部特征的策略，利用頭肩位置和外觀特征信息共同組成代價矩陣進行跟蹤相似度匹配；

S5、若是視頻流的第一幀圖像數據則將檢測到的頭肩初始化為頭肩跟蹤數據，若不是第一幀數據則對前一幀的頭肩跟蹤數據進行預測操作，得出當前幀的頭肩跟蹤預測數據，然后借助代價矩陣和當前幀的頭肩檢測數據進行相似度匹配，再通過更新操作得出當前幀的跟蹤結果；

S6、若還有后續數據幀輸入，則重復步驟S3至步驟S5的操作直至輸入數據結束。

2.根據權利要求1所述的頭肩檢測的多目標跟蹤方法，其特征在于，步驟S1中構建頭肩檢測數據集主要是通過收集人體圖像數據，選擇視頻圖像中人的頭肩部位作為檢測和跟蹤對象。

3.根據權利要求1所述的頭肩檢測的多目標跟蹤方法，其特征在于，步驟S1中頭肩數據集對改進的YOLOv3目標檢測網絡進行訓練主要包括以下步驟：

S11、將Darknet53主干網絡中第十一個殘差塊的輸出即大小為52*52的特征圖單獨引出；

S12、做一個降采樣的操作使大小為52*52的特征圖變成大小為26*26的特征圖；

S13、將大小為26*26的特征圖和主干網絡后相同大小的特征圖做特征融合。

4.根據權利要求1所述的頭肩檢測的多目標跟蹤方法，其特征在于，步驟S2中建立頭肩外觀特征提取的圖像數據集，包括：將數據集中同一個人的頭肩圖像作為同一類，每個人都有若干張不同姿態的頭肩數據。

5.根據權利要求1所述的頭肩檢測的多目標跟蹤方法，其特征在于，步驟S3中的頭肩信息包含頭肩預測邊界框位置信息(x,y,w,h)；其中，x,y為預測邊界框的中心坐標，w為預測邊界框的寬度，h為預測邊界框的高度，通過這四個值確定出一個頭肩目標在視頻圖像中的位置。

6.根據權利要求1所述的頭肩檢測的多目標跟蹤方法，其特征在于，步驟S4中局部特征采用水平切塊的方法，將檢測到的頭肩目標從中間水平分成兩塊，每塊獨立作為局部特征來描述頭肩目標，最后和全局特征融合在一起共同作為頭肩目標的外觀特征。

7.根據權利要求1所述的頭肩檢測的多目標跟蹤方法，其特征在于，步驟S4中代價矩陣中的元素代表當前幀頭肩檢測數據和以前幀跟蹤數據之間的差異，并由它們之間的外觀距離和位置距離的加權和組成，其中，外觀距離的衡量是通過最小余弦距離實現，余弦相似度可定義為如下公式：

則最小余弦距離可定義為如下公式：

d₁(α,β)＝min{1-Sim(α,β)}

其中，α和β分別是檢測和跟蹤數據經過外觀特征提取模塊提取后的特征向量，θ是α和β特征向量之間的夾角。