[發明專利]一種融合多目標跟蹤線索的視頻行人檢測方法

有效

• 申請號: 202010185556.8
• 申請日: 2020-03-16
• 公開（公告）號: CN111460926B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 韓守東;劉婉瑩;黃飄;鄭麗君
• 申請（專利權）人: 華中科技大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/10;G06V10/82;G06N3/04
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智

1.一種融合多目標跟蹤線索的視頻行人檢測方法，其特征在于，該方法包括以下步驟：

S1.基于相同的行人監控視頻，構建第一訓練集和第二訓練集，其中，第一訓練樣本為連續M幀圖像序列中的行人，對應標簽為行人跟蹤框的位置信息、行人ID和跟蹤框所屬幀ID，第二訓練樣本為單幀圖像的行人，對應標簽為行人檢測框的位置信息；

S2.預訓練行人檢測網絡模型中的特征提取網絡，所述行人檢測網絡模型以Faster R-CNN為基礎，特征提取網絡加入特征金字塔；使用第一訓練集訓練多目標跟蹤模塊；使用第二訓練集訓練行人檢測網絡模型；

S3.待測行人監控視頻以連續M幀圖像序列為單位輸入訓練好的多目標跟蹤模塊，得到跟蹤結果；待測行人監控視頻以單幀圖像為單位輸入訓練好的行人檢測網絡模型，將該幀對應的特征圖、行人檢測網絡模型中的區域建議模塊輸出的建議框和多目標跟蹤模塊輸出的跟蹤框輸入行人檢測網絡模型中的感興趣區域池化層后，再經過分類回歸和非極大值抑制，得到檢測結果；

S4.根據跟蹤結果中跟蹤框與檢測結果中檢測框的運動信息關聯程度和外觀信息關聯程度，為跟蹤軌跡分配行人檢測框，修正檢測結果；

其中，使用兩個指標的線性加權作為最終的度量，使用匈牙利算法進行匹配，選擇檢測框與跟蹤框關聯，如果匹配不到檢測框，則將該跟蹤框加入檢測結果中。

2.如權利要求1所述的檢測方法，其特征在于，改進的特征提取網絡結構如下：ResNet-101的第2卷積塊至第5卷積塊，每個卷積塊的輸出端接卷積核1*1的卷積層，第5卷積塊的輸出經過卷積層后，得到M₅；第K卷積塊的輸出經過卷積層后，與對M_K-1最近鄰上采樣后的結果進行融合，得到M_K，K＝4,3,2，M₅～M₂分別經過卷積核3*3的卷積后，得到特征圖P₅～P₂。

3.如權利要求1或2所述的檢測方法，其特征在于，所述區域建議模塊中錨點框的寬高比設置為0.33、0.5和1。

4.如權利要求1至3任一項的檢測方法，其特征在于，所述相同的行人監控視頻覆蓋不同場景，所述場景條件包括：監控視角、監控設備運動狀態、環境光線和監控設備分辨率。

5.如權利要求1至4任一項的檢測方法，其特征在于，運動信息的關聯程度由馬氏距離來表示：

d₁(i,j)＝(d_j-y_i)^TS_i^-1(d_j-y_i)

其中，d_j表示第j個行人檢測框的位置，y_i表示第i個跟蹤框的位置，S_i是行人檢測結果與平均跟蹤位置之間的協方差矩陣。

6.如權利要求1至5任一項的檢測方法，其特征在于，外觀信息關聯程度采用第i個跟蹤框的最近N個成功關聯的特征集與行人檢測結果中第j個檢測框特征間的最小余弦距離來表示外觀信息的關聯程度。

7.一種計算機可讀存儲介質，其上存儲計算機程序指令，其特征在于，所述計算機程序指令在被處理器執行時實現如權利要求1-6中任一項所述的方法。