[發(fā)明專利]一種基于深度學(xué)習(xí)的視頻接力跟蹤方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110448773.6
• 申請(qǐng)日: 2021-04-25
• 公開(kāi)（公告）號(hào): CN113052876B
• 公開(kāi)（公告）日: 2022-09-02
• 發(fā)明（設(shè)計(jì)）人: 洪洋;張明;任廣鑫;趙曼;張泉;呂要要;劉海峰;季坤;吳迪;甄超;王坤;王劉芳;鄭浩
• 申請(qǐng)（專利權(quán)）人: 合肥中科類腦智能技術(shù)有限公司;國(guó)網(wǎng)安徽省電力有限公司
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T7/277
• 代理公司: 合肥昊晟德專利代理事務(wù)所(普通合伙) 34153
• 代理人: 何梓秋

1.一種基于深度學(xué)習(xí)的視頻接力跟蹤方法，其特征在于，包括以下步驟：

S1：獲得目標(biāo)位置和目標(biāo)深度特征

每隔n個(gè)圖像幀，輸入視頻流經(jīng)過(guò)目標(biāo)檢測(cè)網(wǎng)絡(luò)和特征提取網(wǎng)絡(luò)分別獲得目標(biāo)位置和目標(biāo)深度特征；

S2：進(jìn)行IOU匹配

預(yù)測(cè)目標(biāo)下一次可能的位置，并對(duì)檢測(cè)結(jié)果和跟蹤結(jié)果做IOU匹配；

S3：進(jìn)行特征相似性度量

判斷IoU是否大于預(yù)設(shè)閾值δ，如果大于預(yù)設(shè)閾值δ，則表示跟蹤成功；如果小于預(yù)設(shè)閾值δ，則表示跟蹤失敗，進(jìn)而計(jì)算當(dāng)前跟蹤失敗目標(biāo)與相鄰所有相機(jī)目標(biāo)做特征相似性度量；

S4：目標(biāo)接力跟蹤

計(jì)算跟蹤失敗目標(biāo)與相鄰所有相機(jī)中已存儲(chǔ)的目標(biāo)特征相似度，判斷其中特征相似度最大值是否大于預(yù)設(shè)閾值γ，如果相似度大于預(yù)設(shè)閾值γ則進(jìn)行相鄰相機(jī)目標(biāo)接力跟蹤，將跟蹤失敗目標(biāo)與相鄰相機(jī)對(duì)應(yīng)符合相似度預(yù)設(shè)閾值γ的目標(biāo)關(guān)聯(lián)；如果相似度小于預(yù)設(shè)閾值γ則判斷當(dāng)前跟蹤失敗目標(biāo)為在所有相機(jī)中從未出現(xiàn)的新目標(biāo)；

所述步驟S1中的具體過(guò)程如下：

S11：假設(shè)當(dāng)前時(shí)刻為t，從視頻流讀取圖像幀I_t，將I_t輸入目標(biāo)檢測(cè)網(wǎng)絡(luò)獲得L個(gè)檢測(cè)結(jié)果，檢測(cè)結(jié)果在圖像I_t中的矩形框坐標(biāo)位置為其中i∈[0,L-1]，表示矩形框的左上角，表示矩形框的右下角；

S12：將檢測(cè)結(jié)果根據(jù)坐標(biāo)位置從圖像I_t截取出來(lái)送入特征提取網(wǎng)絡(luò)獲得每個(gè)目標(biāo)對(duì)應(yīng)的深度特征f_i^t；

所述步驟S2的具體過(guò)程如下：

S21：在跟蹤預(yù)測(cè)過(guò)程采用卡爾曼濾波算法預(yù)測(cè)圖像幀I_t中檢測(cè)目標(biāo)在t+1時(shí)刻在圖像I_t+1中可能的坐標(biāo)位置，得到跟蹤結(jié)果

S22：假設(shè)t+1時(shí)刻，將圖像I_t+1輸入目標(biāo)檢測(cè)網(wǎng)絡(luò)獲得M個(gè)檢測(cè)結(jié)果其中j∈[1,M]；

S23：對(duì)t+1時(shí)刻檢測(cè)結(jié)果和t時(shí)刻預(yù)測(cè)結(jié)果做IoU匹配；

在所述步驟S3中，判斷IoU是否大于預(yù)設(shè)閾值δ，如果大于預(yù)設(shè)閾值δ，表示t+1時(shí)刻的檢測(cè)結(jié)果與t時(shí)刻的檢測(cè)結(jié)果為同一個(gè)目標(biāo)，跟蹤成功；如果小于預(yù)設(shè)閾值δ，表示t+1時(shí)刻的檢測(cè)結(jié)果不屬于t時(shí)刻的檢測(cè)結(jié)果，跟蹤失敗；

跟蹤失敗的原因?yàn)槟繕?biāo)從其他相機(jī)觀測(cè)區(qū)域進(jìn)入當(dāng)前相機(jī)區(qū)域，或者目標(biāo)是一個(gè)新目標(biāo)，之前未出現(xiàn)在任何相機(jī)觀測(cè)區(qū)域；

在所述步驟S4中，t+1時(shí)刻跟蹤失敗目標(biāo)的特征向量為相鄰所有相機(jī)中保存的目標(biāo)深度特征f_k，其中k∈[0，N-1]，N表示相鄰所有相機(jī)保存的目標(biāo)深度特征，相似度d用特征向量的歐式距離表示為

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的視頻接力跟蹤方法，其特征在于：在所述步驟S11中，目標(biāo)檢測(cè)網(wǎng)絡(luò)是基于卷積神經(jīng)網(wǎng)絡(luò)的單階段無(wú)錨框目標(biāo)檢測(cè)網(wǎng)絡(luò)NanoDet訓(xùn)練而成的。

3.根據(jù)權(quán)利要求2所述的一種基于深度學(xué)習(xí)的視頻接力跟蹤方法，其特征在于：在所述步驟S12中，特征提取網(wǎng)絡(luò)是基于卷積神經(jīng)網(wǎng)絡(luò)的行人重識(shí)別網(wǎng)絡(luò)SCPNet訓(xùn)練而成的。

4.一種基于深度學(xué)習(xí)的視頻接力跟蹤系統(tǒng)，其特征在于，采用權(quán)利要求1～3任一項(xiàng)所述的視頻接力跟蹤方法對(duì)監(jiān)控視頻中的目標(biāo)進(jìn)行跟蹤，包括：

位置和特征獲取模塊，用于每隔n個(gè)圖像幀，輸入視頻流經(jīng)過(guò)目標(biāo)檢測(cè)網(wǎng)絡(luò)和特征提取網(wǎng)絡(luò)分別獲得目標(biāo)位置和目標(biāo)深度特征；

IOU匹配模塊，用于預(yù)測(cè)目標(biāo)下一次可能的位置，并對(duì)檢測(cè)結(jié)果和跟蹤結(jié)果做IOU匹配；

相似性度量模塊，用于判斷IoU是否大于預(yù)設(shè)閾值δ，如果大于預(yù)設(shè)閾值δ，則表示跟蹤成功；如果小于預(yù)設(shè)閾值δ，則表示跟蹤失敗，進(jìn)而計(jì)算當(dāng)前跟蹤失敗目標(biāo)與相鄰所有相機(jī)目標(biāo)做特征相似性度量；

接力跟蹤模塊，用于計(jì)算跟蹤失敗目標(biāo)與相鄰所有相機(jī)中已存儲(chǔ)的目標(biāo)特征相似度，判斷其中特征相似度最大值是否大于預(yù)設(shè)閾值γ，如果相似度大于預(yù)設(shè)閾值γ則進(jìn)行相鄰相機(jī)目標(biāo)接力跟蹤，將跟蹤失敗目標(biāo)與相鄰相機(jī)對(duì)應(yīng)符合相似度預(yù)設(shè)閾值γ的目標(biāo)關(guān)聯(lián)；如果相似度小于預(yù)設(shè)閾值γ則判斷當(dāng)前跟蹤失敗目標(biāo)為在所有相機(jī)中從未出現(xiàn)的新目標(biāo)；

中央處理模塊，用于向其他模塊發(fā)出指令，完成相關(guān)動(dòng)作；

所述位置和特征獲取模塊、IOU匹配模塊、相似性度量模塊、接力跟蹤模塊均與所述中央處理模塊電連接。