[發(fā)明專利]一種基于孿生網(wǎng)絡(luò)和反向傳播的車輛實(shí)時(shí)跟蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010013947.1
• 申請(qǐng)日: 2020-01-07
• 公開（公告）號(hào): CN111242974B
• 公開（公告）日: 2023-04-11
• 發(fā)明（設(shè)計(jì)）人: 李驁;羅雷
• 申請(qǐng)（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T7/62
• 代理公司: 北京同恒源知識(shí)產(chǎn)權(quán)代理有限公司 11275
• 代理人: 趙榮之

1.一種基于孿生網(wǎng)絡(luò)和反向傳播的車輛實(shí)時(shí)跟蹤方法，其特征在于：包括以下步驟：

步驟1：根據(jù)輸入視頻的第一幀圖像，初始化激活軌跡集合，保留軌跡集合和結(jié)束軌跡集合；

步驟2：把第一幀由檢測(cè)器得到的檢測(cè)結(jié)果作為激活軌跡里各目標(biāo)的初始位置；

步驟3：針對(duì)下一幀圖像，利用激活軌跡里的目標(biāo)圖像和當(dāng)前幀的圖像作為單目標(biāo)跟蹤器SOT的輸入，得到預(yù)測(cè)的目標(biāo)位置；

步驟4：求取預(yù)測(cè)目標(biāo)包圍框與檢測(cè)結(jié)果里的候選框之間的重疊面積IOU；

步驟5：選取具有最大IOU的檢測(cè)結(jié)果，如果其與預(yù)測(cè)結(jié)果的IOU大于閾值，則把檢測(cè)結(jié)果當(dāng)作前向位置預(yù)測(cè)輸出，否則把由SOT預(yù)測(cè)得到的結(jié)果當(dāng)作前向位置預(yù)測(cè)的輸出；

步驟6：如果前向位置預(yù)測(cè)結(jié)果與前一幀的IOU小于閾值，則將該目標(biāo)軌跡放入保留軌跡集合，然后開始新一輪的目標(biāo)跟蹤；

步驟7：對(duì)于滿足條件的前向位置預(yù)測(cè)結(jié)果，將前向預(yù)測(cè)得到的下一幀預(yù)測(cè)位置和前一幀圖像當(dāng)作SOT輸入，反向預(yù)測(cè)在目標(biāo)前一幀中的位置；

步驟8：如果反向預(yù)測(cè)驗(yàn)證結(jié)果與前一幀中該目標(biāo)位置滿足閾值條件，則認(rèn)為由前向位置預(yù)測(cè)得到的結(jié)果是準(zhǔn)確的，否則把由SOT前向預(yù)測(cè)的結(jié)果當(dāng)作經(jīng)過反向預(yù)測(cè)驗(yàn)證的結(jié)果；

步驟9：如果反向預(yù)測(cè)驗(yàn)證結(jié)果與前一幀該目標(biāo)的IOU滿足閾值，通過前向預(yù)測(cè)的置信度和檢測(cè)結(jié)果的置信度，對(duì)得到的結(jié)果進(jìn)行加權(quán)融合，將融合后的軌跡加入到激活軌跡集合中；

步驟10：如果反向預(yù)測(cè)驗(yàn)證結(jié)果與前一幀該目標(biāo)的IOU不滿足閾值，加入保留的軌跡集合中；

步驟11：針對(duì)保留軌跡集中的軌跡，如果超過一定幀數(shù)都還沒有匹配的目標(biāo)，則認(rèn)為跟蹤結(jié)束，即將其軌跡加入結(jié)束軌跡集合；

步驟12：對(duì)于保留軌跡集合中剩下的軌跡，重復(fù)前面步驟中的前向位置預(yù)測(cè)，反向預(yù)測(cè)驗(yàn)證和加權(quán)融合；滿足條件則加入激活軌跡集合中，不滿足則加入保留軌跡集合中；

步驟13：若還有下一幀，則返回步驟3，反之跟蹤結(jié)束。

2.根據(jù)權(quán)利要求1所述的基于孿生網(wǎng)絡(luò)和反向傳播的車輛實(shí)時(shí)跟蹤方法，其特征在于：步驟3所述針對(duì)下一幀圖像，利用激活軌跡里的目標(biāo)圖像和當(dāng)前幀的圖像作為單目標(biāo)跟蹤器SOT的輸入，得到預(yù)測(cè)的目標(biāo)位置，包括以下內(nèi)容：

將所要跟蹤的車輛目標(biāo)和當(dāng)前幀的圖像當(dāng)作輸入，經(jīng)過孿生神經(jīng)網(wǎng)絡(luò)提取各自特征，然后再經(jīng)過卷積融合，響應(yīng)最大值點(diǎn)即為預(yù)測(cè)的車輛目標(biāo)下一幀的位置，經(jīng)過線性回歸方法得到車輛目標(biāo)的候選包圍框，然后將預(yù)測(cè)結(jié)果與檢測(cè)器檢測(cè)結(jié)果結(jié)合。

3.根據(jù)權(quán)利要求1所述的基于孿生網(wǎng)絡(luò)和反向傳播的車輛實(shí)時(shí)跟蹤方法，其特征在于：在步驟7中包括以下內(nèi)容：

通過把前向預(yù)測(cè)得到的下一幀預(yù)測(cè)位置和前一幀圖像作為輸入，利用SOT預(yù)測(cè)目標(biāo)在前一幀的位置，如果彼此包圍框間的重合度高于閾值，則認(rèn)為是同一目標(biāo)，反之則不是。

4.根據(jù)權(quán)利要求1所述的基于孿生網(wǎng)絡(luò)和反向傳播的車輛實(shí)時(shí)跟蹤方法，其特征在于：在步驟9中，經(jīng)過前向位置預(yù)測(cè)和反向預(yù)測(cè)驗(yàn)證，得到了一系列候選包圍框，將這些候選框與檢測(cè)器檢測(cè)結(jié)果融合，得到目標(biāo)在下一幀的最終位置；融合過程基于預(yù)測(cè)置信度和檢測(cè)置信度得分，采用加權(quán)平均的方法融合。

5.根據(jù)權(quán)利要求1所述的基于孿生網(wǎng)絡(luò)和反向傳播的車輛實(shí)時(shí)跟蹤方法，其特征在于：對(duì)于在第n幀的第i個(gè)軌跡利用SOT進(jìn)行前向位置預(yù)測(cè)，得到在下一幀的預(yù)測(cè)位置即前向位置預(yù)測(cè)將在第n+1幀中生成新的候選包圍框：

其中，F(xiàn)_n+1表示第n+1幀圖像，然后在第n+1幀中的目標(biāo)i的候選軌跡表示為：

其中是用于前向位置預(yù)測(cè)的二值權(quán)重函數(shù)，表示為：

其中τ_f是檢測(cè)器檢測(cè)結(jié)果的可靠性度量；

對(duì)于第n+1幀中的目標(biāo)i的候選軌跡其在前一幀中的反向預(yù)測(cè)為：

然后，經(jīng)過反向預(yù)測(cè)驗(yàn)證的修正結(jié)果表示為：

其中與式(3)中的相似，表示為：

其中τ_b是表示前向位置預(yù)測(cè)可靠性的參數(shù)；

步驟3：對(duì)于第n+1幀中的每個(gè)目標(biāo)i，其最終軌跡計(jì)算如下：

其中，γ是基于前向位置預(yù)測(cè)置信度和檢測(cè)置信度的加權(quán)合并系數(shù)：

在車輛目標(biāo)被遮擋情況下，軌跡在長度為τ_k幀的時(shí)間段內(nèi)被保留，通過插值來補(bǔ)全缺失的軌跡片段。