[發(fā)明專利]一種基于長短期預(yù)測模型的多目標(biāo)遮擋跟蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011145648.X
• 申請(qǐng)日: 2020-10-23
• 公開（公告）號(hào): CN112288775B
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 陳軍;孫志宏;梁超;阮威健;陳金;王曉芬;王超
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種基于長短期預(yù)測模型的多目標(biāo)遮擋跟蹤方法，其特征在于，包括如下步驟：

步驟1：使用檢測器獲得每幀檢測結(jié)果，初始化目標(biāo)ID和目標(biāo)軌跡，并初始化第一幀上所有目標(biāo)軌跡；

步驟2：將當(dāng)前幀的檢測結(jié)果與上一幀目標(biāo)軌跡進(jìn)行匹配，得到匹配結(jié)果；

步驟3：對(duì)于匹配成功的目標(biāo)軌跡，用與之匹配成功的當(dāng)前幀的檢測結(jié)果對(duì)其外觀進(jìn)行更新，若存在未匹配成功的目標(biāo)軌跡，則執(zhí)行步驟4，若存在未匹配成功的檢測結(jié)果，則執(zhí)行步驟5；

步驟4：將未匹配成功的目標(biāo)軌跡u_i狀態(tài)設(shè)置為中止，并將其ID加入到消失目標(biāo)集合UT中；

步驟5：若UT為空，則執(zhí)行步驟6，否則執(zhí)行步驟7；

步驟6：目標(biāo)初始化，并將其ID加入到目標(biāo)軌跡集合T，返回步驟2；

步驟7：將未匹配成功的檢測結(jié)果u_j和UT中的目標(biāo)軌跡進(jìn)行重新匹配，若匹配成功，則執(zhí)行步驟8，否則返回步驟6；

步驟8：采用基于長短期預(yù)測模型遮擋處理方法來恢復(fù)丟失目標(biāo)miss_i在遮擋幀期間的位置；

步驟8中采用基于長短期預(yù)測模型遮擋處理方法來恢復(fù)丟失目標(biāo)i在遮擋幀期間的位置，具體過程為：

首先設(shè)計(jì)基于外觀模型的預(yù)測方法對(duì)丟失目標(biāo)在丟失幀期間的位置進(jìn)行預(yù)測，使用如下公式：

其中Q是一個(gè)S×Z的二值矩陣，S表示為目標(biāo)的尺寸大小，Z為幀的水平長度；a,b和f分別為樣本，最大響應(yīng)值和卷積核，其中a_c∈R^Z,b∈R^Z，f∈R^S，C是特征的通道數(shù)，a_c和f_c分別樣本的第c通道圖像和濾波器的第c通道，λ是一個(gè)用來正則化的參數(shù)，[Δτ_z]是一個(gè)循環(huán)操作來生成循環(huán)樣本，||||₂為2范數(shù)；

其次設(shè)計(jì)基于運(yùn)動(dòng)模型的預(yù)測方法，首先確定出被遮擋目標(biāo)與遮擋者關(guān)系對(duì)，計(jì)算目標(biāo)軌跡集合中與目標(biāo)軌跡i₁最大的重疊面積，具體公式如下

其中Λ為目標(biāo)軌跡集合T中與目標(biāo)軌跡i₁最大的重疊度，如果Λ超過閾值th_max，則將對(duì)應(yīng)的目標(biāo)軌跡i₂的狀態(tài)來對(duì)進(jìn)行更新，具體使用如下公式

其中第一個(gè)等式表示目標(biāo)軌跡i₁狀態(tài)預(yù)測過程，第二個(gè)等式表示目標(biāo)軌跡i₁利用目標(biāo)軌跡i₂來對(duì)其狀態(tài)更新；和分別表示對(duì)應(yīng)目標(biāo)軌跡i₁在t和t-1幀時(shí)刻的狀態(tài)，表示目標(biāo)軌跡i₂在t幀時(shí)刻的觀測量，A和H分別為狀態(tài)轉(zhuǎn)移矩陣和觀測矩陣；w_t和v_t分別表示系統(tǒng)過程的噪聲和觀測過程中產(chǎn)生的噪聲；

然后設(shè)計(jì)一種自適應(yīng)加權(quán)融合方法對(duì)基于外觀模型預(yù)測結(jié)果和基于運(yùn)動(dòng)模型預(yù)測結(jié)果進(jìn)行融合，得到短期預(yù)測結(jié)果；具體公式如下：

其中，P_S，P_A和P_B分別為短期預(yù)測結(jié)果，基于外觀模型預(yù)測結(jié)果和基于運(yùn)動(dòng)模型預(yù)測結(jié)果；μ為二值變量，用來指示遮擋類型，如果目標(biāo)發(fā)生背景遮擋，則取值為0；如果目標(biāo)發(fā)生目標(biāo)間遮擋，則取值為1；

然后采用樣條插值法，將目標(biāo)出現(xiàn)的坐標(biāo)作為已知點(diǎn)，來預(yù)測未知點(diǎn)的位置，即丟失幀的位置，得到長期預(yù)測結(jié)果P_L；

最后設(shè)計(jì)一種自適應(yīng)加權(quán)融合長期預(yù)測結(jié)果和短期預(yù)測結(jié)果方法，得到丟失目標(biāo)在丟失幀期間的最終預(yù)測結(jié)果，具體采用如下公式：

其中，P_final，P_S和P_L分別為最終預(yù)測結(jié)果，短期預(yù)測結(jié)果和長期預(yù)測結(jié)果，η為目標(biāo)最大程度上允許消失的幀數(shù)，是一個(gè)閾值，用來判定目標(biāo)是否離開場景，ζ是目標(biāo)消失的幀數(shù)；

步驟9：剔除UT中消失的幀數(shù)超過閾值th的目標(biāo)；

步驟10：判斷是否為視頻最后一幀，如果是，則跟蹤結(jié)束，否則返回步驟2。