[發(fā)明專利]一種基于長(zhǎng)短期預(yù)測(cè)模型的多目標(biāo)遮擋跟蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011145648.X
• 申請(qǐng)日: 2020-10-23
• 公開(kāi)（公告）號(hào): CN112288775B
• 公開(kāi)（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 陳軍;孫志宏;梁超;阮威健;陳金;王曉芬;王超
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

本發(fā)明公開(kāi)了一種基于長(zhǎng)短期預(yù)測(cè)模型的多目標(biāo)遮擋跟蹤方法，包括：首先設(shè)計(jì)基于運(yùn)動(dòng)的預(yù)測(cè)模型和基于外觀的預(yù)測(cè)模型來(lái)預(yù)測(cè)丟失目標(biāo)位置；其次設(shè)計(jì)一種自適應(yīng)加權(quán)融合方法來(lái)融合這兩個(gè)預(yù)測(cè)結(jié)果得到短期預(yù)測(cè)結(jié)果；然后通過(guò)樣條插值法進(jìn)行預(yù)測(cè)丟失目標(biāo)的位置并將其結(jié)果視為長(zhǎng)期預(yù)測(cè)結(jié)果；最后設(shè)計(jì)一種自適應(yīng)加權(quán)融合方法來(lái)融合長(zhǎng)期和短期預(yù)測(cè)結(jié)果。本發(fā)明提出的方法解決了多目標(biāo)跟蹤中單一處理某種遮擋時(shí)間的問(wèn)題，可以有效處理不同遮擋時(shí)間長(zhǎng)度和處理不同類型的遮擋，有效地恢復(fù)了目標(biāo)在遮擋幀期間的位置，提升了跟蹤的準(zhǔn)確度。在對(duì)實(shí)際監(jiān)控?cái)?shù)據(jù)集的定量和定性測(cè)試中，都佐證了本發(fā)明所提方法的有效性。

技術(shù)領(lǐng)域

本發(fā)明涉及監(jiān)控目標(biāo)跟蹤技術(shù)領(lǐng)域，特別涉及一種基于長(zhǎng)短期預(yù)測(cè)模型的多目標(biāo)遮擋跟蹤方法。

背景技術(shù)

多目標(biāo)跟蹤的任務(wù)是給定一段視頻，輸出視頻中所有出現(xiàn)的目標(biāo)的軌跡。多目標(biāo)跟蹤應(yīng)用廣泛，可應(yīng)用于多媒體分析、視覺(jué)監(jiān)控和體育分析等。作為計(jì)算機(jī)視覺(jué)領(lǐng)域中的中級(jí)任務(wù)，多目標(biāo)跟蹤一直是研究學(xué)者們研究的重點(diǎn)。

目前主流的多目標(biāo)跟蹤方法是基于檢測(cè)的跟蹤框架，即先使用檢測(cè)器對(duì)視頻進(jìn)行目標(biāo)檢測(cè)，然后進(jìn)行數(shù)據(jù)關(guān)聯(lián)得到最終的目標(biāo)運(yùn)動(dòng)軌跡。檢測(cè)結(jié)果作為輸入，其質(zhì)量的好壞，對(duì)跟蹤結(jié)果產(chǎn)生巨大的影響。雖然近些年，目標(biāo)檢測(cè)取得重大突破，但是在真實(shí)監(jiān)控場(chǎng)景中，由于人群密度較大，頻繁遮擋，使得檢測(cè)器容易產(chǎn)生漏檢問(wèn)題。在基于檢測(cè)的跟蹤框架下，漏檢會(huì)導(dǎo)致目標(biāo)容易發(fā)生身份頻繁切換和目標(biāo)的軌跡容易分裂等問(wèn)題，進(jìn)而降低了跟蹤的準(zhǔn)確度。因此遮擋處理對(duì)多目標(biāo)跟蹤的準(zhǔn)確度提升有著重要意義。

目前運(yùn)動(dòng)模型是解決遮擋問(wèn)題的主要方法，如卡爾曼濾波和粒子濾波。基于運(yùn)動(dòng)模型的方法主要是根據(jù)目標(biāo)的歷史狀態(tài)來(lái)預(yù)測(cè)下一時(shí)刻狀態(tài)，可以很好的解決短期遮擋問(wèn)題。然而在長(zhǎng)期遮擋過(guò)程中，由于沒(méi)有檢測(cè)結(jié)果對(duì)遮擋目標(biāo)進(jìn)行更新和校正，使得目標(biāo)容易跟蹤漂移。另外一種解決遮擋問(wèn)題的方法是基于外觀模型的單目標(biāo)跟蹤方法，通過(guò)尋找下一幀目標(biāo)最有可能出現(xiàn)的位置來(lái)解決背景遮擋和目標(biāo)丟失問(wèn)題。然而一旦目標(biāo)較多，相似的外觀在長(zhǎng)期遮擋中容易使目標(biāo)發(fā)生跟蹤漂移。近些年，也有一些研究學(xué)者使用樣條插值法來(lái)擬合目標(biāo)運(yùn)動(dòng)軌跡預(yù)測(cè)目標(biāo)在丟失幀期間的位置。但是這種方法在短期遮擋中，由于目標(biāo)位置點(diǎn)較少，使得擬合的曲線不夠光滑，與目標(biāo)真實(shí)軌跡有偏差。

發(fā)明內(nèi)容

針對(duì)以上問(wèn)題，本發(fā)明提出了一種基于長(zhǎng)短期預(yù)測(cè)模型的多目標(biāo)跟蹤框架來(lái)有效的處理遮擋問(wèn)題和恢復(fù)被遮擋目標(biāo)在遮擋幀期間的位置。該框架由短期預(yù)測(cè)模型和長(zhǎng)期預(yù)測(cè)模型組成。而其中短期預(yù)測(cè)模型是由基于外觀的預(yù)測(cè)模型和基于運(yùn)動(dòng)的預(yù)測(cè)模型組成?；谕庥^的預(yù)測(cè)模型可以解決漏檢和背景遮擋問(wèn)題，基于運(yùn)動(dòng)的預(yù)測(cè)模型可以解決目標(biāo)間遮擋問(wèn)題。為了更好的對(duì)長(zhǎng)期遮擋的目標(biāo)進(jìn)行軌跡恢復(fù)，采用樣條插值法來(lái)構(gòu)建長(zhǎng)期預(yù)測(cè)模型。最后為了能讓跟蹤器自適應(yīng)地選擇不同遮擋處理方法，采用了自適應(yīng)權(quán)重融合策略。

針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于長(zhǎng)短期預(yù)測(cè)模型多目標(biāo)遮擋跟蹤方法，其核心思想是長(zhǎng)期預(yù)測(cè)模型和短期預(yù)測(cè)模型，并以自適應(yīng)加權(quán)融合的方法融合這兩個(gè)預(yù)測(cè)模型于一體，可以有效地自適應(yīng)地解決不同類型不同長(zhǎng)度的遮擋問(wèn)題。

本發(fā)明的目的可以通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)：

一種基于長(zhǎng)短期預(yù)測(cè)模型多目標(biāo)遮擋跟蹤方法，包括以下步驟：

步驟1：使用檢測(cè)器獲得每幀檢測(cè)結(jié)果，初始化目標(biāo)ID和目標(biāo)軌跡，并初始化第一幀上所有目標(biāo)軌跡；

步驟2：將當(dāng)前幀的檢測(cè)結(jié)果與上一幀目標(biāo)軌跡進(jìn)行匹配，得到匹配結(jié)果；

步驟3：對(duì)于匹配成功的目標(biāo)軌跡，用與之匹配成功的當(dāng)前幀的檢測(cè)結(jié)果對(duì)其外觀進(jìn)行更新，若存在未匹配成功的目標(biāo)軌跡，則執(zhí)行步驟4，若存在未匹配成功的檢測(cè)結(jié)果，則執(zhí)行步驟5；

步驟4：將未匹配成功的目標(biāo)軌跡u_i狀態(tài)設(shè)置為中止，并將其ID加入到消失目標(biāo)集合UT中；

步驟5：若UT為空，則執(zhí)行步驟6，否則執(zhí)行步驟7；