[發(fā)明專(zhuān)利]基于運(yùn)動(dòng)插值估計(jì)與前景分割相結(jié)合的視頻目標(biāo)跟蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910375504.4
• 申請(qǐng)日: 2019-05-07
• 公開(kāi)（公告）號(hào): CN110163887B
• 公開(kāi)（公告）日: 2023-10-20
• 發(fā)明（設(shè)計(jì)）人: 賴(lài)韻宇;孔熙雨;鐘幼平;萬(wàn)意;宋小欣;左琪;溫舜茜;彭福先;王梓展
• 申請(qǐng)（專(zhuān)利權(quán)）人: 國(guó)網(wǎng)江西省電力有限公司檢修分公司;國(guó)家電網(wǎng)有限公司
• 主分類(lèi)號(hào): G06T7/215
• 分類(lèi)號(hào): G06T7/215;G06T7/246
• 代理公司: 江西省專(zhuān)利事務(wù)所 36100
• 代理人: 張文

1.一種基于運(yùn)動(dòng)插值估計(jì)與前景分割相結(jié)合的視頻目標(biāo)跟蹤方法，其特征在于：具體步驟如下：

A、使用運(yùn)動(dòng)插值估計(jì)，根據(jù)原始視頻數(shù)據(jù)，增廣一組攜帶時(shí)空信息的樣本，首先計(jì)算運(yùn)動(dòng)矢量場(chǎng)；對(duì)于第t幀f_t和第t+1幀f_t+1之間的運(yùn)動(dòng)矢量場(chǎng)u_t，令δ_t表示時(shí)間間隔，那么在時(shí)間t + λ · δt上生成的運(yùn)動(dòng)場(chǎng)c 可被表示為： u_λ(c+λu_t(c))=u_t(c)；對(duì)于插值運(yùn)動(dòng)場(chǎng)中的每個(gè)空洞區(qū)域,通過(guò)最鄰近的運(yùn)動(dòng)矢量填充；

B、利用計(jì)算所得的運(yùn)動(dòng)矢量場(chǎng)u，生成內(nèi)插幀，由前幀f_t和后幀f_t+1插值產(chǎn)生的第i個(gè)內(nèi)插結(jié)果f_λ(c)被表示為：f_λ(c)=(1-λ)f_t(c-λu_λ(c)+λf_t+1(c+(1-λ)u_λ(c))；

C、使用增廣之后的數(shù)據(jù)，輸入跟蹤模塊：根據(jù)給定位置p₀，提取出原始模型mdl₀；

D、利用基于光流的前景背景檢測(cè)方法，區(qū)分前景和背景，生成前景掩膜M₀；

E、根據(jù)目標(biāo)模型，對(duì)下一幀進(jìn)行檢測(cè)，計(jì)算響應(yīng)R₀，并且利用之前的前景掩膜對(duì)檢測(cè)結(jié)果進(jìn)行加權(quán)，R₀·M₀并取響應(yīng)峰值max(R)作為預(yù)測(cè)出的跟蹤目標(biāo)位置p；

F、利用預(yù)測(cè)的跟蹤目標(biāo)位置p₁生成一個(gè)預(yù)測(cè)位置的目標(biāo)模型Tmp₁；

G、根據(jù)預(yù)測(cè)位置的目標(biāo)模型Tmp₁，按照固定的學(xué)習(xí)率α，更新原有目標(biāo)模型，生成更新過(guò)的模型mdl₁；

H、對(duì)于第t幀，重復(fù)步驟C至步驟第G，根據(jù)上一幀位置p_t-1和上一幀更新過(guò)的模型mdl_t-1，逐幀生成跟蹤結(jié)果p_t和更新過(guò)的模型mdl_t。

2.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)插值估計(jì)與前景分割相結(jié)合的視頻目標(biāo)跟蹤方法，其特征在于：所述步驟B中：利用運(yùn)動(dòng)矢量場(chǎng)u_t對(duì)原始視頻數(shù)據(jù)進(jìn)行增廣，不需要額外標(biāo)定，生成的數(shù)據(jù)也作為新的樣本輸入。

3.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)插值估計(jì)與前景分割相結(jié)合的視頻目標(biāo)跟蹤方法，其特征在于：所述步驟C至步驟第G中：經(jīng)過(guò)數(shù)據(jù)增廣的視頻數(shù)據(jù)輸入跟蹤模塊后，與前景掩膜生成模塊相結(jié)合，共同確定響應(yīng)峰值。

4.一種基于運(yùn)動(dòng)插值估計(jì)與前景分割相結(jié)合的視頻目標(biāo)跟蹤方法，其特征在于：視頻目標(biāo)跟蹤方法所采用的視頻目標(biāo)跟蹤系統(tǒng)，包括運(yùn)動(dòng)插值估計(jì)模塊和結(jié)合前景分割的目標(biāo)跟蹤模塊，其中：

運(yùn)動(dòng)插值估計(jì)模塊包括運(yùn)動(dòng)估計(jì)模塊和數(shù)據(jù)增廣模塊；

結(jié)合前景分割的目標(biāo)跟蹤模塊包括目標(biāo)模型提取模塊、前景掩膜生成模塊、響應(yīng)計(jì)算模塊和模型更新模塊；

經(jīng)過(guò)運(yùn)動(dòng)插值估計(jì)模塊生成的數(shù)據(jù)，輸入結(jié)合前景分割的目標(biāo)跟蹤模塊，即：

A、運(yùn)動(dòng)插值估計(jì)模塊根據(jù)輸入的原始視頻數(shù)據(jù)，對(duì)視頻相鄰幀進(jìn)行運(yùn)動(dòng)估計(jì)，生成內(nèi)插的中間幀，與原始數(shù)據(jù)一同輸入結(jié)合前景分割的目標(biāo)跟蹤模塊；其中：

所述運(yùn)動(dòng)估計(jì)模塊：根據(jù)輸入的原始視頻數(shù)據(jù)，根據(jù)相鄰幀的數(shù)據(jù)計(jì)算所有像素的運(yùn)動(dòng)矢量場(chǎng)u，對(duì)于空洞區(qū)域，采用最鄰近法進(jìn)行填充，將計(jì)算得到的運(yùn)動(dòng)矢量場(chǎng)u輸入數(shù)據(jù)增廣模塊；

所述數(shù)據(jù)增廣模塊：利用原始視頻數(shù)據(jù)，和從運(yùn)動(dòng)估計(jì)模塊輸入的運(yùn)動(dòng)矢量場(chǎng)u，對(duì)原始視頻數(shù)據(jù)進(jìn)行數(shù)據(jù)增廣，利用第t幀f_t和第t+1幀f_t+1，內(nèi)插出誤差最小的中間幀f_λ，并將中間幀f_λ與原始視頻數(shù)據(jù)全部輸入目標(biāo)跟蹤模塊中的目標(biāo)模型提取模塊；

B、結(jié)合前景分割的目標(biāo)跟蹤模塊根據(jù)輸入的增廣后的視頻數(shù)據(jù)，結(jié)合鄰近幀的運(yùn)動(dòng)信息進(jìn)行前景分割，生成跟蹤結(jié)果；其中：

所述目標(biāo)模型提取模塊：當(dāng)t=1時(shí)，mdl_t-1 = mdl₀根據(jù)給定位置p₀計(jì)算原始模型mdl₀，當(dāng)t>1時(shí)，由模型更新模塊輸入的更新模型mdl_t-1，作為原始模型：mdl_t-1，與增廣后視頻數(shù)據(jù)一同輸入前景掩膜生成模塊；

所述前景掩膜生成模塊：根據(jù)增廣后視頻數(shù)據(jù)，生成光流，結(jié)合光流與原始模型mdl_t-1，生成前景背景的分割，對(duì)幀中的每一個(gè)像素，以像素是前景的可能性對(duì)每個(gè)像素賦值，生成一個(gè)前景掩膜M，輸入響應(yīng)計(jì)算模塊；

所述響應(yīng)計(jì)算模塊：使用原始模型mdl_t-1，選取第t-1的跟蹤結(jié)果p_t-1作為的第t幀f_t的目標(biāo)位置p_t-1附近的區(qū)域計(jì)算相關(guān)性，獲得響應(yīng)R，使用前景掩膜M對(duì)響應(yīng)R進(jìn)行加權(quán)：M·R，并取峰值作為預(yù)測(cè)位置p_t，預(yù)測(cè)位置p_t作為系統(tǒng)的輸出結(jié)果；

所述模型更新模塊：根據(jù)預(yù)測(cè)位置p_t，計(jì)算預(yù)測(cè)模型tmp_t，按照固定的學(xué)習(xí)率α=0.01更新模型，計(jì)算更新模型mdl_t=(1-α)mdl_t-1+αtmp_t，進(jìn)入下一時(shí)刻，令t=t+1，則mdl_t= mdl_t-1，將mdl_t-1輸入目標(biāo)模型提取模塊。