[發(fā)明專利]目標(biāo)跟蹤方法、裝置、存儲(chǔ)介質(zhì)和電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201910065028.6
• 申請(qǐng)日: 2019-01-23
• 公開(kāi)（公告）號(hào): CN111476063B
• 公開(kāi)（公告）日: 2023-04-25
• 發(fā)明（設(shè)計(jì)）人: 白楊;吉祥虎
• 申請(qǐng)（專利權(quán)）人: 北京小米松果電子有限公司
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06V10/46;G06V10/50
• 代理公司: 北京英創(chuàng)嘉友知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 魏嘉熹;南毅寧

本公開(kāi)涉及一種目標(biāo)跟蹤方法、裝置、存儲(chǔ)介質(zhì)和電子設(shè)備，包括根據(jù)確定的目標(biāo)物體對(duì)獲取到的第一視頻幀進(jìn)行跟蹤，得到帶有目標(biāo)物體標(biāo)記的第二視頻幀，并顯示第二視頻幀；若在跟蹤過(guò)程中判定目標(biāo)物體丟失，則直接顯示第一視頻幀；從丟失目標(biāo)物體的時(shí)刻之后，對(duì)第一視頻幀進(jìn)行目標(biāo)物體的查找，以查找得到一個(gè)帶有目標(biāo)物體標(biāo)記的第三視頻幀；從第三視頻幀所對(duì)應(yīng)的第一視頻幀開(kāi)始恢復(fù)對(duì)第一視頻幀的跟蹤，得到帶有目標(biāo)物體標(biāo)記的第四視頻幀，并顯示第四視頻幀。這樣，能夠在丟失目標(biāo)物體之后完成對(duì)目標(biāo)物體的重新查找和重新追蹤，在保證跟蹤速度的情況下提高了跟蹤精度，且在一般的移動(dòng)平臺(tái)上就可以實(shí)現(xiàn)。

技術(shù)領(lǐng)域

本公開(kāi)涉及視頻跟蹤領(lǐng)域，具體地，涉及一種目標(biāo)跟蹤方法、裝置、存儲(chǔ)介質(zhì)和電子設(shè)備。

背景技術(shù)

目標(biāo)追蹤是計(jì)算機(jī)視覺(jué)方向的一個(gè)主要研究領(lǐng)域，其應(yīng)用在生活中無(wú)處不在，如：智能監(jiān)控，無(wú)人機(jī)追蹤，人機(jī)交互和無(wú)人駕駛等等。目前的追蹤一般是指在視頻或顯示流的某一幀圖像上人工標(biāo)定出需要進(jìn)行跟蹤的目標(biāo)物體(行人，車輛等等)，然后需要算法在后續(xù)幀中持續(xù)的將目標(biāo)物體標(biāo)出。通常目標(biāo)跟蹤面臨幾大難點(diǎn)：外形變化，光照變化，快速移動(dòng)與運(yùn)動(dòng)模糊，遮擋和出視野，以及背景相似干擾等。由于這些干擾的存在，在對(duì)目標(biāo)物體跟蹤的過(guò)程中可能會(huì)出現(xiàn)目標(biāo)物體消失或者被遮擋或者無(wú)法檢測(cè)到的情況，此時(shí)，各種跟蹤算法就出現(xiàn)了如何在出現(xiàn)以上情況時(shí)保持對(duì)目標(biāo)物體的跟蹤狀態(tài)以及保證跟蹤精度的問(wèn)題。

目前的跟蹤算法大多是基于短時(shí)跟蹤任務(wù)的，在長(zhǎng)時(shí)間的跟蹤任務(wù)上的完成效果不太理想，主要分為兩大類：生成模型方法和判別模型方法。生成模型方法主要有kalman濾波，粒子濾波，mean-shift等。判別模型方法主要以相關(guān)濾波方法為主，主要原理是：后一幀通過(guò)搜索前一幀目標(biāo)附近區(qū)域并進(jìn)行相關(guān)計(jì)算，找出相關(guān)系數(shù)最大的區(qū)域作為當(dāng)前幀的目標(biāo)區(qū)域。以上這些跟蹤算法大都無(wú)法很理想的處理跟蹤丟失以及重新跟蹤的問(wèn)題。

近年來(lái)深度學(xué)習(xí)發(fā)展迅速，深度學(xué)習(xí)算法可以較為精確地檢測(cè)到視頻中每一個(gè)視頻幀中需要被跟蹤的目標(biāo)物體的位置，但是深度學(xué)習(xí)網(wǎng)絡(luò)需要強(qiáng)大的算力以及存儲(chǔ)，在移動(dòng)平臺(tái)上無(wú)法達(dá)到實(shí)時(shí)運(yùn)行。具體來(lái)說(shuō)，對(duì)于一個(gè)30frames/sec的視頻流來(lái)說(shuō)，每一幀有不多于33ms的時(shí)間用于處理，33ms之后就需要把處理后的視頻幀顯示出來(lái)。但是目前大多數(shù)基于深度學(xué)習(xí)網(wǎng)絡(luò)的方法在移動(dòng)平臺(tái)上無(wú)法在33ms內(nèi)完成處理。這就導(dǎo)致了視頻流的下一幀需要先緩存下來(lái)等待處理和顯示。當(dāng)視頻流的每一幀都需要緩存并等待處理且處理時(shí)間永遠(yuǎn)大于視頻流輸入間隔時(shí)間時(shí)，就會(huì)造成預(yù)覽buffer堵塞，顯示的視頻不流暢。

發(fā)明內(nèi)容

本公開(kāi)的目的是提供一種目標(biāo)跟蹤方法、裝置、存儲(chǔ)介質(zhì)和電子設(shè)備，能夠在對(duì)目標(biāo)物體跟蹤丟失時(shí)，利用深度學(xué)習(xí)的方法完成對(duì)目標(biāo)物體的重新查找，并對(duì)目標(biāo)物體進(jìn)行重新追蹤，在保證跟蹤速度的情況下提高了跟蹤精度。

為了實(shí)現(xiàn)上述目的，本公開(kāi)提供一種目標(biāo)跟蹤方法，包括：

根據(jù)確定的目標(biāo)物體對(duì)獲取到的第一視頻幀按照獲取的順序進(jìn)行跟蹤，得到帶有目標(biāo)物體標(biāo)記的第二視頻幀，并按照所述跟蹤的順序顯示所述第二視頻幀，其中，所述第二視頻幀與所述第一視頻幀一一對(duì)應(yīng)；

若在所述跟蹤過(guò)程中判定所述目標(biāo)物體丟失，則在丟失所述目標(biāo)物體的時(shí)刻之后，直接按照所述第一視頻幀獲取的順序，顯示不帶所述目標(biāo)物體標(biāo)記的所述第一視頻幀；

在丟失所述目標(biāo)物體的時(shí)刻之后，在所述第一視頻幀中按照所述第一視頻幀獲取的順序，對(duì)所述第一視頻幀進(jìn)行所述目標(biāo)物體的查找，以查找得到一個(gè)帶有所述目標(biāo)物體標(biāo)記的第三視頻幀；

從所述第三視頻幀所對(duì)應(yīng)的所述第一視頻幀開(kāi)始，按照所述第一視頻幀獲取的順序，恢復(fù)對(duì)所述第一視頻幀的所述跟蹤，得到帶有所述目標(biāo)物體標(biāo)記的第四視頻幀，并按照所述跟蹤的順序顯示所述第四視頻幀，其中，所述第四視頻幀與所述第一視頻幀一一對(duì)應(yīng)。