[發(fā)明專利]一種基于層次化決策網(wǎng)絡(luò)的魯棒目標(biāo)跟蹤方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110299760.7
• 申請(qǐng)日: 2021-03-22
• 公開（公告）號(hào): CN112802061B
• 公開（公告）日: 2021-08-06
• 發(fā)明（設(shè)計(jì)）人: 鄭忠龍;賈日恒;林飛龍;唐長(zhǎng)兵
• 申請(qǐng)（專利權(quán)）人: 浙江師范大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06N3/04;G06N3/08
• 代理公司: 浙江千克知識(shí)產(chǎn)權(quán)代理有限公司 33246
• 代理人: 王豐毅;田靜

本發(fā)明公開一種基于層次化決策網(wǎng)絡(luò)的魯棒目標(biāo)跟蹤方法，包括以下步驟：一、將目標(biāo)跟蹤問(wèn)題建模為強(qiáng)化學(xué)習(xí)中的馬爾科夫決策過(guò)程，并定義四元組；二、選擇N幀作為片段，根據(jù)標(biāo)簽裁剪、放縮圖片，構(gòu)造若干個(gè)訓(xùn)練圖像對(duì)；三、采用PyTorch深度學(xué)習(xí)框架搭建層次化決策網(wǎng)絡(luò)模型，由通用的孿生特征提取網(wǎng)絡(luò)、嵌入融合模塊、策略網(wǎng)絡(luò)和演員?評(píng)論家網(wǎng)絡(luò)組成；四、使用A3C和PG強(qiáng)化學(xué)習(xí)算法分別對(duì)演員?評(píng)論家網(wǎng)絡(luò)和策略網(wǎng)絡(luò)進(jìn)行端到端的離線訓(xùn)練，并采用Adam優(yōu)化器來(lái)優(yōu)化模型參數(shù)；五、保存訓(xùn)練收斂的模型；本發(fā)明還公開該方法的應(yīng)用；該發(fā)明提高搜索和數(shù)據(jù)樣本使用效率，提高跟蹤性能，減少計(jì)算量和內(nèi)存消耗，利于在移動(dòng)設(shè)備端實(shí)際部署。

技術(shù)領(lǐng)域

本發(fā)明涉及視覺(jué)目標(biāo)跟蹤技術(shù)領(lǐng)域，特別是涉及一種基于層次化決策網(wǎng)絡(luò)的魯棒目標(biāo)跟蹤方法及系統(tǒng)。

背景技術(shù)

目標(biāo)跟蹤是人工智能領(lǐng)域中最基礎(chǔ)的視覺(jué)任務(wù)之一。給定一個(gè)任意目標(biāo)的初始化位置，目標(biāo)跟蹤技術(shù)即可在后續(xù)的視頻序列幀中自動(dòng)地估計(jì)出運(yùn)動(dòng)目標(biāo)的位置和尺度信息。通常來(lái)說(shuō)，目標(biāo)跟蹤技術(shù)可以分為單目標(biāo)跟蹤、多目標(biāo)跟蹤。單目標(biāo)跟蹤主要是針對(duì)特定物體進(jìn)行建模分析，而多目標(biāo)跟蹤則是聯(lián)合目標(biāo)檢測(cè)和數(shù)據(jù)關(guān)聯(lián)技術(shù)來(lái)預(yù)測(cè)出多個(gè)物體的位置和編號(hào)。目標(biāo)跟蹤技術(shù)應(yīng)用十分廣泛，主要應(yīng)用領(lǐng)域有視頻監(jiān)控、行為理解、自動(dòng)駕駛、人機(jī)交互和軍事領(lǐng)域等。

盡管視覺(jué)目標(biāo)跟蹤技術(shù)取得了長(zhǎng)足的發(fā)展，但是視頻場(chǎng)景仍存在著大量的挑戰(zhàn)因素，主要包括各種不確定的動(dòng)態(tài)場(chǎng)景變化：光照變化、尺度變化、運(yùn)動(dòng)模糊、遮擋、背景雜波、嚴(yán)重的物體外觀變化等多種因素。同時(shí)，考慮到實(shí)際應(yīng)用場(chǎng)景，跟蹤方法既需要很好的準(zhǔn)確度和魯棒性，也需要滿足實(shí)時(shí)的需求。因此，設(shè)計(jì)一種實(shí)時(shí)的魯棒目標(biāo)跟蹤方法、目標(biāo)跟蹤系統(tǒng)具有很重要的實(shí)際意義。

目前，目標(biāo)跟蹤方法主要分為兩類：基于分類模型和基于孿生網(wǎng)絡(luò)模型。在分類模型中，由于依賴在線學(xué)習(xí)和隨機(jī)采樣，跟蹤方法精度比較高但是速度很慢。而在孿生網(wǎng)絡(luò)中，將視覺(jué)跟蹤建模為相似性匹配的問(wèn)題，依賴大規(guī)模的離線訓(xùn)練，跟蹤速度比較快但是對(duì)于背景干擾物以及尺度變化不夠敏感。這二類方法在面向復(fù)雜的實(shí)際動(dòng)態(tài)場(chǎng)景中都會(huì)受到了一定的限制。

為了緩解分類模型中的速度問(wèn)題，一些基于強(qiáng)化學(xué)習(xí)的目標(biāo)跟蹤模型被提出。其中，Yun et al.提出了一種基于深度強(qiáng)化學(xué)習(xí)(DRL)的動(dòng)作決策網(wǎng)絡(luò)(ADNet)，通過(guò)一系列離散動(dòng)作來(lái)調(diào)整每個(gè)幀中目標(biāo)的中心坐標(biāo)和縱橫比。因此ADNet的搜索步驟遠(yuǎn)少于滑動(dòng)窗口和隨機(jī)抽樣方法。與MDNet (1 fps)相比，ADNet的速度提高了三倍(3 fps)。進(jìn)一步地，Actor-Critic跟蹤框架被開發(fā)，僅預(yù)測(cè)一個(gè)連續(xù)動(dòng)作來(lái)定位被跟蹤對(duì)象(30 fps)；但是，僅僅一個(gè)搜索步驟不能夠有效地捕獲某些復(fù)雜場(chǎng)景中感興趣目標(biāo)的所有可能運(yùn)動(dòng)變化。Renet al.提出一種基于迭代移位的視覺(jué)目標(biāo)跟蹤算法，旨在通過(guò)多次移位來(lái)執(zhí)行跟蹤(10fps)，并通過(guò)Actor-Critic框架來(lái)學(xué)習(xí)跟蹤狀態(tài)的決策。盡管上述方法取得了些許的改進(jìn)，但是這些算法由于耗時(shí)的在線學(xué)習(xí)和更新，速度仍然不能夠令人滿意。

同時(shí)，視覺(jué)跟蹤任務(wù)也可以看作是回歸問(wèn)題。Held et al.設(shè)計(jì)了深度回歸網(wǎng)絡(luò)來(lái)預(yù)測(cè)目標(biāo)邊界框的偏移量，由于深度回歸網(wǎng)絡(luò)是離線訓(xùn)練的，在線沒(méi)有進(jìn)行微調(diào)或者更新，算法的跟蹤速度達(dá)到了100 fps。此外，Re3將時(shí)間信息納入回歸模型中，并提出了一種遞歸回歸網(wǎng)絡(luò)。這類方法速度很快，但是缺乏特定目標(biāo)的建模以及在線學(xué)習(xí)過(guò)程，跟蹤的性能比較差。

通過(guò)上述分析，現(xiàn)有技術(shù)存在的問(wèn)題及缺陷為：

（1）現(xiàn)有的基于分類模型的目標(biāo)跟蹤方法，通常需要在線學(xué)習(xí)和模型更新，使得跟蹤算法的效率比較低，很難達(dá)到實(shí)時(shí)性應(yīng)用的需求。

（2）現(xiàn)有的基于回歸模型的視覺(jué)跟蹤算法，缺少對(duì)特定目標(biāo)的在線自適應(yīng)過(guò)程，僅利用離線模型，算法的性能比較差，很難處理復(fù)雜的動(dòng)態(tài)場(chǎng)景。

（3）現(xiàn)有的基于強(qiáng)化學(xué)習(xí)的跟蹤方法，僅考慮建模了單個(gè)智能體來(lái)對(duì)目標(biāo)的運(yùn)動(dòng)估計(jì)或者跟蹤狀態(tài)做決定，這導(dǎo)致算法在性能和速度上都不占優(yōu)勢(shì)。