[發(fā)明專利]一種行人跟蹤系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010118386.1
• 申請(qǐng)日: 2020-02-26
• 公開(kāi)（公告）號(hào): CN111401143A
• 公開(kāi)（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 謝英紅;李路;韓曉微;涂斌斌;李華
• 申請(qǐng)（專利權(quán)）人: 沈陽(yáng)大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/32;G06N3/04;G06N3/08
• 代理公司: 沈陽(yáng)東大知識(shí)產(chǎn)權(quán)代理有限公司 21109
• 代理人: 李在川

本發(fā)明提供一種行人跟蹤系統(tǒng)及方法，涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域。本申請(qǐng)確定多個(gè)視頻幀中的第一幀包括目標(biāo)對(duì)象的目標(biāo)框；對(duì)于多個(gè)視頻幀中的除了第一幀中的后續(xù)幀，根據(jù)所確定出的目標(biāo)框確定出當(dāng)前幀中包括目標(biāo)對(duì)象的當(dāng)前目標(biāo)框；將當(dāng)前目標(biāo)框輸入預(yù)訓(xùn)練好的VGG?16網(wǎng)中，獲取該圖像中目標(biāo)框的候選特征圖；將候選特征圖輸入到預(yù)訓(xùn)練好的RPN網(wǎng)絡(luò)中獲得多個(gè)目標(biāo)候選區(qū)域；通過(guò)不同大小的多個(gè)卷積核將多個(gè)目標(biāo)候選區(qū)域的特征進(jìn)行池化操作，獲得針對(duì)目標(biāo)對(duì)象的多個(gè)感興趣區(qū)域；將多個(gè)感興趣區(qū)域的特征進(jìn)行全鏈接操作，區(qū)分目標(biāo)和背景，獲得的目標(biāo)對(duì)象的多個(gè)跟蹤仿射框；以及對(duì)多個(gè)跟蹤仿射框進(jìn)行非極大值抑制，得到當(dāng)前幀的目標(biāo)對(duì)象的跟蹤結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，尤其涉及一種行人跟蹤系統(tǒng)及方法。

背景技術(shù)

行人跟蹤技術(shù)即通過(guò)計(jì)算機(jī)視覺(jué)技術(shù),對(duì)視頻和圖像中的畫(huà)面進(jìn)行行人目標(biāo)的識(shí)別與跟蹤。行人識(shí)別跟蹤項(xiàng)目已經(jīng)被許多國(guó)家列為重點(diǎn)研究項(xiàng)目,該項(xiàng)目被如此重視,是因?yàn)槠浼夹g(shù)超前且涉獵廣泛:在國(guó)防軍事領(lǐng)域，該技術(shù)可用于戰(zhàn)場(chǎng)偵測(cè)、目標(biāo)跟蹤和精確制導(dǎo)等方面;在城市交通領(lǐng)域,該技術(shù)可用于智能交通、違章檢測(cè)和無(wú)人駕駛等方面;在社會(huì)安全領(lǐng)域,該技術(shù)可用于人流量監(jiān)測(cè)等。

現(xiàn)有技術(shù)中公開(kāi)了許多行人跟蹤方法和裝置。這些系統(tǒng)和方法中雖然使用了很多流行的神經(jīng)網(wǎng)絡(luò)技術(shù)，但是針對(duì)形變目標(biāo)的準(zhǔn)確定位沒(méi)有特殊的解決方案。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供一種行人跟蹤系統(tǒng)及方法。

本發(fā)明所采取的技術(shù)方案是：

一方面，本發(fā)明提供一種行人跟蹤系統(tǒng)，包括包括存儲(chǔ)器和處理器；

所述存儲(chǔ)器用來(lái)存儲(chǔ)有計(jì)算機(jī)可執(zhí)行的指令；

所述處理器用來(lái)執(zhí)行所述可執(zhí)行指令，確定多個(gè)視頻幀中的第一幀包括目標(biāo)對(duì)象的目標(biāo)框；對(duì)于多個(gè)視頻幀中的除了第一幀中的后續(xù)幀，根據(jù)所確定出的目標(biāo)框確定出當(dāng)前幀中包括目標(biāo)對(duì)象的當(dāng)前目標(biāo)框；將當(dāng)前目標(biāo)框輸入預(yù)訓(xùn)練好的VGG-16網(wǎng)中，獲取該圖像中目標(biāo)框的候選特征圖；將候選特征圖輸入到預(yù)訓(xùn)練好的RPN網(wǎng)絡(luò)中獲得多個(gè)目標(biāo)候選區(qū)域；通過(guò)不同大小的多個(gè)卷積核將多個(gè)目標(biāo)候選區(qū)域的特征進(jìn)行池化操作，獲得針對(duì)目標(biāo)對(duì)象的多個(gè)感興趣區(qū)域；將多個(gè)感興趣區(qū)域的特征進(jìn)行全鏈接操作，區(qū)分目標(biāo)和背景，獲得的目標(biāo)對(duì)象的多個(gè)跟蹤仿射框；以及對(duì)多個(gè)跟蹤仿射框進(jìn)行非極大值抑制，得到當(dāng)前幀的目標(biāo)對(duì)象的跟蹤結(jié)果。

另一方面，本發(fā)明還提供一種行人跟蹤方法，采用上述的一種行人跟蹤系統(tǒng)實(shí)現(xiàn)，該方法包括以下步驟：

步驟1：確定出多個(gè)視頻幀中的第一幀包括目標(biāo)對(duì)象的目標(biāo)框；

步驟2：對(duì)于除第一幀的后續(xù)幀，根據(jù)所確定出的目標(biāo)框確定出當(dāng)前幀中包括所述目標(biāo)對(duì)象的當(dāng)前目標(biāo)框；

步驟3：將確定出的目標(biāo)框調(diào)整成固定大小輸入到預(yù)訓(xùn)練好的VGG-16網(wǎng)絡(luò)中，獲取所述當(dāng)前幀中的目標(biāo)框的候選特征圖，設(shè)計(jì)損失函數(shù)。

步驟4：將所述候選特征圖輸入到預(yù)訓(xùn)練好的RPN網(wǎng)絡(luò)中獲得多個(gè)目標(biāo)候選區(qū)域；

所述目標(biāo)候選區(qū)域?yàn)楫?dāng)前幀中的目標(biāo)對(duì)象存在的多個(gè)形狀和位置同時(shí)存在的區(qū)域。

步驟5：通過(guò)不同大小的多個(gè)卷積核將所述多個(gè)目標(biāo)候選區(qū)域的特征進(jìn)行池化操作，獲得針對(duì)所述目標(biāo)對(duì)象的多個(gè)感興趣區(qū)域；

所述多個(gè)不同大小的卷積核包括三個(gè)用于初略描述所述目標(biāo)對(duì)象的不同形變的卷積核。

步驟6：將所述多個(gè)感興趣區(qū)域的特征進(jìn)行全鏈接操作，區(qū)分目標(biāo)和背景，將所述多個(gè)跟蹤仿射框與參考目標(biāo)框進(jìn)行對(duì)比，得到交疊面積最大的仿射跟蹤框，從而獲得的所述目標(biāo)對(duì)象的多個(gè)跟蹤仿射框；

步驟7：對(duì)所述多個(gè)跟蹤仿射框進(jìn)行非極大值抑制，得到所述當(dāng)前幀的所述目標(biāo)對(duì)象的跟蹤結(jié)果；