[發(fā)明專利]多目標(biāo)追蹤方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011389061.3
• 申請(qǐng)日: 2020-12-02
• 公開（公告）號(hào): CN112529934A
• 公開（公告）日: 2021-03-19
• 發(fā)明（設(shè)計(jì)）人: 歐陽真超;董曉云;崔家赫;牛建偉
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)杭州創(chuàng)新研究院
• 主分類號(hào): G06T7/215
• 分類號(hào): G06T7/215;G06T7/136;G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京新知遠(yuǎn)方知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11397
• 代理人: 馬軍芳;張艷

本申請(qǐng)實(shí)施例提供一種多目標(biāo)追蹤方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，將多目標(biāo)追蹤方法分為分割及追蹤兩個(gè)過程，首先通過輕量級(jí)的目標(biāo)檢測(cè)分割模型對(duì)待處理圖像進(jìn)行目標(biāo)檢測(cè)及分割處理，以獲得待處理圖像中的待追蹤目標(biāo)的分割結(jié)果，并基于目標(biāo)檢測(cè)分割模型中的追蹤向量生成算法對(duì)分割結(jié)果進(jìn)行運(yùn)算，生成待追蹤目標(biāo)的追蹤向量；最后通過目標(biāo)追蹤模型對(duì)待追蹤目標(biāo)的追蹤向量進(jìn)行幀間相似度匹配，完成對(duì)處理圖像中的待追蹤目標(biāo)的追蹤。采用輕量級(jí)的目標(biāo)檢測(cè)分割模型架構(gòu)可以實(shí)現(xiàn)對(duì)模型體積的壓縮和推算加速，且基于分割結(jié)果生成的追蹤向量與直接生成的追蹤向量相比，背景噪聲更少，可以更好的適應(yīng)目標(biāo)被遮擋和部分可見的情況，增強(qiáng)了模型的追蹤精度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及自動(dòng)駕駛技術(shù)，具體地，涉及一種多目標(biāo)追蹤方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著傳感器、大數(shù)據(jù)和人工智能領(lǐng)域的快速發(fā)展，在此基礎(chǔ)上發(fā)展的無人駕駛技術(shù)也成為近年來學(xué)術(shù)界和工業(yè)界的研究熱點(diǎn)之一。

多目標(biāo)跟蹤算法是自動(dòng)駕駛技術(shù)中最基本且關(guān)鍵的算法之一。自動(dòng)駕駛汽車通常裝配多種傳感器以獲取周圍環(huán)境的信息，其中光學(xué)相機(jī)是目前最常用的傳感器之一，基于相機(jī)捕獲圖像進(jìn)行多目標(biāo)追蹤是目前主流的解決方案。

目前主要采用深度學(xué)習(xí)網(wǎng)絡(luò)建模與大數(shù)據(jù)驅(qū)動(dòng)的方式構(gòu)建多目標(biāo)追蹤模型，從而實(shí)現(xiàn)自動(dòng)駕駛技術(shù)的多目標(biāo)追蹤。但深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型主要通過設(shè)計(jì)深層網(wǎng)絡(luò)結(jié)構(gòu)提升模型的性能，從而提升運(yùn)算速率及運(yùn)算精度，對(duì)高性能顯卡的依賴較強(qiáng)，且模型體積較大，導(dǎo)致該模型若要在車載平臺(tái)部署實(shí)現(xiàn)起來較為困難。

因此，如何在保證運(yùn)算速率及運(yùn)算精度的前提下對(duì)多目標(biāo)追蹤模型進(jìn)行壓縮是目前需要解決的技術(shù)問題。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例中提供了一種多目標(biāo)追蹤方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)中的多目標(biāo)追蹤模型對(duì)高性能顯卡的依賴性較強(qiáng)，模型體積較大的問題。

根據(jù)本申請(qǐng)實(shí)施例的第一個(gè)方面，提供了一種多目標(biāo)追蹤方法，所述方法包括：

通過目標(biāo)檢測(cè)分割模型對(duì)待處理圖像進(jìn)行目標(biāo)檢測(cè)及分割處理，以獲得所述待處理圖像中的待追蹤目標(biāo)的分割結(jié)果；

通過追蹤向量生成算法對(duì)所述待追蹤目標(biāo)的分割結(jié)果進(jìn)行運(yùn)算，生成所述待追蹤目標(biāo)的追蹤向量；

通過預(yù)設(shè)的目標(biāo)追蹤模型對(duì)所述待追蹤目標(biāo)的追蹤向量進(jìn)行幀間相似度計(jì)算，將相似度大于預(yù)設(shè)閾值的待追蹤目標(biāo)作為同一待追蹤目標(biāo)，實(shí)現(xiàn)對(duì)所述待追蹤目標(biāo)的追蹤。

在一種可選的實(shí)施方式中，所述目標(biāo)檢測(cè)分割模型包括卷積神經(jīng)主干網(wǎng)絡(luò)和候選區(qū)域生成模型，所述卷積神經(jīng)主干網(wǎng)絡(luò)包括輪廓?dú)w一化模型及卷積神經(jīng)網(wǎng)絡(luò)，通過目標(biāo)檢測(cè)分割模型對(duì)待處理圖像進(jìn)行目標(biāo)檢測(cè)及分割處理，以獲得所述待處理圖像中的待追蹤目標(biāo)的分割結(jié)果，包括：

通過所述卷積神經(jīng)主干網(wǎng)絡(luò)對(duì)輸入的待處理圖像進(jìn)行特征提取，獲得所述待處理圖像的歸一化特征信息；

通過候選區(qū)域生成模型對(duì)所述歸一化特征信息進(jìn)行處理，獲得所述待處理圖像中的待追蹤目標(biāo)的分割結(jié)果，其中，所述待追蹤目標(biāo)的分割結(jié)果包括目標(biāo)類別、各個(gè)目標(biāo)類別的檢測(cè)置信度、檢測(cè)框及分割掩碼。

在一種可選的實(shí)施方式中，所述目標(biāo)檢測(cè)分割模型還包括雙向長(zhǎng)短期記憶人工神經(jīng)網(wǎng)絡(luò)，在通過候選區(qū)域生成模型對(duì)所述特征信息進(jìn)行處理之前，所述方法還包括：

將所述卷積神經(jīng)主干網(wǎng)絡(luò)提取的特征信息輸入至所述雙向長(zhǎng)短期記憶人工神經(jīng)網(wǎng)絡(luò)進(jìn)行幀間時(shí)空特征增強(qiáng)處理，使得輸出所述待處理圖像的卷積特征包含幀間關(guān)聯(lián)的特征信息。

在一種可選的實(shí)施方式中，所述通過追蹤向量生成算法對(duì)所述待追蹤目標(biāo)的分割結(jié)果進(jìn)行運(yùn)算，生成所述待追蹤目標(biāo)的追蹤向量，包括：

將所述待追蹤目標(biāo)的分割結(jié)果中的分割掩碼輸入至所述追蹤向量生成算法中進(jìn)行運(yùn)算，為所述待追蹤目標(biāo)生成追蹤向量。