[發(fā)明專利]通過分而治之關(guān)聯(lián)的無人機(jī)多目標(biāo)跟蹤方法與裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202211588069.1
• 申請(qǐng)日: 2022-12-12
• 公開（公告）號(hào): CN115861386A
• 公開（公告）日: 2023-03-28
• 發(fā)明（設(shè)計(jì)）人: 劉澤林;廖本成;王興剛
• 申請(qǐng)（專利權(quán)）人: 華中科技大學(xué)
• 主分類號(hào): G06T7/292
• 分類號(hào): G06T7/292;G06T7/223;G06T7/246;G06V20/17;G06V10/74;G06V10/82;G06N5/04;G06V10/80;G06N3/0464;G06N3/08
• 代理公司: 深圳市六加知識(shí)產(chǎn)權(quán)代理有限公司 44372
• 代理人: 向彬

1.一種通過分而治之關(guān)聯(lián)的無人機(jī)多目標(biāo)跟蹤方法，其特征在于，包括如下步驟：

(1)通過深度學(xué)習(xí)模型訓(xùn)練檢測(cè)、運(yùn)動(dòng)預(yù)測(cè)以及外觀特征任務(wù)；

(2)將前一幀跟蹤結(jié)果查詢熱圖、前一幀圖像和當(dāng)前幀圖像同時(shí)輸入到DCTrack主干網(wǎng)絡(luò)框架中，同時(shí)提取出當(dāng)前幀的檢測(cè)框，對(duì)應(yīng)目標(biāo)的外觀特征以及目標(biāo)在前后幀間的運(yùn)動(dòng)位移；

(3)采用分而治之的關(guān)聯(lián)策略，使用預(yù)測(cè)的運(yùn)動(dòng)位移和外觀特征分別處理在線和丟失軌跡，以充分利用位置信息與外觀信息的互補(bǔ)性作用。

2.如權(quán)力要求1所述的通過分而治之關(guān)聯(lián)的無人機(jī)多目標(biāo)跟蹤方法，其特征在于，所述步驟(3)具體包括：

(3.1)利用預(yù)測(cè)的目標(biāo)中心點(diǎn)在相鄰幀間的運(yùn)動(dòng)位移估計(jì)出當(dāng)前幀檢測(cè)邊界框在前一幀中的位置，并和前一幀在線軌跡邊界框進(jìn)行交并比相似度匹配，獲得匹配的在線軌跡仍保持為在線狀態(tài)，未獲得匹配的在線軌跡，將其標(biāo)記為丟失軌跡；

(3.2)對(duì)于(3.1)中未獲得匹配的檢測(cè)目標(biāo)，將其對(duì)應(yīng)的外觀特征與丟失軌跡的外觀特征進(jìn)行外觀相似度匹配，獲得匹配的丟失軌跡被認(rèn)為是重識(shí)別的軌跡，將其標(biāo)記為在線軌跡，未獲得匹配的丟失軌跡考察其丟失幀數(shù)，若大于N個(gè)幀，則會(huì)判定該軌跡已經(jīng)離開場(chǎng)景并將其刪除，其中N為預(yù)設(shè)值；

(3.3)對(duì)于(3.2)中未獲得匹配的檢測(cè)目標(biāo)，與前一幀不確定的新軌跡進(jìn)行邊界框交并比匹配，沒有獲得關(guān)聯(lián)的不確定軌跡將會(huì)被判定為假陽(yáng)性軌跡并將其刪除，獲得關(guān)聯(lián)的不確定軌跡將其軌跡狀態(tài)標(biāo)記為在線軌跡；

(3.4)對(duì)于(3.3)中未獲得匹配的檢測(cè)目標(biāo)，考察其置信度分?jǐn)?shù)，若置信度大于閾值A(chǔ)，則將其初始化為新軌跡，并將新軌跡標(biāo)識(shí)為不確定狀態(tài)，以留在下一幀的跟蹤中對(duì)其進(jìn)行考察，其中A為預(yù)設(shè)閾值；

(3.5)輸出步驟(3.1)至(3.3)所有跟蹤后的在線軌跡的邊界框及其對(duì)應(yīng)的目標(biāo)id作為跟蹤器的準(zhǔn)確跟蹤結(jié)果。

3.如權(quán)力要求1或2所述的通過分而治之關(guān)聯(lián)的無人機(jī)多目標(biāo)跟蹤方法，其特征在于，在所述步驟(1)中，使用DCTrack主干網(wǎng)絡(luò)在UAVDT訓(xùn)練集上進(jìn)行訓(xùn)練，首先使用當(dāng)前幀圖像，靠近該幀時(shí)序附近的隨機(jī)一幀圖像，以及隨機(jī)幀的目標(biāo)標(biāo)記中心點(diǎn)渲染的熱圖作為DCtrack主干網(wǎng)絡(luò)的輸入，并預(yù)測(cè)當(dāng)前幀目標(biāo)的邊界框，外觀特征，以及目標(biāo)在當(dāng)前幀和隨機(jī)幀之間的運(yùn)動(dòng)位移；然后使用當(dāng)前幀的標(biāo)記框，目標(biāo)標(biāo)記id，以及目標(biāo)中心點(diǎn)在當(dāng)前幀和隨機(jī)幀之間的運(yùn)動(dòng)位移標(biāo)記用于分別監(jiān)督檢測(cè)分支，外觀預(yù)測(cè)分支以及運(yùn)動(dòng)預(yù)測(cè)分支。

4.如權(quán)力要求1或2所述的通過分而治之關(guān)聯(lián)的無人機(jī)多目標(biāo)跟蹤方法，其特征在于，訓(xùn)練檢測(cè)分支的損失函數(shù)為交并比損失函數(shù)與L1損失函數(shù)，訓(xùn)練運(yùn)動(dòng)預(yù)測(cè)分支的損失函數(shù)為L(zhǎng)1損失函數(shù)，訓(xùn)練外觀特征的損失函數(shù)為交叉熵?fù)p失函數(shù)。

5.如權(quán)力要求1或2所述的通過分而治之關(guān)聯(lián)的無人機(jī)多目標(biāo)跟蹤方法，其特征在于，在所述步驟(2)中，DCTrack主干網(wǎng)絡(luò)框架由三部分組成：主干網(wǎng)絡(luò)、多尺度特征融合網(wǎng)絡(luò)以及多任務(wù)分支預(yù)測(cè)，其中主干網(wǎng)絡(luò)由卷積神經(jīng)網(wǎng)絡(luò)DLA-34構(gòu)成；多尺度特征融合網(wǎng)絡(luò)多采取可形變卷積算子DCN和反卷積算子用于上采樣各個(gè)階段的特征圖；多任務(wù)分支由檢測(cè)分支、運(yùn)動(dòng)預(yù)測(cè)分支和外觀特征分支組成，分別對(duì)應(yīng)著邊界框預(yù)測(cè)任務(wù)，相鄰幀間的運(yùn)動(dòng)預(yù)測(cè)任務(wù)，以及目標(biāo)的外觀特征預(yù)測(cè)任務(wù)。

6.如權(quán)力要求1或2所述的通過分而治之關(guān)聯(lián)的無人機(jī)多目標(biāo)跟蹤方法，其特征在于，在所述步驟(2)中輸入推理信息具體包括：對(duì)于視頻幀推理初期，本發(fā)明將第一幀的圖像作為當(dāng)前幀和前一幀，跟蹤結(jié)果查詢熱圖初始化為空白的熱圖；在后續(xù)幀的推理中，前一幀的跟蹤目標(biāo)的中心點(diǎn)以高斯圓點(diǎn)的形式渲染在熱圖上，并將該熱圖作為跟蹤結(jié)果查詢熱圖與前一幀圖像和當(dāng)前幀圖像一并輸入至DCTrack主干網(wǎng)。