[發(fā)明專(zhuān)利]衛(wèi)星遙感視頻目標(biāo)跟蹤方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010084747.5
• 申請(qǐng)日: 2020-02-10
• 公開(kāi)（公告）號(hào): CN111260694B
• 公開(kāi)（公告）日: 2023-06-20
• 發(fā)明（設(shè)計(jì)）人: 畢福昆;孫曉迪;孫嘉怡
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北方工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06T7/246
• 分類(lèi)號(hào): G06T7/246
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 苗曉靜

本發(fā)明實(shí)施例提供一種衛(wèi)星遙感視頻目標(biāo)跟蹤方法及裝置，方法包括將模板幀和待檢測(cè)幀進(jìn)行角度一致性處理；利用插片式OctConv卷積操作方式將經(jīng)過(guò)角度一致化處理后的模板幀的初始特征圖和待檢測(cè)幀的初始特征圖分解為低頻分量部分和高頻分量部分，借助OctConv對(duì)包含兩種不同分量的特征圖進(jìn)行卷積運(yùn)算，通過(guò)Octave?CNN網(wǎng)絡(luò)生成模板幀特征和待檢測(cè)幀特征，通過(guò)基網(wǎng)絡(luò)SiamRPN確定目標(biāo)待檢測(cè)幀；將目標(biāo)待檢測(cè)幀映射到原來(lái)的圖像上，并進(jìn)行坐標(biāo)變換，使得輸出結(jié)果為斜框跟蹤。本發(fā)明進(jìn)行跟蹤目標(biāo)角度一致性操作，提高了目標(biāo)跟蹤的精度。本發(fā)明采用多頻特征表示方式進(jìn)行特征增強(qiáng)，使得特征表達(dá)能力增強(qiáng)，跟蹤識(shí)別能力增強(qiáng)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種衛(wèi)星遙感視頻目標(biāo)跟蹤方法及裝置。

背景技術(shù)

目前，基于衛(wèi)星視頻的目標(biāo)跟蹤領(lǐng)域逐步發(fā)展，在軍事偵查、機(jī)場(chǎng)港口等大范圍區(qū)域機(jī)動(dòng)目標(biāo)監(jiān)管和災(zāi)害救援等任務(wù)中的作用愈發(fā)明顯，與此同時(shí)由于衛(wèi)星平臺(tái)自身特性給視頻跟蹤帶來(lái)了極大的難度。如今大部分主流跟蹤算法有效地解決在自然場(chǎng)景中的跟蹤難題，然而基于衛(wèi)星平臺(tái)的視頻跟蹤任務(wù)，受到高動(dòng)態(tài)目標(biāo)類(lèi)內(nèi)尺寸差異大、高動(dòng)態(tài)目標(biāo)旋轉(zhuǎn)變化多、背景復(fù)雜導(dǎo)致的易混干擾目標(biāo)多等因素影響，使得跟蹤算法的跟蹤性能受到極大影響。因此，如何有效地設(shè)計(jì)出魯棒性強(qiáng)的跟蹤算法，成為當(dāng)前基于衛(wèi)星平臺(tái)的視頻跟蹤任務(wù)的難點(diǎn)之一。

針對(duì)視頻跟蹤領(lǐng)域而言，由于目標(biāo)跟蹤技術(shù)不斷取得新的進(jìn)展和突破，國(guó)內(nèi)外涌現(xiàn)出了大量創(chuàng)新的方法，其中以相關(guān)濾波類(lèi)算法和深度學(xué)習(xí)類(lèi)算法最具代表性。相關(guān)濾波類(lèi)算法的引入使得跟蹤算法在時(shí)效性方面有較大的提升，但大部分相關(guān)濾波類(lèi)算法對(duì)于衛(wèi)星拍攝的大范圍場(chǎng)景中復(fù)雜背景干擾、相似物易混淆等情況仍然存在較大缺陷，難以獲得較高的跟蹤準(zhǔn)確性。

另外，深度學(xué)習(xí)類(lèi)算法的引入對(duì)于復(fù)雜場(chǎng)景下的跟蹤性能有較大程度上地提升，在跟蹤精度方面頗受關(guān)注。然而，深度學(xué)習(xí)類(lèi)算法往往需要引入在線調(diào)整機(jī)制，導(dǎo)致其在跟蹤速度上有所欠缺。

SiamRPN是最近提出的在傳統(tǒng)全卷積孿生網(wǎng)絡(luò)基礎(chǔ)上引入?yún)^(qū)域候選(RPN)模塊的高性能跟蹤算法，進(jìn)一步提升了多尺度測(cè)試的能力，有效地確保了跟蹤精度。然而由于基于衛(wèi)星平臺(tái)拍攝的跟蹤視頻中背景通常較為復(fù)雜，目標(biāo)特征顯著性不足，使得跟蹤過(guò)程中目標(biāo)容易與易混虛警產(chǎn)生混淆，并且由于高動(dòng)態(tài)目標(biāo)類(lèi)內(nèi)尺寸差異大和目標(biāo)自身旋轉(zhuǎn)變化多的特性，使得目標(biāo)難以被正確捕獲，特別是難以維持長(zhǎng)時(shí)穩(wěn)定的跟蹤。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的問(wèn)題，本發(fā)明實(shí)施例提供一種衛(wèi)星遙感視頻目標(biāo)跟蹤方法及裝置。

具體地，本發(fā)明實(shí)施例提供了以下技術(shù)方案：

第一方面，本發(fā)明實(shí)施例提供了一種衛(wèi)星遙感視頻目標(biāo)跟蹤方法，包括：

利用Textboxes++網(wǎng)絡(luò)獲取模板幀和多個(gè)待檢測(cè)幀的角度信息，并將模板幀和多個(gè)待檢測(cè)幀進(jìn)行角度一致性處理；其中，所述模板幀中包含有待跟蹤遙感目標(biāo)；

利用插片式OctConv卷積操作方式將經(jīng)過(guò)角度一致化處理后的模板幀的初始特征圖和多個(gè)待檢測(cè)幀的初始特征圖分解為保留圖像粗略信息的低頻分量部分和保留圖像細(xì)節(jié)信息的高頻分量部分，分別存儲(chǔ)在兩個(gè)不同的通道，借助OctConv對(duì)包含兩種不同分量的特征圖進(jìn)行卷積運(yùn)算，獲得模板幀的增強(qiáng)特征圖和多個(gè)待檢測(cè)幀的增強(qiáng)特征圖；

將所述模板幀的增強(qiáng)特征圖和多個(gè)待檢測(cè)幀的增強(qiáng)特征圖通過(guò)Octave?CNN網(wǎng)絡(luò)生成模板幀特征和多個(gè)待檢測(cè)幀特征，并經(jīng)卷積層生成分類(lèi)分支和回歸分支，以及通過(guò)基網(wǎng)絡(luò)SiamRPN確定最終的目標(biāo)待檢測(cè)幀；

將所述目標(biāo)待檢測(cè)幀映射到原來(lái)的圖像上，并進(jìn)行坐標(biāo)變換，使得輸出結(jié)果為斜框跟蹤。

進(jìn)一步地，所述利用Textboxes++網(wǎng)絡(luò)獲取模板幀和多個(gè)待檢測(cè)幀的角度信息，并將模板幀和多個(gè)待檢測(cè)幀進(jìn)行角度一致性處理，具體包括：