[發(fā)明專利]基于全連接網(wǎng)絡(luò)和卡爾曼濾波器的飛機追蹤方法

有效

• 申請?zhí)枺?/td>: 201810079824.0
• 申請日: 2018-01-27
• 公開（公告）號: CN108492324B
• 公開（公告）日: 2021-05-11
• 發(fā)明（設(shè)計）人: 楊嘉琛;韓煜蓉
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06T7/277
• 分類號: G06T7/277;G06T7/246
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 程毓英

本發(fā)明涉及一種基于全連接網(wǎng)絡(luò)和卡爾曼濾波器的飛機追蹤方法，包括下列步驟：利用全連接網(wǎng)絡(luò)R?FCN對視頻逐幀進(jìn)行檢測，獲得前一幀圖像的bounding box，以供軌跡校正使用；構(gòu)建狀態(tài)向量，描述飛機運動軌跡，狀態(tài)向量既要表示出目標(biāo)飛機中心點的位置，又要展示出bounding box的大小和縱橫比；將卡爾曼濾波器和擴(kuò)展卡爾曼濾波器相結(jié)合，從構(gòu)建的狀態(tài)向量中分離出子向量來描述運動目標(biāo)；當(dāng)檢測結(jié)果偏差較大時，根據(jù)目標(biāo)對象的大小限制出有效范圍來提高檢測速度，糾正相鄰幀中bounding box的位置，從而實現(xiàn)對運動軌跡的校正。

技術(shù)領(lǐng)域

本發(fā)明屬計算機視覺領(lǐng)域，涉及視頻中飛機的深度學(xué)習(xí)追蹤方法。

背景技術(shù)

飛機跟蹤是航空安全等領(lǐng)域的一項重要技術(shù)，在軍事偵察中引入科技手段來加強安全措施也逐漸受到國家重視。目標(biāo)跟蹤作為計算機視覺中的一個重要領(lǐng)域，可以實現(xiàn)對獲取的視頻影像中的飛機進(jìn)行檢查乃至跟蹤的功能。

近年來，隨著深度學(xué)習(xí)的發(fā)展，機器學(xué)習(xí)算法逐漸應(yīng)用到各種視覺領(lǐng)域，基于深度學(xué)習(xí)的目標(biāo)檢測和跟蹤技術(shù)也得到了迅速發(fā)展。與傳統(tǒng)方法相比，其追蹤性能得到了很大提高。流行的物體檢測策略，包括區(qū)域建議和區(qū)域分步兩類。然而，飛機跟蹤的準(zhǔn)確性主要受復(fù)雜環(huán)境條件的影響，視覺跟蹤算法仍存在一些挑戰(zhàn)性的問題，如突發(fā)性運動、姿態(tài)變化、變形、遮擋、背景雜波、光照或視點變化等都會導(dǎo)致跟蹤的準(zhǔn)確度降低，甚至導(dǎo)致跟蹤失敗。目前尚無有效的算法來解決飛機追蹤的問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于建立一種更為準(zhǔn)確的飛機追蹤方法。本發(fā)明提出的飛機追蹤方法，包括以R-FCN為基礎(chǔ)的檢測模型，基于卡爾曼濾波器的狀態(tài)估計模型，飛機運動軌跡糾正模塊三個主要部分。技術(shù)方案如下：

一種基于全連接網(wǎng)絡(luò)和卡爾曼濾波器的飛機追蹤方法，包括下列步驟：

第一步：利用全連接網(wǎng)絡(luò)R-FCN對視頻逐幀進(jìn)行檢測，獲得前一幀圖像的boundingbox，以供軌跡校正使用；

第二步：構(gòu)建狀態(tài)向量，描述飛機運動軌跡，狀態(tài)向量既要表示出目標(biāo)飛機中心點的位置，又要展示出bounding box的大小和縱橫比；

第三步：為了避免目標(biāo)檢測在某一幀上檢測失敗導(dǎo)致的目標(biāo)漂移，將卡爾曼濾波器和擴(kuò)展卡爾曼濾波器相結(jié)合，從構(gòu)建的狀態(tài)向量中分離出子向量來描述運動目標(biāo)；具體方法如下：

(1)卡爾曼濾波器處理線性部分：狀態(tài)向量中表示飛機中心點位置的子向量由線性模型近似，然后由預(yù)測結(jié)果和當(dāng)前觀測結(jié)果的不確定性計算卡爾曼增益，對預(yù)測結(jié)果和觀測結(jié)果做加權(quán)平均，得到當(dāng)前時刻的狀態(tài)估計和本次狀態(tài)估計的不確定性；

(2)擴(kuò)展卡爾曼濾波器用于對不適于線性模型的非線性部分進(jìn)行擬合：以和(1)中相同的方式創(chuàng)建可以表示bounding box大小和縱橫比的狀態(tài)子向量，但涉及到的狀態(tài)矩陣和映射矩陣不再是常數(shù)矩陣，得到非線性部分在當(dāng)前時刻的狀態(tài)估計和本次狀態(tài)估計的不確定性；

(3)將非線性部分加入線性系統(tǒng)中，描述飛機的運動狀態(tài)；

第四步：當(dāng)檢測結(jié)果偏差較大時，根據(jù)目標(biāo)對象的大小限制出有效范圍來提高檢測速度，糾正相鄰幀中bounding box的位置，從而實現(xiàn)對運動軌跡的校正，若bounding box與飛機所在窗口的重疊度IOU值大于預(yù)先定義好的閾值T，則根據(jù)前一幀的bounding box修改當(dāng)前檢測框的位置和大小；否則便將此目標(biāo)作為中心，劃出bounding box輸入檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練，校正公式如下：