[發(fā)明專利]一種基于無人機(jī)的多目標(biāo)跟蹤定位與運(yùn)動(dòng)狀態(tài)估計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110581678.3
• 申請(qǐng)日: 2021-05-27
• 公開（公告）號(hào): CN113269098B
• 公開（公告）日: 2023-06-16
• 發(fā)明（設(shè)計(jì)）人: 楊楚樂;馬倩倩;管乃洋;王之元;凡遵林;蘇龍飛;王世雄
• 申請(qǐng)（專利權(quán)）人: 中國人民解放軍軍事科學(xué)院國防科技創(chuàng)新研究院
• 主分類號(hào): G06V20/17
• 分類號(hào): G06V20/17;G06N3/0464;G06V10/82;G06N3/08;G06T7/246
• 代理公司: 北京豐浩知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11781
• 代理人: 王純富

本發(fā)明公開了一種基于無人機(jī)的多目標(biāo)跟蹤定位與運(yùn)動(dòng)狀態(tài)估計(jì)方法，其具體步驟包括：輸入無人機(jī)高空視角航拍下的目標(biāo)觀測圖像數(shù)據(jù)，獲得目標(biāo)檢測結(jié)果；使用卡爾曼濾波預(yù)測目標(biāo)軌跡參數(shù)，然后使用匈牙利算法進(jìn)行級(jí)聯(lián)匹配，對(duì)級(jí)聯(lián)匹配結(jié)果再進(jìn)行IoU的匹配，利用卡爾曼濾波更新目標(biāo)軌跡的狀態(tài)，對(duì)每個(gè)匹配成功的軌跡，用其對(duì)應(yīng)的檢測結(jié)果進(jìn)行更新，并處理未匹配軌跡和未匹配檢測結(jié)果，將該方法移植入ROS環(huán)境中，將無人機(jī)攝像頭拍攝的二維圖像上的像素坐標(biāo)轉(zhuǎn)化到真實(shí)世界的空間坐標(biāo)，并計(jì)算目標(biāo)運(yùn)動(dòng)的速度。本發(fā)明方法在高空無人機(jī)運(yùn)行過程中完成了對(duì)多目標(biāo)跟蹤定位算法的遷移適配，實(shí)現(xiàn)了對(duì)多目標(biāo)運(yùn)動(dòng)狀態(tài)的精確計(jì)算。

技術(shù)領(lǐng)域

本發(fā)明涉及目標(biāo)定位與跟蹤領(lǐng)域，尤其涉及一種基于無人機(jī)的多目標(biāo)跟蹤定位與運(yùn)動(dòng)狀態(tài)估計(jì)方法。

背景技術(shù)

目前,多目標(biāo)跟蹤技術(shù)(MOT)是自動(dòng)駕駛、智慧交通、智慧安防等應(yīng)用場景中的關(guān)鍵共性技術(shù)，其目的是將場景中檢測到的物體框在時(shí)序上關(guān)聯(lián)形成軌跡，并用于物體實(shí)時(shí)位置的跟蹤。MOT的研究難點(diǎn)主要在于相似背景、光照條件變化、遮擋等外界因素干擾，和目標(biāo)姿態(tài)變化、尺度變化、進(jìn)出視野、運(yùn)動(dòng)模糊等自身因素影響下的多目標(biāo)跟蹤。

目前常用的MOT方法主要分為生成式模型方法和判別式模型方法兩類。生成式模型方法是通過在線學(xué)習(xí)方式建立目標(biāo)模型，然后使用模型搜索重建誤差最小的圖像區(qū)域，完成目標(biāo)定位，該方法包括卡爾曼濾波，粒子濾波，mean-shift等。但是這一類方法沒有考慮目標(biāo)的背景信息，圖像信息沒有得到較好的利用，并且該類算法計(jì)算代價(jià)大耗時(shí)長，準(zhǔn)確率差。判別式模型方法，又稱檢測跟蹤算法(tracking-by-detection)，其將目標(biāo)跟蹤看作是一個(gè)二元分類問題，同時(shí)提取目標(biāo)和背景信息用來訓(xùn)練分類器，將目標(biāo)從圖像序列背景中分離出來，從而得到當(dāng)前幀的目標(biāo)位置。判別式模型方法與生成類方法最大的區(qū)別是，其分類器采用機(jī)器學(xué)習(xí)，訓(xùn)練中用到了背景信息，這樣分類器就能專注區(qū)分前景和背景，所以判別類方法普遍都比生成類好，也是目前主流的跟蹤方法。但是，當(dāng)前的研究主要是集中在視頻監(jiān)控等純計(jì)算機(jī)視覺領(lǐng)域，并且大多研究僅針對(duì)低視角下的多目標(biāo)跟蹤與速度計(jì)算，其應(yīng)用大多僅面向監(jiān)控/車載攝像頭和低空視角，很少有工作在高空無人機(jī)航拍視角下，并結(jié)合機(jī)器人操作系統(tǒng)(ROS)來進(jìn)行遷移適配和開發(fā)利用。此外，ROS提供的多種傳感器數(shù)據(jù)(如：GNSS、IMU等)可以與跟蹤結(jié)果進(jìn)行深度融合，從而實(shí)現(xiàn)對(duì)目標(biāo)運(yùn)動(dòng)狀態(tài)更精確的計(jì)算。

發(fā)明內(nèi)容

針對(duì)機(jī)器人操作系統(tǒng)(ROS)和無人機(jī)高空視角航拍下的場景下同時(shí)準(zhǔn)確地對(duì)多目標(biāo)進(jìn)行識(shí)別、定位、跟蹤和狀態(tài)估計(jì)的問題，本發(fā)明提出了基于DeepSORT算法的改進(jìn)型目標(biāo)跟蹤定位和狀態(tài)計(jì)算方法，并將其在ROS系統(tǒng)下進(jìn)行遷移和適配，使其能在無人機(jī)平臺(tái)上有效運(yùn)行。

本發(fā)明針對(duì)遮擋情形造成的ID?Switch問題，通過使用準(zhǔn)確率更高的ReID模型解決了該問題；為提高跟蹤精度，使用了YOLOv4組件，并使用Darknet進(jìn)行針對(duì)性的模型訓(xùn)練；將識(shí)別、跟蹤、定位和狀態(tài)計(jì)算算法移植到ROS環(huán)境下，提出了基于無人機(jī)的多目標(biāo)跟蹤定位與運(yùn)動(dòng)狀態(tài)估計(jì)方法。

本發(fā)明公開了一種基于無人機(jī)的多目標(biāo)跟蹤定位與運(yùn)動(dòng)狀態(tài)估計(jì)方法，其具體步驟包括：

S1，獲取無人機(jī)高空視角航拍下的目標(biāo)觀測圖像數(shù)據(jù)，使用目標(biāo)檢測模塊，檢測當(dāng)前幀圖像中的目標(biāo)包圍框，將檢測到的目標(biāo)包圍框轉(zhuǎn)換成目標(biāo)檢測結(jié)果，獲得目標(biāo)檢測結(jié)果，包括檢測框，目標(biāo)類別，置信度信息；

步驟S1具體包括，

S11，初始化目標(biāo)檢測結(jié)果的各參數(shù)，去掉檢測置信度小于0.7的檢測結(jié)果；

S12，使用非極大值抑制算法(NMS)，去除具有重疊檢測框的檢測結(jié)果；