[發(fā)明專利]一種基于深度學(xué)習(xí)的運(yùn)動(dòng)目標(biāo)跟蹤與定位方法

有效

• 申請?zhí)枺?/td>: 202110047697.8
• 申請日: 2021-01-14
• 公開（公告）號: CN112734794B
• 公開（公告）日: 2022-12-23
• 發(fā)明（設(shè)計(jì)）人: 蔡志浩;強(qiáng)祺昌;趙江;王英勛
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06T7/70;G06T7/80
• 代理公司: 北京航智知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11668
• 代理人: 黃川;史繼穎

本發(fā)明公開了一種基于深度學(xué)習(xí)的運(yùn)動(dòng)目標(biāo)跟蹤與定位方法，利用深度神經(jīng)網(wǎng)絡(luò)YOLOv3?Tiny算法檢測目標(biāo)的圖像坐標(biāo)，利用深度學(xué)習(xí)SORT跟蹤算法預(yù)測目標(biāo)的位置，利用SolvePnp位置估計(jì)算法計(jì)算目標(biāo)的空間位置。YOLOv3檢測算法與SORT跟蹤算法可以在保證算法準(zhǔn)確度的基礎(chǔ)上，滿足實(shí)際應(yīng)用中的實(shí)時(shí)性要求；空間定位選用的SolvePnP算法，只需四個(gè)特征點(diǎn)即可獲得攝像機(jī)的旋轉(zhuǎn)矩陣，相比于其他算法運(yùn)行速度快，基本能夠達(dá)到與目標(biāo)檢測結(jié)果同步運(yùn)算的效果。本發(fā)明可以有效降低對硬件性能的要求，提升算法的運(yùn)算效率，減少人力財(cái)力的消耗，在實(shí)際應(yīng)用中具體較好的應(yīng)用價(jià)值。

技術(shù)領(lǐng)域

本發(fā)明涉及物體檢測與跟蹤技術(shù)領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的運(yùn)動(dòng)目標(biāo)跟蹤與定位方法。

背景技術(shù)

目標(biāo)檢測與目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域的基本任務(wù)之一。近些年隨著神經(jīng)網(wǎng)絡(luò)的火熱發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測與目標(biāo)跟蹤算法也蓬勃發(fā)展起來。

基于深度學(xué)習(xí)的目標(biāo)檢測與目標(biāo)跟蹤算法采用端到端的解決方式，即輸入圖像到輸出任務(wù)結(jié)果一步完成，可以有效提高解決問題的效率。但在實(shí)際檢測與跟蹤運(yùn)動(dòng)目標(biāo)的過程中，會(huì)存在硬件技術(shù)的限制，因此，在實(shí)時(shí)性上存在很大的提升空間。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種基于深度學(xué)習(xí)的運(yùn)動(dòng)目標(biāo)跟蹤與定位方法，用以滿足實(shí)際應(yīng)用要求的準(zhǔn)確性和實(shí)時(shí)性。

本發(fā)明提供的一種基于深度學(xué)習(xí)的運(yùn)動(dòng)目標(biāo)跟蹤與定位方法，包括如下步驟：

S1：利用飛行器搭載攝像頭，采集視頻圖像；

S2：利用深度神經(jīng)網(wǎng)絡(luò)YOLOv3-Tiny算法，檢測所述視頻圖像中當(dāng)前幀圖像的目標(biāo)區(qū)域，輸出當(dāng)前幀圖像的目標(biāo)區(qū)域內(nèi)運(yùn)動(dòng)目標(biāo)的分類結(jié)果和目標(biāo)區(qū)域的圖像坐標(biāo)；

S3：將深度神經(jīng)網(wǎng)絡(luò)YOLOv3-Tiny算法輸出的當(dāng)前幀圖像的目標(biāo)區(qū)域內(nèi)運(yùn)動(dòng)目標(biāo)的分類結(jié)果和目標(biāo)區(qū)域的圖像坐標(biāo)，輸入深度學(xué)習(xí)SORT跟蹤算法，預(yù)測所述視頻圖像的下一幀圖像中運(yùn)動(dòng)目標(biāo)的位置，判斷下一幀圖像中運(yùn)動(dòng)目標(biāo)的預(yù)測位置與當(dāng)前幀圖像的目標(biāo)區(qū)域之間的IOU是否大于IOU1閾值；若是，則深度學(xué)習(xí)SORT跟蹤算法輸出下一幀圖像中運(yùn)動(dòng)目標(biāo)的預(yù)測位置；若否，則利用深度學(xué)習(xí)SORT跟蹤算法重新預(yù)測下一幀圖像中運(yùn)動(dòng)目標(biāo)的位置；

S4：將深度學(xué)習(xí)SORT跟蹤算法輸出的下一幀圖像中運(yùn)動(dòng)目標(biāo)的預(yù)測位置，輸入SolvePnp位置估計(jì)算法，根據(jù)三角形相似原理，計(jì)算下一幀圖像中運(yùn)動(dòng)目標(biāo)的世界坐標(biāo)。

在一種可能的實(shí)現(xiàn)方式中，在本發(fā)明提供的上述基于深度學(xué)習(xí)的運(yùn)動(dòng)目標(biāo)跟蹤與定位方法中，在執(zhí)行步驟S1，利用飛行器搭載攝像頭，采集視頻圖像之后，在執(zhí)行步驟S2，利用深度神經(jīng)網(wǎng)絡(luò)YOLOv3-Tiny算法，檢測所述視頻圖像中當(dāng)前幀圖像的目標(biāo)區(qū)域，輸出當(dāng)前幀圖像的目標(biāo)區(qū)域內(nèi)運(yùn)動(dòng)目標(biāo)的分類結(jié)果和目標(biāo)區(qū)域的圖像坐標(biāo)之前，還包括：

對所述視頻圖像進(jìn)行數(shù)據(jù)歸一化處理：

輸入：X＝x₁,...,x_m (1)

過程：

輸出：

其中，X表示上一層深度神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果，x_i表示每層深度神經(jīng)網(wǎng)絡(luò)中的參數(shù)，i＝1,2,…,m；μ_β表示深度神經(jīng)網(wǎng)絡(luò)YOLOv3-Tiny算法訓(xùn)練批次均值，m表示深度神經(jīng)網(wǎng)絡(luò)YOLOv3-Tiny算法訓(xùn)練批次大小，表示深度神經(jīng)網(wǎng)絡(luò)YOLOv3-Tiny算法訓(xùn)練批次方差，為數(shù)據(jù)歸一化處理中的中間參數(shù)，ε是防止式(4)中分母為0的正數(shù)；y_i表示本層深度神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果，γ和β表示學(xué)習(xí)參數(shù)。