[發(fā)明專利]一種無(wú)人機(jī)用視圖感知網(wǎng)絡(luò)模型及目標(biāo)檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202211226543.6
• 申請(qǐng)日: 2022-10-09
• 公開(kāi)（公告）號(hào): CN115641518B
• 公開(kāi)（公告）日: 2023-09-26
• 發(fā)明（設(shè)計(jì)）人: 魏玲;楊曉剛;李興隆
• 申請(qǐng)（專利權(quán)）人: 山東巍然智能科技有限公司
• 主分類號(hào): G06V20/17
• 分類號(hào): G06V20/17;G06N3/0464;G06N3/048;G06N3/08;G06V10/80;G06V10/82
• 代理公司: 青島鼎丞智佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 37277
• 代理人: 王劍偉

本發(fā)明主要提供了一種無(wú)人機(jī)用視圖感知網(wǎng)絡(luò)模型及目標(biāo)檢測(cè)方法，模型基于YOLO?V4的網(wǎng)絡(luò)框架進(jìn)行改進(jìn)，包括backbone網(wǎng)絡(luò)、neck層和head檢測(cè)頭。backbone網(wǎng)絡(luò)選取CSPDarknet53作為骨干網(wǎng)絡(luò)，對(duì)圖像進(jìn)行特征提取；neck層采用特征融合模塊DPFPN，用于收集不同階段中特征圖的網(wǎng)絡(luò)層，進(jìn)一步提取無(wú)人機(jī)圖像中的復(fù)雜特征；head檢測(cè)頭用于預(yù)測(cè)無(wú)人機(jī)圖像目標(biāo)的類別、位置和置信度，其中的分類分支、回歸分支和置信度分支的參數(shù)在訓(xùn)練階段通過(guò)Vari?focalloss算法進(jìn)行訓(xùn)練損失計(jì)算并進(jìn)行優(yōu)化調(diào)整。本發(fā)明構(gòu)建上下雙路徑特征融合模塊DPFPN以更精細(xì)地融合目標(biāo)特征，緩解無(wú)人機(jī)場(chǎng)景下目標(biāo)多尺度問(wèn)題；集成vari?focalloss損失函數(shù)的計(jì)算以緩解無(wú)人機(jī)圖像密集目標(biāo)引起的檢測(cè)器位置誤差。

技術(shù)領(lǐng)域

本發(fā)明屬于無(wú)人機(jī)圖像識(shí)別技術(shù)領(lǐng)域，尤其涉及一種無(wú)人機(jī)用視圖感知網(wǎng)絡(luò)模型及目標(biāo)檢測(cè)方法。

背景技術(shù)

與自然場(chǎng)景中的目標(biāo)檢測(cè)相比，無(wú)人機(jī)場(chǎng)景中的目標(biāo)檢測(cè)發(fā)展緩慢，隨著深度學(xué)習(xí)的發(fā)展，無(wú)人機(jī)場(chǎng)景中的目標(biāo)檢測(cè)在救援、監(jiān)視、交通監(jiān)控和行人跟蹤方面獲得了巨大的發(fā)展勢(shì)頭，所有這些應(yīng)用都需要在無(wú)人機(jī)視圖中對(duì)目標(biāo)進(jìn)行魯棒有效的識(shí)別。然而，在無(wú)人機(jī)視圖的圖像中檢測(cè)目標(biāo)并不容易，存在一些挑戰(zhàn)，例如環(huán)境變化頻繁、目標(biāo)尺度劇烈變化、無(wú)人機(jī)計(jì)算能力有限等。目前隨著大規(guī)模數(shù)據(jù)集的普及，許多最先進(jìn)的基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)器已經(jīng)顯示出相當(dāng)高的性能，例如R-CNN系列和YOLO系列。然而，這些檢測(cè)器適用于分辨率相對(duì)較低的圖像，由于計(jì)算成本的限制，處理更高分辨率的圖像成為更大的挑戰(zhàn)。

本發(fā)明重點(diǎn)針對(duì)兩個(gè)方面的問(wèn)題提出了改進(jìn)方案：無(wú)人機(jī)所拍攝物體尺度的劇烈變化以及密集物體的遮擋，現(xiàn)有的檢測(cè)器識(shí)別精度及效率，仍然有進(jìn)一步提升的空間。

發(fā)明內(nèi)容

針對(duì)無(wú)人機(jī)場(chǎng)景下目標(biāo)多尺度問(wèn)題，本發(fā)明構(gòu)建了一個(gè)上下雙路徑特征融合模塊DPFPN，以更精細(xì)地融合目標(biāo)特征；針對(duì)無(wú)人機(jī)圖像中目標(biāo)密集問(wèn)題，本發(fā)明引入vari-focalloss損失計(jì)算，以緩解密集目標(biāo)引起的檢測(cè)器位置誤差。

本發(fā)明第一方面提供了一種無(wú)人機(jī)用視圖感知網(wǎng)絡(luò)模型，基于YOLO?V4的網(wǎng)絡(luò)框架進(jìn)行改進(jìn)，包括backbone網(wǎng)絡(luò)、neck層和head檢測(cè)頭；

所述backbone網(wǎng)絡(luò)選取CSPDarknet53作為骨干網(wǎng)絡(luò)，對(duì)預(yù)處理后的無(wú)人機(jī)圖像進(jìn)行特征提取；所述CSPDarknet53骨干網(wǎng)絡(luò)輸出包括C2、C3、C4和C5四層，其中C3、C4和C5作為neck層的輸入；

所述neck層采用特征融合模塊DPFPN，用于收集不同階段中特征圖的網(wǎng)絡(luò)層，進(jìn)一步提取無(wú)人機(jī)圖像中的復(fù)雜特征；所述neck層的輸出P5、P4和P3作為head檢測(cè)頭的輸入；

所述head檢測(cè)頭用于預(yù)測(cè)無(wú)人機(jī)圖像目標(biāo)的類別、位置和置信度，包括三個(gè)分支，所述三個(gè)分支的輸入是三種尺度特征圖，自上而下分別對(duì)應(yīng)neck層的P3、P4和P5；其中，每個(gè)分支包括三個(gè)子分支，分別為分類分支、回歸分支和置信度分支；所述分類分支、回歸分支和置信度分支的參數(shù)在訓(xùn)練階段通過(guò)Vari-focalloss算法進(jìn)行訓(xùn)練損失計(jì)算并進(jìn)行優(yōu)化調(diào)整。

在一種可能的設(shè)計(jì)中，所述CSPDarknet53骨干網(wǎng)絡(luò)依次通過(guò)2個(gè)CBM模塊、1個(gè)CSP模塊、2個(gè)CBM模塊、1個(gè)CSP模塊、2個(gè)CBM模塊、1個(gè)CSP模塊、2個(gè)CBM模塊、1個(gè)CSP模塊、2個(gè)CBM模塊、1個(gè)CSP模塊和一個(gè)CBM模塊得到輸出。