[發(fā)明專(zhuān)利]一種基于深度學(xué)習(xí)的實(shí)時(shí)多尺度密集目標(biāo)檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010782530.1
• 申請(qǐng)日: 2020-08-06
• 公開(kāi)（公告）號(hào): CN111950423B
• 公開(kāi)（公告）日: 2023-01-03
• 發(fā)明（設(shè)計(jì)）人: 陳初杰;眭海剛;毛泉涌;劉立輝;張永晉;程球;杜鑫
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)電子科技集團(tuán)公司第五十二研究所;武漢大學(xué)
• 主分類(lèi)號(hào): G06V20/40
• 分類(lèi)號(hào): G06V20/40;G06V10/52;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 杭州君度專(zhuān)利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊天嬌

本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)的實(shí)時(shí)多尺度密集目標(biāo)檢測(cè)方法，包括：構(gòu)建HikNet?LMS目標(biāo)檢測(cè)網(wǎng)絡(luò)；利用訓(xùn)練數(shù)據(jù)集對(duì)HikNet?LMS目標(biāo)檢測(cè)網(wǎng)絡(luò)訓(xùn)練至收斂；利用訓(xùn)練后的HikNet?LMS目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)輸入的視頻圖像進(jìn)行多尺度密集目標(biāo)檢測(cè)，輸出目標(biāo)檢測(cè)結(jié)果進(jìn)行實(shí)時(shí)展示。本發(fā)明的基于深度學(xué)習(xí)的實(shí)時(shí)多尺度密集目標(biāo)檢測(cè)方法，多尺度目標(biāo)檢測(cè)的能力強(qiáng)，檢測(cè)精度高，計(jì)算耗時(shí)短，實(shí)時(shí)性強(qiáng)。

技術(shù)領(lǐng)域

本申請(qǐng)屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)的實(shí)時(shí)多尺度密集目標(biāo)檢測(cè)方法。

背景技術(shù)

近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的迅猛發(fā)展以及計(jì)算機(jī)計(jì)算能力的不斷提升，目標(biāo)檢測(cè)識(shí)別技術(shù)作為一種典型的深度學(xué)習(xí)技術(shù)應(yīng)用正越來(lái)越多地被應(yīng)用于如交通監(jiān)控、安防控制和區(qū)域入侵警報(bào)等領(lǐng)域，并在這些領(lǐng)域中展現(xiàn)出極大的優(yōu)越性。

深度學(xué)習(xí)目標(biāo)檢測(cè)識(shí)別的方法主要基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)，因其檢測(cè)識(shí)別準(zhǔn)確率與處理速度的優(yōu)勢(shì)，應(yīng)用于各場(chǎng)景任務(wù)中。主流算法包括one-stage目標(biāo)檢測(cè)、two-stage目標(biāo)檢測(cè)和multi-stage目標(biāo)檢測(cè)。目前multi-stage目標(biāo)檢測(cè)方法由于處理速度限制，應(yīng)用較少；one-stage目標(biāo)檢測(cè)算法的特點(diǎn)是端到端的目標(biāo)檢測(cè)，速度較快，但準(zhǔn)確率相對(duì)不高；two-stage目標(biāo)檢測(cè)算法準(zhǔn)確率較高，但處理速度相對(duì)較慢。

然而，業(yè)界現(xiàn)有的目標(biāo)檢測(cè)方法主要針對(duì)目標(biāo)物體比較分散獨(dú)立的場(chǎng)景。在面對(duì)諸如人群和交通擁擠路段車(chē)輛等密集目標(biāo)場(chǎng)景下，由于目標(biāo)之間互相遮擋，導(dǎo)致許多目標(biāo)特征被覆蓋，信息的可辨識(shí)度大大降低。同時(shí)，密集場(chǎng)景下，待檢測(cè)目標(biāo)往往會(huì)分布在不同視覺(jué)空間中，即目標(biāo)在圖像中呈現(xiàn)不同的距離分布，這便導(dǎo)致了目標(biāo)尺度大小具有很大的多樣性的問(wèn)題，進(jìn)一步增加了檢測(cè)的難度。此外，在一些復(fù)雜的檢測(cè)場(chǎng)景下，目標(biāo)可能存在被樹(shù)木、建筑物等遮擋的情況，這些因素造成目標(biāo)特征被淹沒(méi)，嚴(yán)重影響對(duì)目標(biāo)檢測(cè)識(shí)別的精確度。現(xiàn)有的目標(biāo)檢測(cè)方法，圖像特征提取能力弱，在解決多尺度密集目標(biāo)檢測(cè)的問(wèn)題時(shí)往往存在大量的漏檢和誤檢，多尺度密集目標(biāo)檢測(cè)問(wèn)題在學(xué)術(shù)界和工業(yè)界均還未達(dá)到較高的技術(shù)成熟度。

現(xiàn)有的密集目標(biāo)檢測(cè)方法，如公開(kāi)號(hào)為CN110807496A的中國(guó)專(zhuān)利，其公開(kāi)了一種基于YOLOv3目標(biāo)檢測(cè)網(wǎng)絡(luò)的方法。該方法主要通過(guò)對(duì)訓(xùn)練數(shù)據(jù)集增加預(yù)處理的方式，如密集目標(biāo)樣本數(shù)據(jù)增廣、增加邊緣信息通道和更改錨點(diǎn)框中心坐標(biāo)等方法，從而達(dá)到密集目標(biāo)檢測(cè)召回率的目的。但這種方法本質(zhì)上對(duì)檢測(cè)方法沒(méi)有做任何改進(jìn)，對(duì)數(shù)據(jù)集的依賴(lài)性強(qiáng)、泛化能力弱，當(dāng)檢測(cè)場(chǎng)景切換時(shí)便需要重新對(duì)海量數(shù)據(jù)集進(jìn)行處理，效率低下。

又如公開(kāi)號(hào)為CN110135422A的中國(guó)專(zhuān)利，其公開(kāi)了一種分步進(jìn)行的目標(biāo)檢測(cè)方法，該方法首先檢測(cè)整體密集目標(biāo)區(qū)域，然后再在區(qū)域中選取每個(gè)目標(biāo)的感興趣區(qū)域進(jìn)行檢測(cè)。但這種方法的缺點(diǎn)是分階段檢測(cè)耗時(shí)較長(zhǎng)且該方法沒(méi)有針對(duì)多尺度目標(biāo)檢測(cè)問(wèn)題做相應(yīng)的設(shè)計(jì)，多尺度目標(biāo)檢測(cè)能力弱。

發(fā)明內(nèi)容

本申請(qǐng)的目的在于提供一種基于深度學(xué)習(xí)的實(shí)時(shí)多尺度密集目標(biāo)檢測(cè)方法，多尺度目標(biāo)檢測(cè)的能力強(qiáng)，檢測(cè)精度高，計(jì)算耗時(shí)短，實(shí)時(shí)性強(qiáng)。

為實(shí)現(xiàn)上述目的，本申請(qǐng)所采取的技術(shù)方案為：

一種基于深度學(xué)習(xí)的實(shí)時(shí)多尺度密集目標(biāo)檢測(cè)方法，所述的基于深度學(xué)習(xí)的實(shí)時(shí)多尺度密集目標(biāo)檢測(cè)方法，包括：

步驟1：構(gòu)建HikNet-LMS目標(biāo)檢測(cè)網(wǎng)絡(luò)；

所述HikNet-LMS目標(biāo)檢測(cè)網(wǎng)絡(luò)包括基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)和雙向多尺度特征融合結(jié)構(gòu)，其中基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)從輸入側(cè)到輸出側(cè)包括依次連接的卷積層、第一CNN結(jié)構(gòu)、第二CNN結(jié)構(gòu)、HRFB網(wǎng)絡(luò)結(jié)構(gòu)、第三CNN結(jié)構(gòu)、HRFB網(wǎng)絡(luò)結(jié)構(gòu)、第四CNN結(jié)構(gòu)、HRFB網(wǎng)絡(luò)結(jié)構(gòu)、第五CNN結(jié)構(gòu)，所述第三CNN結(jié)構(gòu)、第四CNN結(jié)構(gòu)、第五CNN結(jié)構(gòu)的輸出作為雙向多尺度特征融合結(jié)構(gòu)的輸入，所述雙向多尺度特征融合結(jié)構(gòu)的輸出作為目標(biāo)檢測(cè)結(jié)果；