[發(fā)明專利]一種輕量級(jí)圖像、視頻數(shù)據(jù)的實(shí)時(shí)目標(biāo)檢測(cè)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010182456.X
• 申請(qǐng)日: 2020-03-16
• 公開(kāi)（公告）號(hào): CN113408321B
• 公開(kāi)（公告）日: 2023-08-22
• 發(fā)明（設(shè)計(jì)）人: 周楊;趙海鵬;彭?xiàng)钺?/a>;胡校飛;彭豪杰;蔡心悅;張龍
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍戰(zhàn)略支援部隊(duì)信息工程大學(xué)
• 主分類號(hào): G06V20/58
• 分類號(hào): G06V20/58;G06V10/80;G06N3/0464;G06N3/08
• 代理公司: 鄭州睿信知識(shí)產(chǎn)權(quán)代理有限公司 41119
• 代理人: 吳敏

本發(fā)明涉及一種輕量級(jí)圖像、視頻數(shù)據(jù)的實(shí)時(shí)目標(biāo)檢測(cè)方法及裝置，屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域。本發(fā)明通過(guò)在YOLO?Lite的骨干網(wǎng)絡(luò)基礎(chǔ)上添加殘差塊和并行連接，將深層特征和淺層特征進(jìn)行融合，輸出不同尺度特征圖，實(shí)現(xiàn)了原始特征的最大利用；同時(shí)，對(duì)不同尺度的特征圖進(jìn)行融合，并在不同尺度特征圖均生成其對(duì)應(yīng)的預(yù)測(cè)結(jié)果，同時(shí)通過(guò)極大值抑制選擇最優(yōu)結(jié)果。本發(fā)明相比YOLOv3結(jié)構(gòu)更淺更窄，其可訓(xùn)練參數(shù)更少、計(jì)算量顯著降低，運(yùn)行速度更快，同時(shí)與YOLO?Lite相比在運(yùn)行速度相對(duì)降低的情況下，檢測(cè)精度大幅提高，降低了對(duì)硬件設(shè)備的要求。

技術(shù)領(lǐng)域

本發(fā)明涉及一種輕量級(jí)圖像、視頻數(shù)據(jù)的實(shí)時(shí)目標(biāo)檢測(cè)方法及裝置，屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域。

背景技術(shù)

近年來(lái)，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的熱門(mén)研究方向，聚焦于目標(biāo)定位和分類，其成果可廣泛應(yīng)用于人臉識(shí)別、姿態(tài)預(yù)測(cè)及多種智能應(yīng)用領(lǐng)域。當(dāng)前，卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)朝著更深更復(fù)雜的方向發(fā)展，雖然在精度上已經(jīng)可以達(dá)到甚至超越人類視覺(jué)的水平，但往往有著巨大的運(yùn)算量和超高的能源消耗，使得在許多無(wú)GPU和移動(dòng)設(shè)備中不方便使用。隨著無(wú)人駕駛汽車、小型智能無(wú)人機(jī)、增強(qiáng)現(xiàn)實(shí)眼鏡等計(jì)算能力和功耗有限的嵌入式和移動(dòng)智能設(shè)備的發(fā)展，輕量化和實(shí)時(shí)性網(wǎng)絡(luò)模型成為移動(dòng)端卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)技術(shù)的關(guān)鍵研究?jī)?nèi)容。

最近的研究表明，部分研究人員聚焦于通過(guò)構(gòu)建越來(lái)越復(fù)雜的神經(jīng)網(wǎng)絡(luò)提高檢測(cè)的準(zhǔn)確率如ResNet(Deep?Residual?Networks)、YOLOv3、HRNet(High-ResolutionNetwork)等，還有些通過(guò)對(duì)各種結(jié)構(gòu)優(yōu)化構(gòu)建小型高效的輕量化神經(jīng)網(wǎng)絡(luò)如MobileNetV1、MobileNetV2、Tiny-YOLO、YOLO-Lite、MTYOLO等。YOLO系列和SSD系列基于回歸方法的端到端深度學(xué)習(xí)目標(biāo)檢測(cè)方法在保持相對(duì)較高的平均準(zhǔn)確率情況下，在GPU計(jì)算機(jī)上實(shí)現(xiàn)了實(shí)時(shí)目標(biāo)檢測(cè)，但由于其計(jì)算量較大，難以在計(jì)算能力有限的無(wú)GPU計(jì)算機(jī)和便攜式設(shè)備上實(shí)現(xiàn)實(shí)時(shí)性準(zhǔn)確檢測(cè)。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種輕量級(jí)圖像、視頻數(shù)據(jù)的實(shí)時(shí)目標(biāo)檢測(cè)方法及裝置，以解決目前實(shí)時(shí)目標(biāo)檢測(cè)存在的計(jì)算復(fù)雜、計(jì)算量大的問(wèn)題。

本發(fā)明為解決上述技術(shù)問(wèn)題而提供一種輕量級(jí)圖像、視頻數(shù)據(jù)的實(shí)時(shí)目標(biāo)檢測(cè)方法，該檢測(cè)方法包括以下步驟：

1)獲取待檢測(cè)的數(shù)據(jù)；

2)將待檢測(cè)的數(shù)據(jù)輸入到完成訓(xùn)練的目標(biāo)檢測(cè)模型中，得到待檢測(cè)數(shù)據(jù)中的目標(biāo)識(shí)別結(jié)果；所述的目標(biāo)檢測(cè)模型包括特征提取部分和檢測(cè)端部分，所述特征提取部分采用YOLO-Lite網(wǎng)絡(luò)，且YOLO-Lite網(wǎng)絡(luò)中增設(shè)有殘差塊和并行連接結(jié)構(gòu)，用于將YOLO-Lite網(wǎng)絡(luò)得到深層特征和淺層特征進(jìn)行融合，以輸出不同尺度特征的特征圖；所述檢測(cè)端部分包括卷積層和拼接層，用于對(duì)特征提取部分得到的不同尺度的特征圖進(jìn)行融合，并在不同尺度特征圖均生成其對(duì)應(yīng)的預(yù)測(cè)結(jié)果。

本發(fā)明還提供了一種輕量級(jí)圖像、視頻數(shù)據(jù)的實(shí)時(shí)目標(biāo)檢測(cè)裝置，該檢測(cè)裝置包括存儲(chǔ)器和處理器，以及存儲(chǔ)在所述存儲(chǔ)器上并在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器與所述存儲(chǔ)器相耦合，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)本發(fā)明的輕量級(jí)圖像、視頻數(shù)據(jù)的實(shí)時(shí)目標(biāo)檢測(cè)方法。

本發(fā)明通過(guò)在YOLO-Lite的骨干網(wǎng)絡(luò)基礎(chǔ)上添加殘差塊和并行連接結(jié)構(gòu)，將深層特征和淺層特征進(jìn)行融合，輸出不同尺度特征圖，實(shí)現(xiàn)了原始特征的最大利用；同時(shí)，對(duì)不同尺度的特征圖進(jìn)行融合，并在不同尺度特征圖均生成其對(duì)應(yīng)的預(yù)測(cè)結(jié)果。本發(fā)明相比YOLOv3結(jié)構(gòu)更淺更窄，其可訓(xùn)練參數(shù)更少、計(jì)算量顯著降低，運(yùn)行速度更快，同時(shí)與YOLO-Lite相比在運(yùn)行速度相對(duì)降低的情況下，檢測(cè)精度大幅提高，降低了對(duì)硬件設(shè)備的要求。

進(jìn)一步地，所述的特征部分包括3×3卷積層、1×1卷積層、殘差塊、上采樣層和池化層，3×3卷積層用于對(duì)圖像數(shù)據(jù)進(jìn)行特征提取，池化層設(shè)置在卷積層之間，用于對(duì)提取的特征進(jìn)行重采樣，以降低卷積層提取的特征維度，殘差塊用于將淺層特征不斷向深層傳遞，上采樣層用于恢復(fù)圖像的尺寸。