[發(fā)明專利]車載圖像目標(biāo)檢測方法、系統(tǒng)及計算機可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210210487.0
• 申請日: 2022-03-04
• 公開（公告）號: CN114663831A
• 公開（公告）日: 2022-06-24
• 發(fā)明（設(shè)計）人: 樊盛華;瞿濤;鄭昱津;陳曦;汪鼎文
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06K9/62;G06N3/04;G06N3/08;G06V10/774;G06V10/82
• 代理公司: 武漢智權(quán)專利代理事務(wù)所(特殊普通合伙) 42225
• 代理人: 張凱

1.一種車載圖像目標(biāo)檢測方法，其特征在于，包括以下步驟：

使用測試場景相同的數(shù)據(jù)作為訓(xùn)練集，設(shè)定檢測的目標(biāo)類別數(shù)，對預(yù)設(shè)的深度卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練；

對訓(xùn)練后的所述深度卷積神經(jīng)網(wǎng)絡(luò)進行模型轉(zhuǎn)換與量化處理，生成車載端芯片支持的WK格式文件；

車載端芯片讀取、加載所述WK格式文件，并初始化NNIE對象；

讀取待檢測的目標(biāo)圖像，使用所述NNIE對象對所述目標(biāo)圖像進行轉(zhuǎn)化并將數(shù)據(jù)轉(zhuǎn)移到所述車載端芯片中進行推理，獲得推理的多維向量數(shù)組；

對所述多維向量數(shù)組進行NMS處理，去除冗余框，得到最終結(jié)果。

2.如權(quán)利要求1所述的車載圖像目標(biāo)檢測方法，其特征在于，所述深度卷積神經(jīng)網(wǎng)絡(luò)包括基于darknet53的YOLO V3神經(jīng)網(wǎng)絡(luò)模型。

3.如權(quán)利要求2所述的車載圖像目標(biāo)檢測方法，其特征在于，所述對訓(xùn)練后的所述深度卷積神經(jīng)網(wǎng)絡(luò)進行模型轉(zhuǎn)換與量化處理的步驟包括：

將訓(xùn)練好的YOLO V3神經(jīng)網(wǎng)絡(luò)模型利用darknet2caffe工具，轉(zhuǎn)換為caffemodel；

利用RuyiStudio工具，對caffemodel進行量化操作，將所述YOLO V3神經(jīng)網(wǎng)絡(luò)模型量化為所述車載端芯片支持的8bit的WK格式文件。

4.如權(quán)利要求3所述的車載圖像目標(biāo)檢測方法，其特征在于，所述對所述多維向量數(shù)組進行NMS處理，去除冗余框，得到最終結(jié)果的步驟包括：

對所述多維向量數(shù)組進行后處理，使用預(yù)設(shè)的anchor在三種尺度的feature map上進行候選框估計與分數(shù)計算，篩選出分數(shù)最高的作為選擇框，對選擇框進行NMS處理，過濾掉多余的框，得到最終的檢測框，得到最終結(jié)果。

5.如權(quán)利要求2所述的車載圖像目標(biāo)檢測方法，其特征在于，所述YOLO V3神經(jīng)網(wǎng)絡(luò)模型包括YOLOV3-SPP深度網(wǎng)絡(luò)模型，所述YOLOV3-SPP深度網(wǎng)絡(luò)模型包括多層卷積計算層和設(shè)置在相鄰層卷積計算層之間的SPP模塊。

6.如權(quán)利要求5所述的車載圖像目標(biāo)檢測方法，其特征在于，所述卷積計算層至少包括第五層卷積計算層和第六層卷積計算層，所述SPP模塊設(shè)置在所述第五層卷積計算層和所述第六層卷積計算層之間。

7.如權(quán)利要求5所述的車載圖像目標(biāo)檢測方法，其特征在于，所述SPP模塊包括四個并行的分支模塊，所述四個并行的分支模塊分別為一個跳躍連接模塊和三個最大池化層模塊，三個所述最大池化層模塊的池化核大小分別為3×3、9×9、13×13。

8.一種車載圖像目標(biāo)檢測系統(tǒng)，其特征在于，包括：

訓(xùn)練模塊，用于根據(jù)設(shè)定檢測的目標(biāo)類別數(shù)，并使用測試場景相同的數(shù)據(jù)作為訓(xùn)練集，對預(yù)設(shè)的深度卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練；

轉(zhuǎn)化與量化模塊，用于對訓(xùn)練后的所述深度卷積神經(jīng)網(wǎng)絡(luò)進行模型轉(zhuǎn)換與量化處理，生成車載端芯片支持的WK格式文件；

車載端芯片，用于讀取、加載所述WK格式文件，還用于讀取待檢測的目標(biāo)圖像；

NNIE對象，用于對所述目標(biāo)圖像進行轉(zhuǎn)化并將數(shù)據(jù)轉(zhuǎn)移到所述車載端芯片中進行推理，獲得推理的多維向量數(shù)組；

處理模塊，用于對所述多維向量數(shù)組進行NMS處理，去除冗余框，得到最終結(jié)果。

9.如權(quán)利要求8所述的車載圖像目標(biāo)檢測系統(tǒng)，其特征在于，所述深度卷積神經(jīng)網(wǎng)絡(luò)包括基于darknet53的YOLO V3神經(jīng)網(wǎng)絡(luò)模型。

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)上存儲有計算機程序，計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7中任一項所述車載圖像目標(biāo)檢測方法的所有方法步驟。