[發(fā)明專利]一種基于多目標(biāo)角點(diǎn)池化神經(jīng)網(wǎng)絡(luò)的車輛檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910381823.6
• 申請(qǐng)日: 2019-05-08
• 公開（公告）號(hào): CN110084222B
• 公開（公告）日: 2022-10-21
• 發(fā)明（設(shè)計(jì)）人: 郝立穎;栗杰;郭戈
• 申請(qǐng)（專利權(quán)）人: 大連海事大學(xué)
• 主分類號(hào): G06V20/54
• 分類號(hào): G06V20/54;G06V10/42;G06V10/44;G06V10/82;G06V10/80;G06V10/75
• 代理公司: 大連東方專利代理有限責(zé)任公司 21212
• 代理人: 姜玉蓉;李洪福

1.一種基于多目標(biāo)角點(diǎn)池化神經(jīng)網(wǎng)絡(luò)的被遮擋車輛檢測(cè)方法，其特征在于，包括以下步驟：

步驟S1：獲取MS COCO目標(biāo)檢測(cè)數(shù)據(jù)集，制作MS COCO車輛圖像數(shù)據(jù)集；

步驟S2：選取沙漏網(wǎng)絡(luò)為基石網(wǎng)絡(luò)，并搭建神經(jīng)網(wǎng)絡(luò)框架，采集整個(gè)網(wǎng)絡(luò)最后一層的特征并將其傳輸?shù)綒埐钅K；

步驟S3：對(duì)傳輸?shù)綒埐钅K的特征進(jìn)行多目標(biāo)角點(diǎn)池化操作，生成圖像內(nèi)各車輛的角點(diǎn)對(duì)、嵌入矢量和映射偏差特征；

步驟S4：設(shè)計(jì)損失函數(shù)，并利用Adam算法進(jìn)行優(yōu)化；

步驟S5：角點(diǎn)配對(duì)模塊對(duì)步驟S3中經(jīng)過多目標(biāo)角點(diǎn)池化操作得到的特征進(jìn)行角點(diǎn)對(duì)配對(duì)處理，若存在未配對(duì)角點(diǎn)，則通過角點(diǎn)補(bǔ)全模塊進(jìn)行補(bǔ)全處理，最后生成車輛檢測(cè)框，得出車輛的檢測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于多目標(biāo)角點(diǎn)池化神經(jīng)網(wǎng)絡(luò)的被遮擋車輛檢測(cè)方法，其特征在于，所述步驟S1的具體步驟如下：

步驟S101：下載MS COCO目標(biāo)檢測(cè)數(shù)據(jù)集，分別提取訓(xùn)練數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集中的車輛類別圖片和對(duì)應(yīng)標(biāo)簽；

步驟S102：將驗(yàn)證數(shù)據(jù)集和訓(xùn)練數(shù)據(jù)集中全部車輛類別圖片用于模型訓(xùn)練，將測(cè)試數(shù)據(jù)集平均分成兩部分，一部分用來(lái)做消融實(shí)驗(yàn)，另一部分用來(lái)評(píng)估模型性能。

3.根據(jù)權(quán)利要求1所述的基于多目標(biāo)角點(diǎn)池化神經(jīng)網(wǎng)絡(luò)的被遮擋車輛檢測(cè)方法，其特征在于，所述步驟S2的具體步驟如下：

步驟S201：選取由兩個(gè)沙漏模塊組成的沙漏網(wǎng)絡(luò)作為基石網(wǎng)絡(luò)，獲取圖像內(nèi)的全局特征和局部特征；

步驟S202：將沙漏網(wǎng)絡(luò)內(nèi)的最大池化層替換為步長(zhǎng)為2的卷積核，降低特征分辨率；

步驟S203：將沙漏網(wǎng)絡(luò)深度設(shè)置為102，采集整個(gè)網(wǎng)絡(luò)最后一層的特征并將其傳輸?shù)筋A(yù)測(cè)模塊。

4.根據(jù)權(quán)利要求1所述的基于多目標(biāo)角點(diǎn)池化神經(jīng)網(wǎng)絡(luò)的被遮擋車輛檢測(cè)方法，其特征在于，所述步驟S4中設(shè)計(jì)損失函數(shù)，所述損失函數(shù)的定義如下：

L＝L_det+α(L_gp+L_sp)+βL_off+γL_e；

其中，α，β，γ為損失函數(shù)各項(xiàng)系數(shù)，α＝0.1，β＝1，γ＝0.9；

L_det為基石網(wǎng)絡(luò)損失函數(shù)：

上式中，H和W分別是圖片的高和寬；i，j表示像素位置的第i行，第j列；a＝2,b＝4是超參數(shù)；p_ij為該像素的預(yù)測(cè)值；y_ij為該像素的真實(shí)值；N為訓(xùn)練樣本總數(shù)；

L_SP為分離角點(diǎn)損失函數(shù)：

上式中，k和j代表圖片內(nèi)的第k和j輛車；e_k是該車中心點(diǎn)嵌入向量；σ為嵌入向量維度，σ＝1；N為訓(xùn)練樣本總數(shù)；

L_gP為組合角點(diǎn)損失函數(shù)：

上式中，e_tk是第k輛車的左上角點(diǎn)嵌入向量；e_bk是第k輛車的右下角點(diǎn)嵌入向量；N為訓(xùn)練樣本總數(shù)；

L_off為映射偏差損失函數(shù)：

上式中，為映射偏差；x_k,y_k為第k輛車的原始坐標(biāo)；為映射后坐標(biāo)；n為下采樣因子；k為第k輛車；N為訓(xùn)練樣本總數(shù)；

L_e為角點(diǎn)補(bǔ)全損失函數(shù)：

上式中，O_e＝(|x-x′|，|y-y′|)為角點(diǎn)補(bǔ)全偏差；k為第k輛車；(x,y)為該車的真實(shí)位置坐標(biāo)；(x′,y′)為該車的預(yù)測(cè)位置坐標(biāo)；N為訓(xùn)練樣本總數(shù)。

5.根據(jù)權(quán)利要求1所述的基于多目標(biāo)角點(diǎn)池化神經(jīng)網(wǎng)絡(luò)的被遮擋車輛檢測(cè)方法，其特征在于，所述步驟S5中對(duì)步驟3得到的特征進(jìn)行角點(diǎn)對(duì)配對(duì)處理過程如下：

步驟S501：將步驟3中生成的圖像內(nèi)各車輛不同嵌入矢量的角點(diǎn)對(duì)進(jìn)行配對(duì)組合，確定車輛位置；

步驟S502：將步驟S501配對(duì)組合過程中由于遮擋原因無(wú)法配對(duì)的單獨(dú)角點(diǎn)采用角點(diǎn)補(bǔ)全算法生成對(duì)應(yīng)的另一角點(diǎn)；

步驟S503：將上述步驟S501和步驟S502成功配對(duì)的角點(diǎn)對(duì)都對(duì)應(yīng)車輛目標(biāo)檢測(cè)框的右下角點(diǎn)和左上角點(diǎn)，生成車輛檢測(cè)框。