[發(fā)明專利]一種應(yīng)用于智能駕駛的單目三維目標(biāo)實(shí)時檢測方法

在審

• 申請?zhí)枺?/td>: 202310497747.1
• 申請日: 2023-05-06
• 公開（公告）號: CN116645663A
• 公開（公告）日: 2023-08-25
• 發(fā)明（設(shè)計(jì)）人: 孫長亮;劉宏立;吳曉闖
• 申請（專利權(quán)）人: 湖南大學(xué)
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V20/58;G06V10/82;G06N3/045;G06N3/0985
• 代理公司: 長沙瀚頓知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 43223
• 代理人: 吳亮;朱敏

1.一種應(yīng)用于智能駕駛的單目三維目標(biāo)實(shí)時檢測方法，其特征在于，包括：

步驟10：數(shù)據(jù)集準(zhǔn)備；

步驟20：目標(biāo)識別神經(jīng)網(wǎng)絡(luò)模型構(gòu)建；

步驟30：目標(biāo)識別神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練；

步驟40：目標(biāo)識別神經(jīng)網(wǎng)絡(luò)模型測試；

步驟10包括：

步驟11：圖像采集；基于單目RGB攝像頭，采集車輛行駛過程中的圖像，并采用張正友標(biāo)定法對進(jìn)行攝像頭進(jìn)行標(biāo)定，獲得投影矩陣M，表示圖像像素坐標(biāo)與物理坐標(biāo)系之間的坐標(biāo)轉(zhuǎn)換關(guān)系；

步驟12：圖像標(biāo)注；以車輛為目標(biāo)，標(biāo)注每張圖像上的目標(biāo)信息；目標(biāo)信息包括：目標(biāo)類別，目標(biāo)二維矩形框位置目標(biāo)車頭方向dir^g，目標(biāo)頭部或者尾部比例目標(biāo)行駛方向ori^g、目標(biāo)行駛方向比例目標(biāo)三維尺寸目標(biāo)類別包括5種：轎車、卡車、大巴車、三輪車、非機(jī)動車；目標(biāo)車頭方向包括2種：車頭朝前、車頭朝后；目標(biāo)行駛方向包括3種：左、中、右；

步驟13：數(shù)據(jù)集劃分，將所有經(jīng)標(biāo)注的圖像構(gòu)建數(shù)據(jù)集，并以一定比例劃分為訓(xùn)練集、驗(yàn)證集；

步驟20包括：

目標(biāo)識別神經(jīng)網(wǎng)絡(luò)模型包括特征提取網(wǎng)絡(luò)模型和偽三維目標(biāo)信息回歸網(wǎng)絡(luò)模型；

步驟21：特征提取網(wǎng)絡(luò)模型構(gòu)建；特征提取網(wǎng)絡(luò)輸入圖像，采用19個卷積層，5個池化層對輸入圖像提取高維度特征，使用空間金字塔池化SPP結(jié)構(gòu)融合多尺度特征，輸出3個特征圖用于檢測，這3個特征圖分別針對不同尺度的目標(biāo)；

步驟22：偽3維目標(biāo)信息回歸網(wǎng)絡(luò)模型構(gòu)建；偽三維目標(biāo)信息回歸網(wǎng)絡(luò)輸入特征提取網(wǎng)絡(luò)模型輸出的3個特征圖，對每個特征圖采用5個卷積層回歸目標(biāo)的偽三維信息，對于每個特征圖中的cell單元，輸出對應(yīng)的預(yù)測目標(biāo)信息；

回歸目標(biāo)信息包括：預(yù)測目標(biāo)類別label，預(yù)測目標(biāo)矩形框偏置(t_x,t_y,t_w,t_h)_2d，預(yù)測目標(biāo)矩形框置信度conf，預(yù)測目標(biāo)車頭方向dir，預(yù)測目標(biāo)行駛方向oir，預(yù)測目標(biāo)頭部或者尾部比例r_w，預(yù)測目標(biāo)行駛方向比例r_h，預(yù)測目標(biāo)三維尺寸預(yù)測目標(biāo)三維尺寸所屬的3Danchors類別k；

其中，label、dir、oir、k采用one-hot編碼；

目標(biāo)矩形框回歸采用2D?anchors設(shè)計(jì)，通過對訓(xùn)練數(shù)據(jù)集中目標(biāo)的矩形框?qū)捄透呤褂胟-means聚類，得到9組2D?anchors超參數(shù)對于每個特征圖中的cell單元位置(x_p,y_p)，所得的預(yù)測目標(biāo)矩形框偏置(t_x,t_y,t_w,t_h)_2d與預(yù)測目標(biāo)矩形框位置(x,y,w,h)'_2d之間的關(guān)系為：

目標(biāo)三維尺寸回歸采用3D?anchors設(shè)計(jì)，通過對訓(xùn)練數(shù)據(jù)集中目標(biāo)三維尺寸使用k-means聚類，得到3組3D?anchors超參數(shù)對于每個目標(biāo)，所得的預(yù)測目標(biāo)三維尺寸偏置與預(yù)測目標(biāo)三維尺寸(l,w,h)'_3d之間的關(guān)系為：

其中，k為預(yù)測目標(biāo)三維尺寸所屬的3D?anchors類別；

步驟23：目標(biāo)識別神經(jīng)網(wǎng)絡(luò)模型損失函數(shù)構(gòu)建；各分項(xiàng)損失構(gòu)建包括：

目標(biāo)矩形框偏置預(yù)測采用均方差損失：

其中，K×K表示輸出層分辨率；M表示2D?anchors，每個輸出層的cell單元對應(yīng)有3個；為目標(biāo)矩形框偏置真值，為預(yù)測目標(biāo)矩形框偏置值，表示i,j位置是否為目標(biāo)；

目標(biāo)矩形框置信度預(yù)測采用二分類交叉熵?fù)p失：

其中，表示位置i,j是否為目標(biāo)的真值，C_ij表示位置i,j是否為目標(biāo)的預(yù)測值；

目標(biāo)類別預(yù)測采用多分類交叉熵?fù)p失：

其中，表示i,j位置為類別c的概率真值，p_ij(c)表示i,j位置為類別c的概率預(yù)測值，classes為類別集合；

目標(biāo)車頭方向預(yù)測采用二分類交叉熵?fù)p失：

其中，表示i,j位置車頭是否朝前的真值，表示i,j位置車頭是否朝前的預(yù)測值；

目標(biāo)頭部或者尾部比例預(yù)測采用均方誤差損失：

其中，表示i,j位置車頭或者車尾比例真值，表示i,j位置車頭或者車尾比例預(yù)測值；

目標(biāo)行駛方向預(yù)測采用多分類交叉熵?fù)p失：

其中，m表示目標(biāo)所屬的車輛行駛方向oir類別，表示i,j位置車輛行駛方向的真值，表示i,j位置車輛行駛方向的預(yù)測值；

目標(biāo)行駛方向比例預(yù)測采用均方誤差損失：

其中，表示i,j位置方向比例真值，表示i,j位置方向比例預(yù)測值；

目標(biāo)三維尺寸所屬類別預(yù)測采用多分類交叉熵?fù)p失：

其中，表示i,j位置屬于3D?anchors中第r個的概率真值，p_ij(r)表示i,j位置屬于3Danchors中第r個的概率預(yù)測值；

目標(biāo)三維尺寸偏置預(yù)測采用均方誤差損失：

其中，表示i,j位置目標(biāo)三維尺寸偏置真值，表示i,j位置目標(biāo)三維尺寸偏置預(yù)測值；

目標(biāo)識別神經(jīng)網(wǎng)絡(luò)模型的總損失為各分項(xiàng)損失的總和：

loss(3d_det)

＝loss(2d_box)+loss(conf)+loss(label)+loss(dir)+loss(r_w)

+loss(ori)+loss(r_h)+loss(dim_class)+loss(dim_offset)。