[發(fā)明專利]一種基于點(diǎn)云和圖像數(shù)據(jù)的三維目標(biāo)檢測(cè)系統(tǒng)和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110652361.4
• 申請(qǐng)日: 2021-06-11
• 公開（公告）號(hào): CN113111978B
• 公開（公告）日: 2021-10-01
• 發(fā)明（設(shè)計(jì)）人: 華煒;馬也馳;張順;李融;謝天
• 申請(qǐng)（專利權(quán)）人: 之江實(shí)驗(yàn)室
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務(wù)所(普通合伙) 33213
• 代理人: 孫孟輝

1.一種基于點(diǎn)云和圖像數(shù)據(jù)的三維目標(biāo)檢測(cè)系統(tǒng)，其特征在于，包括：三維檢測(cè)神經(jīng)網(wǎng)絡(luò)、二維檢測(cè)神經(jīng)網(wǎng)絡(luò)、融合處理模塊、分類器和后處理模塊，所述三維檢測(cè)神經(jīng)網(wǎng)絡(luò)是完整的獨(dú)立完成三維目標(biāo)檢測(cè)任務(wù)的神經(jīng)網(wǎng)絡(luò)，輸入為原始三維點(diǎn)云數(shù)據(jù)，直接輸出三維目標(biāo)信息，并傳遞至融合處理模塊；所述二維檢測(cè)神經(jīng)網(wǎng)絡(luò)是完整的獨(dú)立完成二維目標(biāo)檢測(cè)任務(wù)的神經(jīng)網(wǎng)絡(luò)，輸入為二維圖片數(shù)據(jù)，直接輸出二維目標(biāo)信息，并傳遞至融合處理模塊；所述融合處理模塊對(duì)所述三維目標(biāo)信息和二維目標(biāo)信息進(jìn)行融合處理后，將融合處理后的數(shù)據(jù)輸出至分類器，所述分類器對(duì)融合處理后的數(shù)據(jù)信息進(jìn)行分類，輸出分類結(jié)果至后處理模塊，所述分類器采用輕量級(jí)神經(jīng)網(wǎng)絡(luò)，由M1個(gè)卷積層和1個(gè)池化層組成，獨(dú)立于三維檢測(cè)神經(jīng)網(wǎng)絡(luò)和二維檢測(cè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，其中卷積層的卷積核尺寸的M2*1；所述后處理模塊輸入分類結(jié)果和三目標(biāo)信息，輸出目標(biāo)檢測(cè)結(jié)果；

所述三維檢測(cè)神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)為若干組三維點(diǎn)云坐標(biāo)數(shù)據(jù)，輸出為三維目標(biāo)信息，將所述三維點(diǎn)云坐標(biāo)數(shù)據(jù)進(jìn)行過濾，即在傳感器坐標(biāo)系下X，Y，Z軸的檢測(cè)范圍大小分別為x_min到x_max米，y_min到y(tǒng)_max米，z_min到z_max米進(jìn)行濾波，并投影到H*W的圖像坐標(biāo)系下，其中傳感器坐標(biāo)系為以傳感器中心為坐標(biāo)原點(diǎn)，向前為X軸正方向，向右為Y軸正方向，向上為Z軸正方向，H與W為圖像的長(zhǎng)和寬，每個(gè)三維點(diǎn)投影到圖像的公式如下所示：

Pixel_u = Point_x * (x_max-x_min)) / H； Pixel_v = Point_y * (y_max-(y_min))) /W，

其中Pixel_u、Pixel_v為投影后在圖像坐標(biāo)系下的橫、縱坐標(biāo)，Point_x、Point_y為三維點(diǎn)云在傳感器坐標(biāo)系下的x、y坐標(biāo)；針對(duì)投影后圖像數(shù)據(jù)的每個(gè)像素點(diǎn)，取傳感器坐標(biāo)系下z值最高的點(diǎn)，并計(jì)算投影到該像素點(diǎn)的點(diǎn)云的密度，其中計(jì)算某一像素點(diǎn)的點(diǎn)云的密度公式如下所示：

Density_uv = Min( Log(Counts + 1) / Log(M3)， 1)

其中Density_uv為投影到圖像坐標(biāo)系(u，v)上的點(diǎn)云的密度，Counts為投影到該像素點(diǎn)的點(diǎn)的個(gè)數(shù)，M3為傳感器的線束，將該點(diǎn)的高度，反射強(qiáng)度以及Density_uv作為該像素點(diǎn)的RGB特征，得到3*H*W的特征張量送入三維目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)中。

2.如權(quán)利要求1所述的一種基于點(diǎn)云和圖像數(shù)據(jù)的三維目標(biāo)檢測(cè)系統(tǒng)，其特征在于，所述三維檢測(cè)神經(jīng)網(wǎng)絡(luò)，輸入數(shù)據(jù)為若干組三維點(diǎn)云坐標(biāo)數(shù)據(jù)，輸出為N1組三維目標(biāo)信息，其中輸出的每組三維目標(biāo)信息包含一個(gè)目標(biāo)的三維區(qū)域和該目標(biāo)屬于C1種不同類別的置信度，N1為預(yù)設(shè)的目標(biāo)總數(shù)，C1為三維檢測(cè)神經(jīng)網(wǎng)絡(luò)定義的類別總數(shù)；

所述二維檢測(cè)神經(jīng)網(wǎng)絡(luò)，輸入數(shù)據(jù)為二維圖片數(shù)據(jù)，輸出數(shù)據(jù)為N2組二維目標(biāo)信息，其中輸出的每組二維目標(biāo)信息包含一個(gè)目標(biāo)的二維區(qū)域和該目標(biāo)屬于C2種不同類別的置信度，N2為預(yù)設(shè)的目標(biāo)總數(shù)，C2為二維檢測(cè)神經(jīng)網(wǎng)絡(luò)定義的類別總數(shù)，且二維檢測(cè)神經(jīng)網(wǎng)絡(luò)定義的任意一種類別是二維檢測(cè)神經(jīng)網(wǎng)絡(luò)定義的一種類別或者是二維檢測(cè)神經(jīng)網(wǎng)絡(luò)定義的一種類別的子類別。

3.如權(quán)利要求1所述的一種基于點(diǎn)云和圖像數(shù)據(jù)的三維目標(biāo)檢測(cè)系統(tǒng)，其特征在于，所述三維目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)采用anchor free目標(biāo)檢測(cè)框架，對(duì)圖像坐標(biāo)系下的目標(biāo)進(jìn)行檢測(cè)，得到圖像坐標(biāo)系下的目標(biāo)的信息再映射到傳感器坐標(biāo)系下，即得到該目標(biāo)的三維目標(biāo)信息。

4.如權(quán)利要求3所述的一種基于點(diǎn)云和圖像數(shù)據(jù)的三維目標(biāo)檢測(cè)系統(tǒng)，其特征在于，采用Focal_Loss損失函數(shù)對(duì)圖像坐標(biāo)系下目標(biāo)的中心點(diǎn)的位置進(jìn)行回歸，采用L1_Loss損失函數(shù)對(duì)目標(biāo)的中心點(diǎn)的偏移量進(jìn)行回歸，采用L1_Loss損失函數(shù)對(duì)目標(biāo)的長(zhǎng)、寬、高以及目標(biāo)中心點(diǎn)在傳感器坐標(biāo)系下的Z軸坐標(biāo)進(jìn)行回歸，針對(duì)目標(biāo)的航向角，采用SmoothL1_Loss損失函數(shù)對(duì)其正弦值和余弦值進(jìn)行回歸。