[發(fā)明專利]融合圖像和點(diǎn)云信息的檢測方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110076345.5
• 申請日: 2021-01-20
• 公開（公告）號(hào): CN112861653A
• 公開（公告）日: 2021-05-28
• 發(fā)明（設(shè)計(jì)）人: 章嶸;張健喃;趙釗
• 申請（專利權(quán)）人: 上海西井信息科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06T7/11;G06T7/90;G06F17/16;G01S7/48
• 代理公司: 上海隆天律師事務(wù)所 31282
• 代理人: 鐘宗

1.一種融合圖像和點(diǎn)云信息的檢測方法，其特征在于，包括以下步驟：

S110、使用激光雷達(dá)傳感器和圖像傳感器同步獲得點(diǎn)云信息和圖像信息；

S120、將所述圖像信息輸入經(jīng)過訓(xùn)練的第一卷積神經(jīng)網(wǎng)絡(luò)提取圖像信息中每個(gè)像素點(diǎn)的多重特征信息，所述多重特征信息至少包括每個(gè)像素點(diǎn)的色彩信息以及物體標(biāo)識(shí)信息；

S130、將激光雷達(dá)傳感器的激光點(diǎn)云投影到圖像上，將所述點(diǎn)云信息中每個(gè)激光點(diǎn)通過匹配到對應(yīng)的所述像素點(diǎn)，然后像素點(diǎn)的多重特征信息添加到對應(yīng)的所述點(diǎn)云信息中；

S140、將具有多重特征信息的點(diǎn)云信息輸入經(jīng)過訓(xùn)練的第二卷積神經(jīng)網(wǎng)絡(luò)輸出每個(gè)3D目標(biāo)的類別。

2.根據(jù)權(quán)利要求1所述的融合圖像和點(diǎn)云信息的檢測方法，其特征在于，所述步驟S110之前包括以下步驟：

S100、聯(lián)合標(biāo)定激光雷達(dá)傳感器和圖像傳感器以獲得激光雷達(dá)傳感器坐標(biāo)系相對于視覺圖像坐標(biāo)系的轉(zhuǎn)換矩陣；

所述步驟S130中，將所述激光雷達(dá)傳感器的激光點(diǎn)云的位置通過所述轉(zhuǎn)換矩陣轉(zhuǎn)換到所述視覺圖像坐標(biāo)系中，獲得對應(yīng)位置的所述像素點(diǎn)。

3.根據(jù)權(quán)利要求1所述的融合圖像和點(diǎn)云信息的檢測方法，其特征在于，所述步驟S130中，遍歷所述圖像的像素點(diǎn)，將與所述激光點(diǎn)云投影到視覺圖像坐標(biāo)系中的位置的距離最小的像素點(diǎn)作為匹配所述激光點(diǎn)云的所述像素點(diǎn)。

4.根據(jù)權(quán)利要求1所述的融合圖像和點(diǎn)云信息的檢測方法，其特征在于，所述步驟S120中，包括以下步驟：

S121、將圖像信息輸入經(jīng)過訓(xùn)練的機(jī)器視覺模型進(jìn)行基于所述圖像的圖像分割；

S122、通過機(jī)器視覺模型獲得所述圖像中每個(gè)分割后圖像區(qū)域?qū)?yīng)的物體標(biāo)識(shí)信息D；

S123、每個(gè)所述像素點(diǎn)的多重特征信息包括該像素點(diǎn)的RGB信息以及所述像素點(diǎn)所處的圖像區(qū)域中的物體標(biāo)識(shí)信息D。

5.根據(jù)權(quán)利要求4所述的融合圖像和點(diǎn)云信息的檢測方法，其特征在于，在所述步驟S110之前還包括：采用大量具有多重特征信息的點(diǎn)云信息訓(xùn)練所述第二卷積神經(jīng)網(wǎng)絡(luò)，所述第二卷積神經(jīng)網(wǎng)絡(luò)輸出3D目標(biāo)的類別。

6.根據(jù)權(quán)利要求5所述的融合圖像和點(diǎn)云信息的檢測方法，其特征在于，所述第二卷積神經(jīng)網(wǎng)絡(luò)還輸出每個(gè)所述3D目標(biāo)的3D輪廓以及3D輪廓的長寬高尺寸。

7.根據(jù)權(quán)利要求1所述的融合圖像和點(diǎn)云信息的檢測方法，其特征在于，在所述步驟S140之后還包括以下步驟：

將所述3D目標(biāo)所對應(yīng)的點(diǎn)云中的最小距離、所對應(yīng)的所有點(diǎn)云的平均距離或者到所對應(yīng)的所有點(diǎn)云的中心點(diǎn)的距離中的一種作為與所述3D目標(biāo)的距離。

8.根據(jù)權(quán)利要求1所述的融合圖像和點(diǎn)云信息的檢測方法，其特征在于，在所述步驟S140之后還包括以下步驟：

根據(jù)所述3D目標(biāo)所對應(yīng)的點(diǎn)云建立所述3D目標(biāo)的3D輪廓，獲得所述3D輪廓的尺寸作為所述3D目標(biāo)的輪廓的尺寸。