[發(fā)明專利]一種圖像與點(diǎn)云的融合的處理方法、裝置和無人車

在審

• 申請?zhí)枺?/td>: 202211039050.1
• 申請日: 2022-08-29
• 公開（公告）號: CN115457358A
• 公開（公告）日: 2022-12-09
• 發(fā)明（設(shè)計(jì)）人: 劉明;廖毅雄;王魯佳
• 申請（專利權(quán)）人: 深圳一清創(chuàng)新科技有限公司;清水灣（深圳）自動(dòng)駕駛智能研究中心（有限合伙）
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06V20/58;G06V10/44;G06V10/26;G06T7/80;G06N3/04;G01S17/931;G01S17/89
• 代理公司: 深圳市六加知識產(chǎn)權(quán)代理有限公司 44372
• 代理人: 江曉蘇

本發(fā)明涉及自動(dòng)駕駛領(lǐng)域，特別涉及一種圖像與點(diǎn)云的融合的處理方法，應(yīng)用于無人車，所述無人車設(shè)有激光雷達(dá)和車載攝像頭，方法包括：根據(jù)所述無人車當(dāng)前的位置，通過所述激光雷達(dá)獲取原始點(diǎn)云，并通過所述車載攝像頭獲取圖像；獲取所述圖像中障礙物的檢測信息，所述檢測信息包括檢測框、類別信息和二維輪廓；將所述障礙物對應(yīng)的所述原始點(diǎn)云投影到所述圖像中，得到投影點(diǎn)云；計(jì)算所述投影點(diǎn)云與所述二維輪廓的重合度；當(dāng)所述重合度大于預(yù)設(shè)閾值時(shí)，根據(jù)所述二維輪廓關(guān)聯(lián)的所述類別信息確定所述障礙物的類別。本發(fā)明能夠解決點(diǎn)云稀疏無法檢測的情況，提高類別判斷的精度，減少漏撿的情況發(fā)生，提高無人車周邊環(huán)境的感知能力，減少無人車盲區(qū)。

技術(shù)領(lǐng)域

本發(fā)明涉及自動(dòng)駕駛領(lǐng)域，特別涉及一種圖像與點(diǎn)云的融合的處理方法、裝置和無人車。

背景技術(shù)

無人駕駛技術(shù)依賴于自動(dòng)駕駛車輛對周圍障礙物的檢測，一般采用激光雷達(dá)搭配傳統(tǒng)方法、深度學(xué)習(xí)方法進(jìn)行障礙物感知。激光雷達(dá)獲取點(diǎn)云，計(jì)算點(diǎn)云與檢測框的重合度可以賦予障礙物類別，但高線束的激光雷達(dá)價(jià)格昂貴，因此為了降低成本有時(shí)會采用低線束的激光雷達(dá)，導(dǎo)致自動(dòng)駕駛車輛在障礙物感知時(shí)會出現(xiàn)無法檢測、賦予的類別錯(cuò)誤或漏檢等情況。

在實(shí)現(xiàn)本發(fā)明實(shí)施例的過程中，發(fā)明人發(fā)現(xiàn)：用低線束激光雷達(dá)獲取的點(diǎn)云較少且稀疏，另外點(diǎn)云的一些特性沒有像圖像中包含豐富的語義信息，因此僅依靠激光雷達(dá)進(jìn)行障礙物檢測存在局限性。

發(fā)明內(nèi)容

本發(fā)明實(shí)施方式主要解決障礙物感知時(shí)點(diǎn)云稀疏無法檢測、提高類別判斷精度以及漏檢的技術(shù)問題。

鑒于上述問題，本發(fā)明實(shí)施例提供了一種圖像與點(diǎn)云的融合的處理方法、裝置及無人車，克服了上述問題或者至少部分地解決了上述問題。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供一種圖像與點(diǎn)云的融合的處理方法，應(yīng)用于無人車，所述方法包括：根據(jù)所述無人車當(dāng)前的位置，通過所述激光雷達(dá)獲取原始點(diǎn)云，并通過所述車載攝像頭獲取圖像；獲取所述圖像中障礙物的檢測信息，所述檢測信息包括檢測框、類別信息和二維輪廓；將所述障礙物對應(yīng)的所述原始點(diǎn)云投影到所述圖像中，得到投影點(diǎn)云；計(jì)算所述投影點(diǎn)云與所述二維輪廓的重合度；當(dāng)所述重合度大于預(yù)設(shè)閾值時(shí)，根據(jù)所述二維輪廓關(guān)聯(lián)的所述類別信息確定所述障礙物的類別。

可選的，所述獲取所述圖像中障礙物的檢測信息，包括：通過實(shí)例分割網(wǎng)絡(luò)獲取所述圖像中所述障礙物的檢測信息，其中，所述實(shí)例分割網(wǎng)絡(luò)由卷積神經(jīng)網(wǎng)絡(luò)加入金字塔網(wǎng)絡(luò)FPN和Head網(wǎng)絡(luò)構(gòu)成。

可選的，所述通過實(shí)例分割網(wǎng)絡(luò)獲取所述圖像中所述障礙物的檢測信息，包括：通過所述金字塔網(wǎng)絡(luò)FPN對高層特征圖進(jìn)行上采樣，并將所述上采樣的結(jié)果與低層特征圖進(jìn)行自頂向下連接，以進(jìn)行多尺度預(yù)測；其中，在進(jìn)行所述多尺度預(yù)測時(shí)通過所述Head網(wǎng)絡(luò)對障礙物進(jìn)行實(shí)例掩碼預(yù)測。

可選的，所述獲取所述障礙物對應(yīng)的所述原始點(diǎn)云在所述圖像中的投影點(diǎn)云，包括：根據(jù)所述原始點(diǎn)云獲取地面點(diǎn)云和非地面點(diǎn)云；去除所述地面點(diǎn)云，將所述非地面點(diǎn)云保留并作為障礙物點(diǎn)云；將所述障礙物點(diǎn)云投影到所述圖像中，得到投影點(diǎn)云。

可選的，將所述障礙物點(diǎn)云投影到所述圖像中，得到投影點(diǎn)云，包括：根據(jù)標(biāo)定相機(jī)的內(nèi)外參及雷達(dá)外參矩陣得到相關(guān)參數(shù)；根據(jù)所述相關(guān)參數(shù)確定雷達(dá)坐標(biāo)系和相機(jī)坐標(biāo)系的映射關(guān)系；基于所述映射關(guān)系將所述障礙物點(diǎn)云映射到圖像中，獲取所述障礙物投影點(diǎn)云。

根據(jù)本發(fā)明實(shí)施例的另一個(gè)方面，提供一種圖像與點(diǎn)云的融合的處理裝置，所述圖像與點(diǎn)云的融合的處理裝置包括：原始信息獲取模塊，根據(jù)所述無人車當(dāng)前的位置，通過所述激光雷達(dá)獲取原始點(diǎn)云，并通過所述車載攝像頭獲取圖像；檢測信息獲取模塊，獲取所述圖像中障礙物的檢測信息，所述檢測信息包括檢測框、類別信息和二維輪廓；投影點(diǎn)云獲取模塊，將所述障礙物對應(yīng)的所述原始點(diǎn)云投影到所述圖像中，得到投影點(diǎn)云；重合度計(jì)算模塊，計(jì)算所述投影點(diǎn)云與所述二維輪廓的重合度；語義賦予模塊，用于當(dāng)所述重合度大于預(yù)設(shè)閾值時(shí)，根據(jù)所述二維輪廓關(guān)聯(lián)的所述類別信息確定所述障礙物的類別。