[發(fā)明專利]一種融合語義信息的激光雷達目標(biāo)檢測方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110317542.1
• 申請日: 2021-03-25
• 公開（公告）號: CN113128348A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計）人: 李燕;陳超;齊飛;王曉甜;石光明
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06T7/10
• 代理公司: 北京眾達德權(quán)知識產(chǎn)權(quán)代理有限公司 11570
• 代理人: 吳瑩

本發(fā)明公開了一種融合語義信息的激光雷達目標(biāo)檢測方法及系統(tǒng)，所述方法包括：對每一時間戳下的圖像幀進行語義分割處理，獲得語義分割分?jǐn)?shù)；在每一幀點云數(shù)據(jù)中添加相應(yīng)攝像機坐標(biāo)下的圖像RGB特征；將添加所述圖像RGB特征的所述點云數(shù)據(jù)投影到分割網(wǎng)絡(luò)的輸出中，并將所述語義分割分?jǐn)?shù)附加到所述點云數(shù)據(jù)中；對附加所述語義分割分?jǐn)?shù)和所述圖像RGB特征的所述點云數(shù)據(jù)進行基于圖卷積的目標(biāo)分類與3D框回歸，獲得目標(biāo)位置框和目標(biāo)類別。解決了現(xiàn)有技術(shù)中存在對目標(biāo)的特征的檢測效果不夠準(zhǔn)確，進而導(dǎo)致對車輛、行人的目標(biāo)檢測不夠準(zhǔn)確和高效的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺領(lǐng)域相關(guān)領(lǐng)域，尤其涉及一種融合語義信息的激光雷達目標(biāo)檢測方法及系統(tǒng)。

背景技術(shù)

環(huán)境感知技術(shù)于智能交通、智能穿戴設(shè)備、智慧城市等領(lǐng)域有著重要的意義。其中，傳感器獲取并處理信息是實現(xiàn)環(huán)境感知的基礎(chǔ)和技術(shù)前提，相機獲取的圖像數(shù)據(jù)具有固有的深度模糊性，受光線及天氣影響較大，但是可以提供細(xì)粒度的紋理以及顏色信息；另一方面，激光雷達獲取的點云數(shù)據(jù)提供了非常精確的目標(biāo)空間位置信息，但是分辨率和紋理信息較弱。為了改善單一傳感器造成的檢測效果不佳，目前多采用多傳感器融合的研究方法從而能夠提供豐富且準(zhǔn)確的環(huán)境信息。

現(xiàn)有的多傳感器融合方法主要分為三類：特征級別融合、決策級別融合以及2D目標(biāo)框投影點云的two-stage融合。特征級別融合例如Xiaozhi Chen等人提出的MV3D、JasonKu等人提出的AVOD等網(wǎng)絡(luò)結(jié)構(gòu)，主要是將圖像特征與點云特征分流提取，再在特征級別上進行直接級聯(lián)或者進行特征的多尺度融合。但是這種融合方式最大的缺點在于“特征模糊”，一方面點云的一個點對應(yīng)圖像視圖上的多個像素點，另一方面提取的圖像特征圖與點云特征圖中，特征的數(shù)量級相差較大，也就造成了實際起作用的特征圖中并未很好地利用到小量級的信息；決策級別融合是相對簡單的融合方式，例如SuPang等人提出的CLOCs網(wǎng)絡(luò)，即兩種模態(tài)的特征不在特征層或者最開始就融合，而是分別進行各自網(wǎng)絡(luò)的訓(xùn)練推理，分別得到2D和3D檢測器下的proposals，再將兩種模態(tài)的proposals編碼成稀疏張量，對于非空的元素采用二維卷積做對應(yīng)的特征融合。決策層融合的好處在于兩種模態(tài)的網(wǎng)絡(luò)結(jié)構(gòu)之間互不干擾，可以獨自訓(xùn)練和組合，但是存在一定的缺點就是在決策層做融合實際上是對原始傳感器數(shù)據(jù)信息利用最少的，不能很好地利用多傳感器數(shù)據(jù)之間互補的特性；以Charles R.Qi等人所提出的F-Pointnet結(jié)構(gòu)為代表的two-stage方法首先依據(jù)2D檢測器得到圖像目標(biāo)檢測結(jié)果，再將其投影到3D激光雷達數(shù)據(jù)上。但是這種融合方式過度依賴2D檢測器的性能，并且二維框投影到點云數(shù)據(jù)后，存在小目標(biāo)物體由于點云的稀疏性，在投影的視錐框中無法進行點集特征提取與識別的問題。

但本申請發(fā)明人在實現(xiàn)本申請實施例中發(fā)明技術(shù)方案的過程中，發(fā)現(xiàn)上述技術(shù)至少存在如下技術(shù)問題：

現(xiàn)有技術(shù)中存在對目標(biāo)的特征的檢測效果不夠準(zhǔn)確，進而導(dǎo)致對車輛、行人的目標(biāo)檢測不夠準(zhǔn)確和高效的技術(shù)問題。

發(fā)明內(nèi)容

本申請實施例通過提供一種融合語義信息的激光雷達目標(biāo)檢測方法及系統(tǒng)，解決了現(xiàn)有技術(shù)中存在對目標(biāo)的特征的檢測效果不夠準(zhǔn)確，進而導(dǎo)致對車輛、行人的目標(biāo)檢測不夠準(zhǔn)確和高效的技術(shù)問題，進而達到基于圖像語義分割和圖卷積特征提取視覺激光融合目標(biāo)檢測方法，顯著提高對道路車輛、行人目標(biāo)檢測的準(zhǔn)確性、高效性的技術(shù)效果。

鑒于上述問題，提出了本申請實施例提供一種融合語義信息的激光雷達目標(biāo)檢測方法及系統(tǒng)。

第一方面，本申請還提供了一種融合語義信息的激光雷達目標(biāo)檢測方法，所述方法包括：對每一時間戳下的圖像幀進行語義分割處理，獲得語義分割分?jǐn)?shù)；在每一幀點云數(shù)據(jù)中添加相應(yīng)攝像機坐標(biāo)下的圖像RGB特征；將添加所述圖像RGB特征的所述點云數(shù)據(jù)投影到分割網(wǎng)絡(luò)的輸出中，并將所述語義分割分?jǐn)?shù)附加到所述點云數(shù)據(jù)中；對附加所述語義分割分?jǐn)?shù)和所述圖像RGB特征的所述點云數(shù)據(jù)進行基于圖卷積的目標(biāo)分類與3D框回歸，獲得目標(biāo)位置框和目標(biāo)類別。