[發(fā)明專利]基于點云上采樣的多模態(tài)數(shù)據(jù)融合可行駛區(qū)域檢測方法

在審

• 申請?zhí)枺?/td>: 202011501003.5
• 申請日: 2020-12-17
• 公開（公告）號: CN112731436A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設(shè)計）人: 金曉;沈會良
• 申請（專利權(quán)）人: 浙江大學
• 主分類號: G01S17/86
• 分類號: G01S17/86;G01S17/89;G01S17/00;G01S7/48
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 萬尾甜;韓介梅

1.一種基于點云上采樣的多模態(tài)數(shù)據(jù)融合可行駛區(qū)域檢測方法，其特征在于，該方法通過聯(lián)合標定算法對相機與激光雷達進行標定，將點云投影至圖像平面獲取稀疏點云圖，利用像素局部窗口計算邊緣強度信息，自適應選擇點云上采樣方案，獲得稠密點云圖；對所得稠密點云圖與RGB圖像進行特征提取和交叉融合，實現(xiàn)可行駛區(qū)域快速檢測。

2.根據(jù)權(quán)利要求1所述的基于點云上采樣的多模態(tài)數(shù)據(jù)融合可行駛區(qū)域檢測方法，其特征在于，所述的利用像素局部窗口計算邊緣強度信息，具體為：對于每一個像素，利用像素局部窗口內(nèi)的點云距離，按如下公式計算邊緣強度信息，當邊緣強度信息大于指定閾值τ時，認為該像素處于邊緣區(qū)域，否則認為該像素處于非邊緣區(qū)域：

其中，σ表示標準差計算，表示窗口內(nèi)點云的平均距離，λ為固定參數(shù)。

3.根據(jù)權(quán)利要求2所述的基于點云上采樣的多模態(tài)數(shù)據(jù)融合可行駛區(qū)域檢測方法，其特征在于，所述的自適應選擇點云上采樣方案，具體為：對于非邊緣區(qū)域像素，在其局部窗口內(nèi)直接利用空間高斯核計算加權(quán)結(jié)果；對于邊緣區(qū)域像素，首先聯(lián)合使用空間和顏色高斯核單獨計算局部窗口內(nèi)各點的權(quán)重；其次根據(jù)窗口內(nèi)點云的平均深度將點云分成前景點和背景點兩類，統(tǒng)計局部窗口內(nèi)兩類點的數(shù)量、權(quán)重和，并據(jù)此對每一個點的權(quán)重進行調(diào)整；最終利用更新后的權(quán)重，在局部窗口內(nèi)對各點進行加權(quán)，完成待計算像素的空間位置信息計算。

4.根據(jù)權(quán)利要求1所述的基于點云上采樣的多模態(tài)數(shù)據(jù)融合可行駛區(qū)域檢測方法，其特征在于，對所得稠密點云圖與RGB圖像進行特征提取和交叉融合，具體為：將RGB圖像和稠密點云圖同時作為輸入，利用多層卷積網(wǎng)絡(luò)進行特征提取、交叉融合，損失函數(shù)重點關(guān)注難檢測區(qū)域及非道路區(qū)域的檢測結(jié)果，輸出可行駛區(qū)域檢測概率；

損失函數(shù)如下：

其中y＝1和y＝0分別表示正負樣本，正樣本為道路區(qū)域，負樣本為非道路區(qū)域；難檢測區(qū)域是指檢測較為困難的區(qū)域，對于正樣本來說，其檢測結(jié)果傾向于為非道路；對于負樣本來說，檢測結(jié)果傾向于道路；y′表示判斷為道路區(qū)域的概率，α和γ為固定常數(shù)。

5.根據(jù)權(quán)利要求4所述的基于點云上采樣的多模態(tài)數(shù)據(jù)融合可行駛區(qū)域檢測方法，其特征在于，所述的多層卷積網(wǎng)絡(luò)結(jié)構(gòu)采用雙編碼器和單解碼器結(jié)構(gòu)，兩個編碼器結(jié)構(gòu)相同，但不共享參數(shù)，分別以RGB圖像和稠密點云圖作為原始輸入，對于同一層編碼器輸出的兩個特征圖，利用1×1卷積進行交叉融合，融合結(jié)果作為下一層卷積的輸入，并將雙編碼器所得的降采樣特征圖輸入金字塔池化模塊，獲取最終特征圖輸出；

金字塔池化模塊輸出結(jié)果經(jīng)過解碼器恢復分辨率，并利用Sigmoid函數(shù)計算各像素屬于可行駛區(qū)域的概率，當概率大于設(shè)定閾值時判斷該像素屬于可行駛區(qū)域。