[發(fā)明專利]圖像與激光數(shù)據(jù)融合的機器人導(dǎo)航三維語義地圖生成方法

在審

• 申請?zhí)枺?/td>: 202110209825.4
• 申請日: 2021-02-25
• 公開（公告）號: CN113009501A
• 公開（公告）日: 2021-06-22
• 發(fā)明（設(shè)計）人: 婁路;張忍;張旗;李博一;李一天
• 申請（專利權(quán)）人: 重慶交通大學
• 主分類號: G01S17/86
• 分類號: G01S17/86;G01S17/89;G06T7/521;G06T19/00
• 代理公司: 重慶市信立達專利代理事務(wù)所(普通合伙) 50230
• 代理人: 陳炳萍

1.圖像與激光數(shù)據(jù)融合的機器人導(dǎo)航三維語義地圖生成方法，其特征在于，包括以下步驟：

S1：獲取圖像數(shù)據(jù)序列和激光雷達數(shù)據(jù)序列；

S2：讀取圖像序列中的一幀RGB圖像，讀取同一時刻激光幀數(shù)據(jù)；

S3：通過雙邊濾波后進行上采樣處理，將激光數(shù)據(jù)與RGB圖像深度補全得到深度圖；

S4：對RGB圖像信息進行ORB特征點提取；

S5：將S4提取的特征點與S3得到的深度圖結(jié)合，根據(jù)深度值z的有效范圍判斷是否存在好的特征點，若有，執(zhí)行S6；若沒有，繼續(xù)讀取下一幀RGB圖像并重復(fù)S2至S5步驟；

S6：判定S5有對應(yīng)深度值的當前幀圖像是否為關(guān)鍵幀，若是，則恢復(fù)關(guān)鍵幀深度圖，并執(zhí)行S7；若不是，則計算當前幀的位姿，并重復(fù)S2至S6步驟；

S7：將關(guān)鍵幀的位姿和深度圖對應(yīng)，恢復(fù)當前關(guān)鍵幀的三維點云；

S8：對S7獲取的三維點云進行濾波過濾噪聲點的操作；

S9：判定是否存在下一幀RGB圖像，若存在，重復(fù)S2至S9步驟；若不存在，執(zhí)行S10；

S10：將當前點云與歷史點云疊加，并對最終得到的點云進行濾波操作減少點云數(shù)量；

S11：生成當前時刻的三維點云；

S12：利用Mask R-CNN算法將二維圖像幀進行語義分割，將結(jié)果與關(guān)鍵幀的位姿結(jié)合，進行坐標投影轉(zhuǎn)換，得到三維點云圖；

S13：將三維語義點云以八叉樹格式保存為語義地圖。

2.根據(jù)權(quán)利要求1所述的圖像與激光數(shù)據(jù)融合的機器人導(dǎo)航三維語義地圖生成方法，其特征在于，所述S4過程中，通過ORB提取圖像的特征點。

3.根據(jù)權(quán)利要求1所述的圖像與激光數(shù)據(jù)融合的機器人導(dǎo)航三維語義地圖生成方法，其特征在于，所述S6過程中，通過ORB-SLAM2判斷當前幀圖像是否為關(guān)鍵幀；采用視覺和激光融合的深度恢復(fù)算法恢復(fù)關(guān)鍵幀深度圖。

4.根據(jù)權(quán)利要求1所述的圖像與激光數(shù)據(jù)融合的機器人導(dǎo)航三維語義地圖生成方法，其特征在于，所述S8過程中，采用統(tǒng)計學濾波過濾噪聲點，具體包括以下步驟：

S801：計算每個點與其最近的K個鄰點之間的平均距離；

S802：計算估計的平均距離μ與標準差σ，此時距離閾值d_max表示為d_max＝μ+α×σ，其中α是比例系數(shù)，為一個常數(shù)；

S803：剔除與K個鄰居點的平均距離大于d_max的點。

5.根據(jù)權(quán)利要求1所述的圖像與激光數(shù)據(jù)融合的機器人導(dǎo)航三維語義地圖生成方法，其特征在于，所述S10過程中，通過體素格濾波操作減少點云數(shù)量。

6.根據(jù)權(quán)利要求1所述的圖像與激光數(shù)據(jù)融合的機器人導(dǎo)航三維語義地圖生成方法，其特征在于，所述S11過程中，具體包括以下步驟：使用體素格濾波方法實現(xiàn)下采樣，在保持點云的形狀特征的同時減少點云數(shù)量，每個體素內(nèi)用體素中所有點的重心來近似表示體素中其他點，最終該體素內(nèi)所有點都用一個重心點表示，遍歷所有體素得到過濾后的點云。