[發(fā)明專利]基于多智能體激光雷達和視覺信息融合的地圖生成方法

有效

• 申請?zhí)枺?/td>: 202010548671.7
• 申請日: 2020-06-16
• 公開（公告）號: CN111880191B
• 公開（公告）日: 2023-03-28
• 發(fā)明（設(shè)計）人: 孫嘉航;李瑜茹;陳晨;程翔
• 申請（專利權(quán)）人: 北京大學
• 主分類號: G01S17/89
• 分類號: G01S17/89;G01S17/86;G01S17/931;G01S19/14
• 代理公司: 北京萬象新悅知識產(chǎn)權(quán)代理有限公司 11360
• 代理人: 黃鳳茹

1.一種基于多智能體激光雷達和視覺信息融合的地圖生成方法，每個單智能體分別聯(lián)合標定單智能體的激光雷達和視覺傳感器，并識別單智能體的視覺傳感器時間一致下的靜態(tài)和動態(tài)目標；根據(jù)單智能體的GPS信息，將多智能體的檢測結(jié)果進行融合；

在單智能體行進過程中，每個單智能體的視覺傳感器在采集數(shù)據(jù)周期中，均執(zhí)行以下步驟構(gòu)建柵格地圖：

步驟一、采集單智能體的激光雷達生成的點云數(shù)據(jù)，利用點云數(shù)據(jù)高程信息進行地面區(qū)域分割，去除地面反射點及不感興趣區(qū)域，得到靜態(tài)目標數(shù)據(jù)，包括靜態(tài)目標的位置和形狀，所述靜態(tài)目標即靜態(tài)障礙物；

步驟二、采集單智能體的視覺傳感器拍攝的圖像數(shù)據(jù)，使用圖像檢測算法，檢測出圖像中的動態(tài)目標數(shù)據(jù)，包括動態(tài)目標的位置及尺寸信息；

步驟三、將單智能體視覺傳感器得到的動態(tài)目標數(shù)據(jù)投射到單智能體激光雷達得到的靜態(tài)目標數(shù)據(jù)中，融合形成動靜態(tài)目標數(shù)據(jù)；

采用同樣方法對同一場景下另一單智能體傳感器數(shù)據(jù)進行融合，并分別構(gòu)建得到局部柵格地圖；

對得到的數(shù)據(jù)進行融合的方法具體包括如下步驟：

1)獲取激光雷達坐標系和視覺傳感器相機坐標系之間的變換關(guān)系：首先將空間中的一點由世界坐標系轉(zhuǎn)換到攝像機坐標系；然后再投影到成像平面，最后再將成像平面上的數(shù)據(jù)轉(zhuǎn)換到圖像平面；

2)利用激光雷達點云數(shù)據(jù)的高程信息進行地面區(qū)域分割；根據(jù)車輛位置，去除道路內(nèi)的動態(tài)目標，得到靜態(tài)目標的點云集合；

3)對于攝像機圖像數(shù)據(jù)，利用激光雷達到圖像坐標系變換關(guān)系的逆變換，將檢測到的圖像中的動態(tài)目標及動態(tài)目標區(qū)域內(nèi)的像素點投影到激光雷達點云數(shù)據(jù)上，得到動態(tài)目標的點云集合；

4)對靜態(tài)目標的點云集合和動態(tài)目標的點云集合進行聚類和歸一化處理，計算得到點云概率密度圖，生成局部柵格地圖；

計算得到點云概率密度圖，具體包括如下過程：

對于柵格地圖中的一個點，p(s＝1)表示該點是柵格未被占有狀態(tài)的概率，p(s＝0)表示該點是柵格被占有狀態(tài)的概率；

柵格未被占有狀態(tài)的概率與柵格被占有狀態(tài)的概率兩者的和為1：p(s＝1)+p(s＝0)＝1；

將兩者的比值作為柵格地圖中點的狀態(tài)，表示為：

對于柵格地圖中的一個點，該點的狀態(tài)為Odd(s)；新增一個測量值z～{0,1}，則更新該點的狀態(tài)為:表示在z發(fā)生的條件下s的狀態(tài)；

根據(jù)貝葉斯公式，得到：

對兩邊取對數(shù)得：

為測量值的模型，記/測量值為定值；

用logOdd(s)表示位置s的狀態(tài)S，則：s⁺＝s^-+lomeas；其中，s⁺和s^-分別表示測量值之后和之前s的狀態(tài)；

在沒有任何測量值的初始狀態(tài)下，一個點的初始狀態(tài)S_init表示為：

即得到點云概率密度圖；

5)對另一智能體激光雷達及攝像機數(shù)據(jù)進行同樣處理，即執(zhí)行步驟2)～4)；再根據(jù)多智能體位置關(guān)系，將兩張局部柵格地圖拼接成為全局柵格地圖；

步驟四、根據(jù)多智能體的位置信息，將局部柵格地圖擴展成全局柵格地圖；

通過上述步驟，即實現(xiàn)基于多智能體激光雷達和視覺信息融合的柵格地圖生成。