[發(fā)明專利]一種基于語義逆深度濾波的實時語義地圖構(gòu)建方法

有效

• 申請?zhí)枺?/td>: 202010155782.1
• 申請日: 2020-03-09
• 公開（公告）號: CN111325843B
• 公開（公告）日: 2022-04-08
• 發(fā)明（設(shè)計）人: 崔林艷;郭政航;馬朝偉
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T7/11;G06T7/215;G06T7/246;G06T7/269;G06T7/579
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 楊學(xué)明;安麗

1.一種基于語義逆深度濾波的實時語義地圖構(gòu)建方法，其特征在于，包括以下步驟：

步驟(1)通過相機視覺傳感器采集圖像，并對采集到的圖像進行ORB特征提取和語義分割；

步驟(2)針對步驟(1)中提取的ORB特征和語義分割得到的語義分割結(jié)果，通過融合了語義逆深度濾波的跟蹤線程得到動態(tài)場景下的相機位姿，并篩選出關(guān)鍵幀；

步驟(3)根據(jù)步驟(2)中得到的相機位姿和關(guān)鍵幀創(chuàng)建點云，并根據(jù)語義分割結(jié)果刪除動態(tài)點，實時構(gòu)建動態(tài)場景下的稠密點云模型；

所述步驟(2)中，根據(jù)提取的ORB特征和語義分割結(jié)果，通過融合語義逆深度濾波的跟蹤線程得到動態(tài)場景下相機位姿，并篩選出關(guān)鍵幀，方法如下：

(2.1)根據(jù)提取的ORB特征和語義分割結(jié)果，對當前幀圖像上的語義靜態(tài)特征點通過Lucas-Kanade光流法計算稀疏光流，通過計算光流獲取到圖像特征點匹配點對，進而計算出基礎(chǔ)矩陣F；得到基礎(chǔ)矩陣F后，再根據(jù)極線約束對圖像上的靜態(tài)特征點、潛在動態(tài)特征點和動態(tài)特征點的運動特性進行二次判斷，判斷結(jié)果由計算出的基礎(chǔ)矩陣F進行檢驗；檢驗過程中設(shè)定一個像素作為閾值，如果當前幀圖像中的特征點到它對應(yīng)極線的直線距離超過該閾值，那么該特征點就被判定為真正的動態(tài)特征點，并以此創(chuàng)建出一個可靠的初始地圖；

(2.2)在可靠的初始地圖基礎(chǔ)上，運用基于高斯-均勻混合分布假設(shè)的逆深度濾波器，對全地圖中3D地圖點的內(nèi)點率π大小進行評估，進而確定某點是否為動態(tài)點，并以此為依據(jù)對之前獲得的可靠初始地圖進行更新；

(2.3)將更新后的地圖通過ORB-SLAM2框架中的跟蹤線程，得到相機精確的旋轉(zhuǎn)量和平移量；根據(jù)某一幀的內(nèi)點數(shù)必須超過設(shè)定的最小閾值，且重疊度不能大于預(yù)定閾值條件篩選出關(guān)鍵幀，降低信息冗余、減少計算機算力損耗，進而實現(xiàn)系統(tǒng)運行平穩(wěn)、滿足實時性的要求；

所述步驟(2.2)中，

其中，內(nèi)點是指地圖中一個靜態(tài)地圖點，且其深度能通過正確的匹配點進行三角化得到的點；內(nèi)點率π的計算是在將當前時刻(Z,π)的后驗概率分布p(Z,π|x₁,…,x_n)近似于一個高斯-貝塔形式分布的基礎(chǔ)上進行計算的：

q(Z,π|a,b,μ,σ²)＝N(Z|μ,σ²)Beta(π|a,b)

其中，Z是地圖點的真實逆深度，是需要計算出的值；π是該地圖點的內(nèi)點率；x₁,…,x_n為一個地圖點逆深度的系列互相獨立的觀測值,n為觀測值的序號；q(Z,π|a,b,μ,σ²)表示(Z,π)服從參數(shù)為(a,b,μ,σ²)的高斯-貝塔分布；a,b為概率論中貝塔分布(Beta)中兩個大于零的參數(shù)；μ,σ²是高斯分布(N)中的期望與方差；

運用矩比較法對p(Z,π|x₁,…,x_n)和q(Z,π|a,b,μ,σ²)分別求得的Z和π的一、二階矩進行比較，確定新的參數(shù)將內(nèi)點率π的一階矩作為π的估計值：

設(shè)定兩個互不相關(guān)閾值m,n，當時，跳過內(nèi)點率π的計算，等待下一次更新；當πn，則該地圖點是一個動態(tài)點，將其剔除；當πn，則該地圖點是一個可靠的靜態(tài)地圖點，并以此為依據(jù)對之前獲得的可靠初始地圖進行更新。

2.根據(jù)權(quán)利要求1所述的一種基于語義逆深度濾波的實時語義地圖構(gòu)建方法，其特征在于：

所述步驟(1)中，視覺傳感器采集圖像，并對采集到的圖像進行ORB特征提取和語義分割方法如下：

首先對傳感器采集的圖像數(shù)據(jù)提取ORB圖像特征點，其中，所述ORB圖像特征包括“Oriented FAST”特征點和BRIEF描述子兩部分，所述“Oriented FAST”特征點具有尺度不變性和旋轉(zhuǎn)不變性，所述BRIEF描述子對“Oriented FAST”提取出特征點的周圍圖像區(qū)域進行描述，然后使用SegNet語義分割網(wǎng)絡(luò)對當前幀的圖像進行語義分割；

通過語義信息將特征點分為靜態(tài)、潛在動態(tài)和動態(tài)三類；其中，靜態(tài)類目標指的是在場景內(nèi)固定的，被場景內(nèi)其他物體影響也不會移動的目標；動態(tài)目標指場景內(nèi)持續(xù)移動的目標；潛在動態(tài)目標指在場景內(nèi)表現(xiàn)為靜態(tài)，但在其他物體的影響下也能夠移動的目標。

3.根據(jù)權(quán)利要求1所述的一種基于語義逆深度濾波的實時語義地圖構(gòu)建方法，其特征在于：

所述步驟(3)中，根據(jù)相機位姿和關(guān)鍵幀創(chuàng)建點云，并根據(jù)語義分割結(jié)果刪除動態(tài)點，實時構(gòu)建動態(tài)場景下的稠密點云模型，方法如下：

(3.1)根據(jù)從跟蹤線程中得到的相機位姿和關(guān)鍵幀，通過三角化估計或者RGB-D相機得到每一幀圖像中像素對應(yīng)的深度值；其中三角化估計地圖點深度數(shù)據(jù)方法為：通過在不同的位置觀測同一個三維點P，已知在不同位置處觀察到的三維點的二維投影點X₁(x₁,y₁)，X₂(x₂,y₂)，利用三角關(guān)系，估計出三維點的深度信息；而RGB-D相機是通過紅外結(jié)構(gòu)光測量距離，直接得到三維點的深度數(shù)據(jù)；

(3.2)在得到了某一三維地圖點深度數(shù)據(jù)后，獲得該點在此時相機坐標系下的三維坐標；通過之前對圖像數(shù)據(jù)語義分割和基于語義逆深度濾波判定的結(jié)果，將語義信息為動態(tài)元素的三維點進行剔除；再結(jié)合這一幀圖像所對應(yīng)的相機坐標系相對于世界坐標系的旋轉(zhuǎn)量和平移量，將未被刪除的地圖點在相機坐標系下的坐標轉(zhuǎn)換到世界坐標系下；將世界坐標系下的三維點坐標保存為點云數(shù)據(jù)處理庫PCL可讀取的pcd文件，直接對其進行可視化；

(3.3)每處理一幀關(guān)鍵幀，就獲取這一幀世界坐標系下的點云數(shù)據(jù)；將處理的所有關(guān)鍵幀得到的多組點云數(shù)據(jù)加總到一起，即實時構(gòu)建出動態(tài)場景下的稠密點云模型。