[發(fā)明專利]基于稀疏SLAM框架的低紋理平面場景重建方法

有效

• 申請?zhí)枺?/td>: 201810584937.6
• 申請日: 2018-06-08
• 公開（公告）號: CN108776989B
• 公開（公告）日: 2022-06-24
• 發(fā)明（設(shè)計(jì)）人: 趙永嘉;陳昌杰;雷小永;戴樹嶺
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06T15/04
• 分類號: G06T15/04;G06T7/80
• 代理公司: 北京永創(chuàng)新實(shí)專利事務(wù)所 11121
• 代理人: 周長琪

1.基于稀疏SLAM框架的低紋理平面場景重建方法，其特征在于：包括以下步驟：

步驟一：通過相機(jī)讀取圖像數(shù)據(jù)每一幀的RGB圖像與深度圖像；

步驟二：對于獲取的每一幀圖像，進(jìn)行下述處理：

A、在稀疏SLAM的框架下，通過像素之間的灰度差異獲取圖像中的特征點(diǎn)；

B、提取圖像中獲取不到足夠特征點(diǎn)的平面區(qū)域，作為平面路標(biāo)；

獲取平面區(qū)域的方法為：

a、估計(jì)圖像中每個點(diǎn)的法向量；

假設(shè)圖像中的一點(diǎn)p，計(jì)算其左右相鄰點(diǎn)的向量v_p,h以及上下相鄰點(diǎn)的向量v_p,v；由此可以通過向量計(jì)算得到兩個向量交點(diǎn)p的法向量n_p：

n_p＝v_p,h×v_p,v

b、根據(jù)步驟a中得到的每個點(diǎn)的法向量在相機(jī)坐標(biāo)系下對于圖像中的每個點(diǎn)p增加向量信息，表示為：

p＝{x,y,z,n_x,n_y,n_z}

其中，(x,y,z)是點(diǎn)p在相機(jī)坐標(biāo)系下的坐標(biāo)，(n_x,n_y,n_z)是點(diǎn)p的法向量；

同時通過點(diǎn)乘給點(diǎn)p增加距離信息n_d：

n_d＝{x,y,z}·{n_x,n_y,n_z}

由此，得到完整的具有幾何信息的點(diǎn)p，可表示為：

p＝{x,y,z,n_x,n_y,n_z,n_d}

針對圖像上的任意兩個點(diǎn)p₁,p₂，計(jì)算兩個距離，分別是法線之間的角度差異dist_normal(p₁,p₂)與兩點(diǎn)之間的距離差異dist_range(p₁,p₂)：

dist_normal(p₁,p₂)＝n_p1·n_p2

dist_range(p₁,p₂)＝|n_d1-n_d2|

若上述兩個距離同時小于各自對應(yīng)的設(shè)定距離閾值thresh_normal與thresh_range，則兩個點(diǎn)在同一平面，由此將圖像中的平面區(qū)域分割出來；

步驟三：將特征點(diǎn)在世界坐標(biāo)系下的坐標(biāo)作為地圖點(diǎn)，進(jìn)行局部的建圖；

步驟四：對局部地圖進(jìn)行捆集調(diào)整優(yōu)化與回環(huán)檢測局部地圖；

步驟五：將特征點(diǎn)與平面都作為路標(biāo)，進(jìn)行回環(huán)檢測，并進(jìn)行全局的捆集調(diào)整來優(yōu)化相機(jī)位姿與軌跡。

2.如權(quán)利要求1所述基于稀疏SLAM框架的低紋理平面場景重建方法，其特征在于：步驟二中特征點(diǎn)獲取方法為：首先，對每一幀圖像，提取圖像中的ORB特征點(diǎn)，之后利用FLANN算法對每兩幀圖像提取得到的特征點(diǎn)進(jìn)行匹配，得到ORB特征點(diǎn)對。

3.如權(quán)利要求1所述基于稀疏SLAM框架的低紋理平面場景重建方法，其特征在于：步驟四中對局部地圖進(jìn)行捆集調(diào)整優(yōu)化，具體方式為：

在相機(jī)獲得的每一幀圖像中獲取指定步長的關(guān)鍵幀，對關(guān)鍵幀，利用局部捆集調(diào)整對局部地圖進(jìn)行優(yōu)化，剔除多余的關(guān)鍵幀。

4.如權(quán)利要求3所述基于稀疏SLAM框架的低紋理平面場景重建方法，其特征在于：步驟三中將平面路標(biāo)放到局部地圖中，通過圖優(yōu)化方法實(shí)現(xiàn)局部地圖優(yōu)化，具體為：

令x₀,...,x_t為六自由度的相機(jī)位姿，π₀,…,π_n為平面路標(biāo)，c₀,…,c_t為相機(jī)對平面的觀測，u₁,…,u_t為根據(jù)前端視覺里程計(jì)估計(jì)得到的相機(jī)運(yùn)動；

采用矩陣[a b c d]^T表示平面路標(biāo)，其中，平面法向量n_p＝[a b c]^T；a，b，c與n_p＝(n_x,n_y,n_z)有對應(yīng)關(guān)系a＝n_x，b＝n_y，c＝n_z，d表示平面到相機(jī)坐標(biāo)系原點(diǎn)的距離；對于平面π_i上的點(diǎn)p_i，滿足

π_i^Tp_i＝0

由相機(jī)坐標(biāo)系與世界坐標(biāo)系的關(guān)系，有

其中，表示由相機(jī)坐標(biāo)系到世界坐標(biāo)系的變換矩陣；p_ω是點(diǎn)p_i在世界坐標(biāo)系下的坐標(biāo)，π_ω是平面在世界坐標(biāo)系下的坐標(biāo)；p_c是點(diǎn)p_i在相機(jī)坐標(biāo)系下的坐標(biāo)，π_c是平面在相機(jī)坐標(biāo)系下的坐標(biāo)；

用一個單位四元數(shù)q實(shí)現(xiàn)平面的最少參數(shù)表示，利用李代數(shù)解決優(yōu)化中的最小二乘問題；

q＝(q₁,q₂,q₃,q₄)^T∈R⁴，‖q‖＝1

q₁、q₂、q₃、q₄為單位四元數(shù)；q₁為單位四元數(shù)的實(shí)部，q₂、q₃、q₄為單位四元數(shù)的虛部。