[發明專利]一種基于層次主題模型的語義SLAM對象關聯方法

有效

• 申請號: 201811306327.6
• 申請日: 2018-11-05
• 公開（公告）號: CN109544632B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 張劍華;貴夢萍;王其超;劉儒瑜;徐浚哲;陳勝勇
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06K9/00
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

1.一種基于層次主題模型的語義SLAM對象關聯方法，其特征在于，所述方法包括以下步驟：

1)對相機進行內參標定得到相機的畸變參數和內參矩陣

其中，[x,y]是歸一化平面點的坐標，[x_distorted,y_distorted]是畸變后的坐標，k₁,k₂,k₃,p₁,p₂是畸變項；

P為相機內參矩陣，其中f為相機焦距，[O_x,O_y]為主光軸點；

2)利用SSD和CNN構建深度學習網絡，訓練深度學習模型，完成物體識別和物體位姿預測任務；

3)基于層次主題模型的語義SLAM是在ORB-SLAM2的基礎上改進得到的，機器人運動過程中，相機會捕捉到一系列的圖像I_1:T＝{I₁,…,I_T}，對于每一幀圖像，計算相機的位姿x_t以及地圖點的三維位置，在此過程中，相機的運動方程表示如下：

x_t＝f(x_t-1,μ_t)+ω_t,ω_t～N(0,R_t) (3.1)

其中，μ_t是運動測量，ω_t是服從均值為0，方差為R_t的高斯分布的噪聲，相機的觀測方程表示如下：

z_t＝h(x_t,y_t)+v_t,v_t～N(0,Q_t) (3.2)

將第一幀圖像作為關鍵幀D₀，之后的圖像以前一幀關鍵幀為參照，將圖像信息變化明顯的圖像幀設為新的關鍵幀D₁，并添加到關鍵幀隊列，以此類推，假設整個過程中共抽取了k個關鍵幀，即D_0:k＝{D₀,…,D_k},D表示關鍵幀集合；

4)對每一個關鍵幀D_i作如下操作，0≤i≤k：

a)利用深度學習模型識別關鍵幀對應的圖像上的目標物體，并估計其相對于相機的位姿，則得到該幀圖像的對象測量其中M_i表示在該幀圖像中檢測到的物體個數；

b)從之前的關鍵幀隊列中篩選與關鍵幀D_i有視角重合的n個關鍵幀集合，這些關鍵幀的對象測量的集合記為y_c＝{y_c1,…,y_cn}.對每一個出現在關鍵幀D_i的對象，將其與y_c中所有同類別的對象測量利用層次主題模型計算關聯概率，根據概率是否大于閾值來判斷兩個對象是否關聯；

c)對當前系統中的每一個對象，構造其與相關的關鍵幀還有地圖點的因子圖，進行對象位姿、相機位姿和地圖點位置的優化；

5)如果檢測到關鍵幀回環，進行回環矯正，并更新相關物體位姿；

6)物體關聯操作執行后，實時繪制帶有三維位姿物體、相機運動軌跡的地圖。

2.如權利要求1所述的一種基于層次主題模型的語義SLAM對象關聯方法，其特征在于，所述步驟4)中，通過深度學習預測得到的對象測量，利用層次主題模型對對象測量進行建模，建模的過程設計到吉布斯采樣方法，根據構造的HDP主題模型進行對象關聯計算，并基于對象關聯進行相機位姿優化。