[發明專利]一種基于層次主題模型的語義SLAM對象關聯方法

有效

• 申請號: 201811306327.6
• 申請日: 2018-11-05
• 公開（公告）號: CN109544632B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 張劍華;貴夢萍;王其超;劉儒瑜;徐浚哲;陳勝勇
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06K9/00
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種基于層次主題模型的語義SLAM對象關聯的方法，利用深度學習模型檢測關鍵幀中的物體并預測其位姿，在處理每一幀對象時，根據視角重疊的原則利用吉布斯采樣方法采樣具有潛在關聯對象的真實環境對象集合，為當前幀的每一個物體根據物體關聯方法進行計算，根據最大后驗概率判斷是否關聯。對物體、相機和地圖點構建因子圖，它們之間的觀測作為邊，優化物體位姿、相機位姿和地圖點位置。最后構建一個完整的包含物體信息和相機軌跡的語義地圖。本發明能夠高精度地實現物體關聯，避免了冗余的物體關聯；能夠促進語義SLAM的相機位姿估計，而優化后的物體位姿能夠使得物體關聯更準確，從而構建更精確的語義地圖。

技術領域

本發明涉及機器人視覺、深度學習、統計學等技術領域，具體一種基于層次主題模型的語義SLAM對象關聯方法。

背景技術

Simultaneous localization and mapping(SLAM)是機器人應用中的一個重要的問題，比如自動駕駛、自主導航等領域。構建精準的環境地圖是SLAM的具體表現形式，傳統的SLAM技術依賴于低級的幾何特征，例如點、線、面，這種技術在空曠的或者由重復紋理的環境下容易失效。而語義SLAM利用環境中的高級語義信息，可以有效的彌補傳統SLAM的不足，并且能夠建立可讀的，更具應用價值的語義地圖。

物體關聯和物體位姿優化是語義SLAM中兩個至關重要的組成部分。要建立精確的語義地圖，準確的物體關聯是前提。準確的物體關聯依賴于準確的物體測量，包括物體的類別和位姿。但是實際中，隨著機器人的運動，傳感器捕獲的信息是帶有噪聲的，僅依靠傳感器的信息估計機器人的運動是不可靠的，所以需要多種優化算法的輔助。優化算法是設計一般是基于獲取的地標信息和相機之間的幾何約束創造的，最大化合理高效的利用已有測量信息是評價優化算法的主要標準。

因此，如何設計一種穩定可靠的語義SLAM中的對象關聯方法以及優化方法，使得語義SLAM算法能夠構建一個準確的語義地圖，是實現有效的語義SLAM需要解決的問題。

發明內容

本發明的目的是為語義SLAM設計一種穩定有效的語義對象關聯和優化的方法，解決語義SLAM中的基本問題從而構建準確的語義地圖。

為了解決上述技術問題，本發明提供如下的技術方案：

一種基于層次主題模型的語義SLAM對象關聯方法，包括以下步驟：

1)對相機進行內參標定得到相機的畸變參數和內參矩陣

其中，[x，y]是歸一化平面點的坐標，[x_distorted，y_distorted]是畸變后的坐標，k₁，k₂，k₃，p₁，p₂是畸變項；

P為相機內參矩陣，其中f為相機焦距，[O_x，O_y]為主光軸點；

2)利用Single Shot MultiBox Detector(SSD)和Convolutional NeuralNetwork(CNN)構建深度學習網絡，訓練深度學習模型，完成物體識別和物體位姿預測任務；

3)基于層次主題模型的語義SLAM是在ORB-SLAM2的基礎上改進的，機器人運動過程中，相機會捕捉到一系列的圖像I_1：T＝{I₁，...，I_T}，對于每一幀圖像I_t，計算相機的位姿x_t以及地圖點的三維位置，在此過程中，相機的運動方程表示如下：