[發明專利]一種動態場景下基于實例分割的魯棒性位姿估計方法

在審

• 申請號: 202110615548.7
• 申請日: 2021-06-02
• 公開（公告）號: CN113362358A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 張小國;李尚哲;張開心;王慶
• 申請（專利權）人: 東南大學
• 主分類號: G06T7/136
• 分類號: G06T7/136;G06T7/70;G06T7/80;G06K9/62;G06T7/11
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 薛雨妍

本發明公開了一種動態場景下基于實例分割的魯棒性位姿估計方法，可以在視覺導航過程中剔除動態場景，其思路是在實例分割區域結合光流跟蹤檢測圖像序列中的動態區域并剔除。該算法首先用實例分割結合目標跟蹤算法，鎖定潛在的動態物體區域；然后在采用光流法在分割區域進行動態點檢測，獲得分割區域物體的動態概率；最后用動態概率結合語義先驗信息判斷動態區域。本發明通過剔除環境信息中的動態部分，可以顯著提高SLAM系統的實時定位精度，大大增加機器人定位系統的魯棒性，以便滿足機器人更智能化的應用場景。

技術領域

本發明涉及圖像圖形技術領域和一種同時定位與建圖技術，具體涉及一種動態場景下基于實例分割的魯棒性位姿估計方法。

背景技術

近年來，智能機器人已成為學術界和工業界的一個重要的研究方向。要使機器人更加智能、更加自主，機器人必須提高對未知環境的認知能力。同時定位與地圖構建技術(SLAM，Simultaneously positioning and mapping)是構建三維場景地圖以及機器自身定位的關鍵技術，已經成功應用到無人車、無人機、快遞機器人、智能清潔機器人等產品上。

目前，一些先進的開源SLAM系統已能保證實時運行并穩定定位，然而這些系統多基于如下假設：系統運行的環境是靜態的。然而，我們身處的真實環境中存在大量的動態物體，且環境中的樹木也常常存在晃動等情況，這些運動特征如果參與解算會嚴重影響位姿解算與建圖的精度，尤其當動態物體占據較大檢測場景時系統就會出現錯誤的數據關聯，導致整個SLAM過程惡化。因此，考慮動態物體的因素并去除能顯著提高SLAM系統的實時定位精度，也有利于三維地圖的構建。提高機器人的感知能力，判斷所獲取的環境信息中哪些部分是動態的，并在定位過程中將其剔除，可大大增加機器人定位系統的魯棒性；另一方面，去除動態物體，可以提高建圖精度，滿足更智能化的應用場景。

發明內容

為解決上述問題，本發明公開了一種動態場景下基于實例分割的魯棒性位姿估計方法，來剔除圖像中的動態物體，以便SLAM系統能夠增加位姿解算與建圖的精度。

為達到上述目的，本發明的技術方案如下：

一種動態場景下基于實例分割的魯棒性位姿估計方法，包括如下步驟：

(1)用實時實例分割網絡Yolcat進行實例分割識別潛在的動態物體，并結合Camshift對識別物體進行跟蹤，獲得物體的分割結果；

(2)結合LK光流法，計算分割物體內所有特征點的動態概率，得到該物體的動態概率p_d；

(3)預設特定類別物體的動態概率p_w作為語義先驗概率，將物體的動態概率p_d作為似然概率，由貝葉斯公式確定后驗概率p_post，并設定閾值σ判斷分割區域是否為動態區域；

(4)剔除動態區域的特征點，進行特征匹配并計算相機位姿。

本發明進一步改進在于：

其中步驟(1)中，用Yolcat進行實例分割識別潛在的動態物體，并結合Camshift對識別物體進行跟蹤，獲得物體的分割結果，具體步驟為：

(1.1)提取當前幀的ORB特征點；

(1.2)使用Yolact識別分割物體，并為每個物體標號；

(1.3)使用Camshift跟蹤每個分割物體；

(1.4)在下一幀中計算Camshift跟蹤的物體區域C_area與Yolact分割物體區域Y_area的區域重合度θ，其中：

(1.5)若超過設定閾值ε，則Yolact分割失敗，使用Camshift跟蹤到的結果，否則使用Yolact的結果；