[發明專利]一種動態環境下結合語義的視覺定位系統和方法

有效

• 申請號: 201711040037.7
• 申請日: 2017-10-31
• 公開（公告）號: CN107833236B
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 王金戈;鄒旭東;仇曉松;曹天揚;蔡浩原;李彤
• 申請（專利權）人: 中國科學院電子學研究所
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06T7/33;G06T7/70;G06N3/04
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 曹玲柱

本發明公開了一種動態環境中的單目視覺定位系統和方法，結合語義信息，實現對動態物體特征的剔除。通過單目攝像機實時采集環境圖像，圖像通過卷積神經網絡實現物體檢測，得到物體的語義信息，再進一步結合先驗知識實現動態物體判定。使用ORB算法提取圖像中的特征，并根據動態物體的位置剔除動態物體特征點。使用非線性優化的方法對相機位姿和3D點坐標進行局部集束調整，從而消除動態物體特征點的影響并提高定位精度。

技術領域

本發明涉及計算機視覺及移動機器人定位領域，尤其涉及一種動態環境下結合語義的視覺定位系統和方法。

背景技術

同時定位與地圖構建(Simultaneous Localization And Mapping，SLAM)是一種利用傳感器信息建立環境地圖并確定自身位姿的方法。使用相機作為傳感器時稱為視覺SLAM。建立實時、精確且魯棒的SLAM系統對機器人、無人車等設備的定位具有重大意義，是實現導航和自主移動的基礎。

傳統的SLAM技術建立在靜態環境下，不考慮環境物體的運動。而實際環境中，人的走動、車輛的來往都會造成環境動態變化，從而使SLAM系統建立的地圖無法保持長時間的一致性，基于視覺的特征也會因為物體的運動而變得不穩定，SLAM系統在動態環境下的魯棒性亟待提升。

為了使SLAM在動態環境下正常工作，需要避免使用處于動態物體上的特征點，因此需要事先計算出動態物體的位置。目前常用的動態物體提取方法都基于幾何特征，當面對更加極端的動態環境時，比如人靠近鏡頭的走動，依然會失效。

目前，動態環境下的視覺定位的方法介紹如下，以場流法為例，流程圖如圖1所示。

該方法通過雙目攝像機實時采集環境圖像，通過特征提取算法提取圖像中的特征點，對雙目攝像機前后兩個時刻采集的四幅圖像進行立體匹配。利用雙視幾何原理恢復特征點三維信息。以回環匹配的方式提高匹配準確度。使用場流法剔除位于動態物體上的特征點?？紤]可能引起誤差的因素并通過計算協方差矩陣改善場流法效果。使用高斯牛頓迭代的方法由特征點位置信息求得機器人運動參數。使用RANSAC算法進一步提高視覺定位準確度。整個過程不斷迭代，實現對機器人姿態和位置的實時計算。

在實現本發明的過程中，申請人發現上述現有技術存在如下技術缺陷：

(1)待刪除的動態物體特征點根據場流法誤差模型計算得出的馬氏距離來決定，對不同運動形態和不同運動速度的物體使用固定的閾值會導致誤差增大，無法正確判定物體的動態特性。

(2)場流法誤差模型做了靜態背景假設，只對小區域的運動物體具有檢測能力，無法處理大型運動物體出現在視野中的情況。

(3)只把相鄰幀之間發生運動的物體認做動態物體，而沒有考慮物體本身的動態特性。比如人在相機前運動時，即使某個時刻處于靜止狀態，但仍應該看做動態物體予以剔除。

發明內容

(一)要解決的技術問題

有鑒于此，本發明提出一種動態環境下結合語義的視覺定位系統和方法，以期解決上述問題。

(二)技術方案

一種動態環境中的單目視覺定位系統，包括：物體檢測模塊，用于檢測輸入圖像中物體的種類及所在位置，并輸出檢測結果；語義校正模塊，用于接收所述檢測結果，并根據物體種類將物體判定為動態物體或靜態物體，輸出判定結果；定位與建圖模塊，用于接收所述判定結果，并在圖像中剔除所述動態物體。

在本發明一些示例性實施例中，所述語義校正模塊包括：先驗知識模塊，包括動態物體判定模型，用于判定圖像中的物體對應的動態特性分數；動態判定模塊，用于比較所述動態特性分數和預先設定的閾值的大小，動態特性分數高于閾值的物體判定為動態物體，動態特性分數低于閾值的物體判定為靜態物體。