[發明專利]基于SLAM和深度攝像頭的同步建圖與物體分割方法

有效

• 申請號: 201710622401.4
• 申請日: 2017-07-27
• 公開（公告）號: CN107480603B
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 李梓佳
• 申請（專利權）人: 和創懶人（大連）科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06T7/11;G06F16/29
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 李冉

本發明公開一種基于SLAM和深度攝像頭的同步建圖與物體分割方法，將分割出來的物體，通過識別器識別或人工標注的方式來進行標注，最后實現語義建圖和機器人對場景認知的功能。保證在獲得整個場景地圖的同時，也獲得了場景中所包含的豐富的物體信息，對于后續的場景分析提供了極其有用的信息。

技術領域

本發明設計涉及SLAM自動建圖及物體分割技術領域，特別涉及一種基于ORB-SLAM的室內自動建圖及物體分割的方法。

技術背景

即時定位與地圖構建(SLAM或Simultaneous localization and mapping)指的是機器人在未知環境中，通過獲取當前場景的特征，如路標(Landmark)，角點，點云等視覺特征來對自身當前位置進行推算并同時構建地圖的過程。

ORB-SLAM(ORB-SLAM:A Versatile and Accurate Monocular SLAM System)是一個基于ORB特征的SLAM系統，ORB是圖像處理領域中一種常用的旋轉不變特征點，ORB-SLAM就是基于這種特這點來進行地圖識別與構建的。

物體分割指的是在給定的場景中通過圖像分割的方法把場景中可能代表的不同物體分別標注出來。

目前同步建圖與物體分割的研究還處于相對初級的階段，常用方法是在建圖的過程中同時使用機器學習方法對當前獲得圖片進行物體識別，對識別出來的物體進行標注。對于識別器無法認知的物體，則無法把該物體從背景中分割開來。而識別器一般是通過二維圖像來進行識別的，通過傳感器所獲取的深度信息無法被充分利用。通過對地圖中的物體進行分割，可以幫助機器人更加精準地判斷自身當前所在位置。

發明內容

為了提高場景中物體分割的準確率，本發明提供一種同步建圖與物體分割的方法，對于被分割出來的物體，我們可以通過識別器識別或人工標注的方式來進行標注，最后實現語義建圖和機器人對場景認知的功能。

本發明解決其技術問題所采用的技術方案是:

一種基于SLAM和深度攝像頭的同步建圖與物體分割方法，所述方法包括以下步驟:

步驟一：通過深度攝像頭獲得一幀RGB圖像和深度圖像，利用ORB-SLAM系統獲取當前幀的特征點信息；

步驟二：通過深度攝像頭獲取當前幀的點云，對于獲得的點云，先計算出點云的法向量，然后檢測平面，對于檢測出來的平面，用以下方式添加到地圖中：

對于輸入的點云，首先進行第一次平面檢測，對于檢測出來的平面，如果該平面包含的點大于設定閾值x，則把該平面及其包含的點添加待分割隊列中，等待下一步處理，同時將平面所包含的點從原始點云中去掉；然后進入下次檢測，一直到剩下的點小于原始點云的10％為止，同時記錄結束之前所做的迭代次數，設定閾值x根據應用場景而人為設定；

步驟三：利用點云所對應的深度圖像進行分割，然后采用α-expansion算法對圖進行優化，計算出每個像素所屬標簽；

步驟四：將步驟二和步驟三的結果進行對照，如果步驟三中有相同標簽且投影到同一個平面上的點超過該標簽的點的總數的設定百分比，則將該對應的平面加入到地圖中，并將該區域對應的RGB圖像保存下來作為關鍵模板。如果步驟三中有相同標簽且投影到同一個平面上的點低于該標簽的點的總數的設定百分比，該區域將被劃分為待分割區域進入下一步處理，設定百分比根據應用場景而人為設定；

步驟五：對于步驟四所述的待分割區域，通過采用圖像識別的方法對區域內物體進行識別，如果該區域的識別率低于設定識別閾值，則視為無效區域，否則保存其對應的RGB區域圖像作為關鍵模板,設定識別閾值根據應用場景進行人為設定；

步驟六：移動深度攝像頭，進入下一幀，重復步驟一至步驟五。