[發明專利]基于SLAM和深度攝像頭的同步建圖與物體分割方法

有效

• 申請號: 201710622401.4
• 申請日: 2017-07-27
• 公開（公告）號: CN107480603B
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 李梓佳
• 申請（專利權）人: 和創懶人（大連）科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06T7/11;G06F16/29
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 李冉

1.基于SLAM和深度攝像頭的同步建圖與物體分割方法，其特征在于：所述方法包括以下步驟:

步驟一：通過深度攝像頭獲得一幀RGB圖像和深度圖像，利用ORB-SLAM系統獲取當前幀的特征點信息；

步驟二：通過深度攝像頭獲取當前幀的點云，對于獲得的點云，先計算出點云的法向量，然后檢測平面，對于檢測出來的平面，用以下方式添加到地圖中：

對于輸入的點云，首先進行第一次平面檢測，對于檢測出來的平面，如果該平面包含的點大于設定閾值x，則把該平面及其包含的點添加待分割隊列中，等待下一步處理，同時將平面所包含的點從原始點云中去掉；然后進入下次檢測，一直到剩下的點小于原始點云的10％為止，同時記錄結束之前所做的迭代次數；

步驟三：利用點云所對應的深度圖像進行分割，然后采用α-expansion算法對圖進行優化，計算出每個像素所屬標簽；

步驟四：將步驟二和步驟三的結果進行對照，如果步驟三中有相同標簽且投影到同一個平面上的點超過該標簽的點的總數的設定百分比，則將該對應的平面加入到地圖中，并將該區域對應的RGB圖像保存下來作為關鍵模板，如果步驟三中有相同標簽且投影到同一個平面上的點低于該標簽的點的總數的設定百分比，該區域將被劃分為待分割區域進入下一步處理；

步驟五：對于步驟四所述的待分割區域，通過采用圖像識別的方法對區域內物體進行識別，如果該區域的識別率低于設定識別閾值，則視為無效區域，否則保存其對應的RGB區域圖像作為關鍵模板；

步驟六：移動深度攝像頭，進入下一幀，重復步驟一至步驟五。

2.根據權利要求1所述的基于SLAM和深度攝像頭的同步建圖與物體分割方法，其特征在于：所述步驟三中，利用點云所對應的深度圖像進行分割，其具體算法為:

其中i表示深度圖中的一個像素，k為步驟二中得到的迭代次數，U_Si為上面平面檢測時每次檢測得到的面的中心點像素所在位置，λ為平滑項系數，d(i,U_Si)表示i離最近的標注像素的距離，S_i表示像素i所屬的分割標簽，I_i表示像素i在深度圖上的值，σ²為整個深度圖像的方差。

3.根據權利要求1所述的基于SLAM和深度攝像頭的同步建圖與物體分割方法，其特征在于：當兩個不同幀中獲取屬于同一物體的標注時，根據其在地圖上的地理位置進行融合。

4.根據權利要求3所述的基于SLAM和深度攝像頭的同步建圖與物體分割方法，其特征在于：當兩個不同幀中獲取屬于同一物體的標注時，根據其在地圖上的地理位置采用ICP算法進行融合。

5.根據權利要求1所述的基于SLAM和深度攝像頭的同步建圖與物體分割方法，其特征在于：所述深度攝像頭在場景中循環走動獲得精確的地圖，同時也獲得場景內存在的物體的標注。

6.根據權利要求1所述的基于SLAM和深度攝像頭的同步建圖與物體分割方法，其特征在于：所述步驟五中，采用基于機器學習的方法對區域進行識別。