[發明專利]一種基于3D視覺聚類和匹配的機器人亂序目標分揀方法

有效

• 申請號: 201911146390.2
• 申請日: 2019-11-21
• 公開（公告）號: CN111091062B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 周波;徐云輝;甘亞輝;錢堃;房芳
• 申請（專利權）人: 東南大學
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V10/75;G06V10/77;G06V10/762;G06T7/12;G06T7/181
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 徐紅梅

本發明公開了一種基于3D視覺聚類和匹配的機器人亂序目標分揀方法，包括：對采集的分揀場景點云濾除分揀場景點云平面，并對堆疊分揀場景進行分割點云平面，得到多個種類的分揀場景點云簇；查詢三維點鄰域得到各分揀場景點云簇的堆疊狀態；估計分揀場景點云中各點的法線，并提取各分揀場景點云簇和目標模型的邊緣；生成不同的邊緣候選匹配集合，利用Super4PCS粗匹配獲取初始位姿，再通過ICP精匹配進行排序識別和位姿估計。本發明通過對物體的三維感知，實現了對具有堆疊、遮擋、亂序等特點的多目標物體的識別、分類和匹配定位，有利于實現工業機器人的自主識別和抓取動作的規劃，從而提高搬運、分揀作業的抓取效率和準確程度。

技術領域

本發明涉及機器人亂序目標分揀識別方法，特別是涉及一種基于3D視覺聚類和匹配的機器人亂序目標分揀方法。

背景技術

隨著工業機器人在智能分揀、裝配制造等領域的廣泛應用，企業生產模式逐漸由傳統的以人力為主導轉向以機器人為主導。傳統的分揀方法針對多品種小批量工件主要依靠工人操作，這種方法需要較高的雇傭成本，隨持續時間和工作強度的增長，分揀準確率也會受到大幅影響，且由于勞動時限，作業效率不高。隨著生產制造業向自動化、智能化和信息化的轉型，機器視覺使用成本的逐步降低，搭載視覺裝置的機器人分揀系統受到了重點關注。

機械臂分揀系統作為工業機器人技術和計算機視覺技術相結合的智能化設備，能夠依靠高度的穩定性和先進的識別算法在復雜的生產環境進行作業。目標分揀識別的方法多基于RGB二維圖像，使用Canny和Sobel算子等提取工件輪廓進行模板匹配，或者提取SIFT、SURF等特征點進行匹配、篩選、濾除等，能夠獲得較好的識別效果。另一方面，為了更好地適應光照條件變化、應對某些工件紋理不凸顯、充分利用幾何形狀特征等，基于3D視覺的識別算法，逐漸成為了國內外制造企業和研究機構的關注熱點。

然而，由于3D點云的有效特征描述子如FPFH、SHOT、VFH等的識別范圍和準確性均有一定的限制，無法很好適應場景多變化和工件多品種、多位姿的生產環境，通用性、普適性的缺失，制約了3D視覺在實際中的廣泛應用。3D點云識別主要存在以下問題：①視覺裝置通常只獲取單一視角的有限數據，且存在工件堆疊、環境約束、傳感器性能等引起的點云殘缺現象；②某些規則工件的法線一致性較高，多數以法線為基礎的點云描述子效用甚微；③形狀結構相似的工件特征相近，難以準確識別。

發明內容

發明目的：為了克服上述現有的技術缺陷，提供了一種基于3D視覺聚類和匹配的機器人亂序目標分揀方法。該方法提供了針對分揀過程中多種類、多姿態工件的目標識別和位姿估計算法，具有較強的適應性，能夠針對形狀結構接近的工件和堆疊無序的擺放場景進行識別估計，滿足作業任務的需要，提高機械臂分揀系統的準確性和穩定性。

技術方案：為實現上述發明目的，本發明提供以下技術方案：

一種基于3D視覺聚類和匹配的機器人亂序目標分揀方法，包括以下步驟：

(1)對采集的分揀場景點云通過RANSAC算法濾除分揀場景點云平面，并采用超體聚類和LCCP算法對堆疊分揀場景進行分割點云平面，得到多個種類的分揀場景點云簇；

(2)通過PCA計算主軸向量，將分揀場景點云沿主軸方向投影到三維平面，并查詢三維點鄰域得到各分揀場景點云簇的堆疊狀態；

(3)通過擬合一個最小二乘意義下的微切平面，估計分揀場景點云中各點的法線，并利用角度判據提取各分揀場景點云簇和目標模型的邊緣；

(4)結合各分揀場景點云簇的堆疊狀態和邊緣點云生成不同的邊緣候選匹配集合，利用Super4PCS粗匹配獲取初始位姿，再通過ICP精匹配進行排序識別和位姿估計。

進一步的，步驟(1)中對于采集的分揀場景點云，首先采用基于隨機采樣一致性RANSAC算法對分揀場景背景進行刪除，濾除分揀場景點云平面，具體為：

(101)隨機從分揀場景點云中抽取子點云樣本；