[發明專利]基于ConvPoint模型引導機械臂抓取不同位姿物料的分揀方法

有效

• 申請號: 202011519487.6
• 申請日: 2020-12-21
• 公開（公告）號: CN112819135B
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 李會軍;瞿孝昌;吳非;葉賓;張培媛;王典;劉越;熊佳俊;謝英男
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;B25J9/16;B07C5/36
• 代理公司: 北京淮海知識產權代理事務所(普通合伙) 32205
• 代理人: 張旭

本發明公開了一種基于ConvPoint模型引導機械臂抓取不同位姿物料的分揀方法，通過3D結構光相機獲取物料的三維點云數據，并與ConvPoint模型相結合進行物料分揀，該方法不受物料初始位姿和外形影響，抓取目標多樣，系統魯棒性更強。與現有的深度學習方法相比，本發明利用PCA改善抓取采樣，使得物料抓取的準確率明顯提高，另外評估網絡輸入夾具內部的點云而非整個物體點云，減少了學習和推理時間，極大的提高了物料分揀的效率。此外，在ConvPoint模型訓練階段，本發明實時采集了不同種類復雜結構物料的點云數據作為訓練集，并沒有依賴網上開源的簡單物體的數據集，實現了對不同位姿的復雜物體抓取，提高了分揀系統的智能化和自動化水平。

技術領域

本發明涉及一種基于ConvPoint模型的物料分揀方法，具體是一種基于ConvPoint模型引導機械臂抓取不同位姿物料的分揀方法。

背景技術

目前，隨著消費級視覺設備的普及，由相機引導機械臂完成抓取成為熱點話題。其中，生成執行機構的6D抓取位姿(即3D位置和3D方向)是任何機械臂完成抓取的關鍵。但是，目前的大多數研究都是基于2D圖像或者2.5D深度圖像。與3D點云相比，圖像和深度圖像缺少三維空間幾何信息，數據特征不明顯或者特征點比較少，有時需要復雜的手工特征才能處理數據。而機械臂的抓取非常依賴于目標的三維空間表面特征，因此基于2D圖像或者2.5D深度圖像的方法將缺少幾何分析，往往只能垂直抓取，很難生成精確的6D抓取位姿。

針對這些問題，也有研究直接處理3D點云數據。基于點云生成抓取位姿可以分為提取特征估計目標物體位姿的傳統方法和基于深度學習評估機械臂抓取位姿的方法。基于點云的傳統方法獲取目標位姿可以概括為點云配準，即根據原始點云和目標點云，通過提取關鍵點、特征描述等方法進行匹配求出變換矩陣，變換矩陣包括旋轉矩陣R和平移矩陣T,并計算誤差來比較匹配結果質量。點云配準產生了許多算法，包括：迭代最近點算法(Iterative Closest Point，ICP)、點對特征算法(Point Pair Features PPF)和快速點特征直方圖算法(Fast Point Feature Histogram,FPFH)等。但這些算法最大的缺點是精度很大程度上受到初始位姿精度的影響，不僅如此，對于一些特征并不明顯、非常稀疏的點云，求解效果并不理想。比如匹配一些對稱且規則的點云，求得的變換矩陣可能會有多個。此外，點云配準的一個匹配周期只能選擇一個匹配模板，因此應用于物料分揀時，只能適用于同一形狀的物體，抓取目標單一。

為了克服傳統方法的缺陷，目前行業內也有通過3D點云神經網絡的方式生成最優抓取位姿，并且不需要估計目標的位姿。基于深度學習的方法主要分為兩大部分：輸入原始點云，使用基本的幾何信息對抓取位姿進行采樣，生成抓取候選；通過3D神經網絡，對采樣到的抓取位姿進行評估，篩選出最優解。但目前基于深度學習的方法，大都還是在網上公開數據集上進行訓練的，比如ModelNet、ShapeNet和Npm3D等數據集，主要針對一些簡單規則的生活用品，比如立方體紙盒、圓柱體罐子等。此外，輸入到網絡中的點云數據量龐大，在進行一次完整的前向傳播時所花費的時間長，導致分揀效率較低，很難布置到工業現場。不僅如此，最初的抓取位姿采樣對最終的效果有很大影響，目前的采樣方法大多利用基本的啟發式幾何信息生成抓取候選。但在噪聲比較大，或者點云稀疏的條件下很難估計目標表面法線，無法做到精準的高質量采樣，比如沿著杯子的邊緣結構很難生成抓取候選，因此亟需一種能夠有效改善抓取位姿采樣的手段。

發明內容

針對上述現有技術存在的問題，本發明提供一種基于ConvPoint模型引導機械臂抓取不同位姿物料的分揀方法，通過3D視覺和ConvPoint模型相結合，能對不同位姿、不同結構的物料進行精準的抓取分揀，從而有效保證傳送帶的分揀效率。

為了實現上述目的，本發明采用的技術方案是：一種基于ConvPoint模型引導機械臂抓取不同位姿物料的分揀方法，采用的分揀系統包括3D結構光相機、機械臂和計算機，3D結構光相機用于拍攝柔性生產線傳送帶上物料的圖像并反饋給計算機，計算機用于對拍攝的圖像進行處理后，控制機械臂對柔性生產線傳送帶上的不同物料進行分揀，具體步驟為：