[發明專利]基于深度學習的多類別亂序工件機器人抓取位姿估計方法

有效

• 申請號: 201910550309.0
• 申請日: 2019-06-24
• 公開（公告）號: CN110428464B
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 傅建中;王鄭拓;徐月同;方澤華
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

本發明公開了一種基于深度學習的多類別亂序工件機器人抓取位姿估計方法。采用三個獨立的點云分類網絡、位置生成網絡以及姿態生成網絡；點云信息輸入到點云分類網絡，由點云分類網絡對輸入的點云信息進行分類獲得點云信息的類別；將點云信息的類別和點云信息共同合成類點云信息，類點云信息分別輸入到位置生成網絡和姿態生成網絡中，分別由位置生成網絡和姿態生成網絡對類點云信息進行處理預測獲得位置信息和姿態信息，合成獲得機器人的位姿。本發明可實現多類別亂序工件的抓取位姿估計，是一種全新的基于深度學習的端到端的實現方法，只需提供較少組訓練數據，即可快速實現對特定工件的抓取編程，可滿足工業生產的需要。

技術領域

本發明涉及屬于人工智能的一種機器人抓取位姿估計方法，尤其涉及一種基于深度學習的多類別亂序工件機器人抓取位姿估計方法。

背景技術

中國作為全球五大工業機器人消費國之一，在2018年安裝量全球占比提升至36.0％，共計安裝了138000臺工業機器人，同比增長了59％，消費體量已經超過了歐洲和美國的總和。智能制造是中國制造2025的主攻方向，智能化的工業機器人需求量巨大。搬運及上下料的機器人應用占比超過三分之二，對其進行智能化升級所帶來的附加價值明顯。

隨著人工智能的發展，已有學者開始研究基于人工智能技術工件抓取位姿估計，利用預先訓練過的深度強化學習網絡對圖像進行數據降維特征提取；根據特征提取結果得出機器人的控制策略，機器人利用控制策略來控制運動路徑和機械手臂的位姿，從而實現目標的自適應抓取。

目前，比較成熟的基于人工智能的機器視覺抓取方法是依據相機采集的二維圖像來預測工件位姿，但此方法往往缺失工件的立體三維信息，只能實現二維的位姿估計。依據工件三維點云信息來估計工件位姿的人工智能方法還比較少，目前常用的是采用深度強化學習方法來實現的。然而，傳統強化學習方法在求解高維度狀態和動作空間問題時，有較大的局限性，在有限樣本和計算單元條件下對復雜函數的表示能力有限，實際應用中的表現往往不是很理想。同時，傳統深度強化學習算法需要提供大量的數據進行訓練，在訓練過程中，機器人需要不斷抓取試錯，才有可能可以獲得穩定的抓取能力。這種訓練方法周期長、效率低，在實際訓練過程中有安全隱患，往往無法滿足工業生產應用的需求。

發明內容

為克服現有技術的不足，本發明提供一種基于深度學習的多類別亂序工件機器人抓取位姿估計方法。

本發明采用的技術方案如下：

如附圖1所示，采用三個獨立的深度學習網絡，分別為點云分類網絡、位置生成網絡以及姿態生成網絡；首先，點云信息輸入到點云分類網絡，由點云分類網絡對輸入的點云信息進行分類獲得點云信息的類別，點云分類網絡輸入的點云信息為深度傳感器采集的工件的三維點云信息，點云分類網絡輸出的類別信息為所輸入的點云的類別；接著再將點云信息的類別和點云信息共同合成類點云信息，以類點云信息作為輸入分別輸入到位置生成網絡和姿態生成網絡中，分別由位置生成網絡和姿態生成網絡對類點云信息進行處理預測獲得位置信息和姿態信息，最后由位置信息和姿態信息合成獲得機器人的位姿，實現機器人抓取位姿的估計獲得。

所述的點云分類網絡用于對輸入的點云信息進行分類，點云分類網絡的輸入信息為傳感器采集的工件三維點云信息，點云分類網絡的輸出信息為所輸入的點云的類別；

所述的位置生成網絡用于估計機器人抓取該工件時的位置信息，位置生成網絡的輸入信息為由點云信息與點云的類別合成的類點云信息，位置生成網絡的輸出信息為機器人抓取該工件時的位置信息，即機器人末端執行器在笛卡爾空間坐標系下的坐標值；

所述的姿態生成網絡用于估計機器人抓取該工件時的姿態信息，姿態生成網絡的輸入信息為由點云信息與點云的類別合成的類點云信息，姿態生成網絡的輸出信息為機器人抓取該工件時的姿態信息，即機器人末端執行器分別繞x軸、y軸以及z軸的轉角信息；

將位置信息與姿態信息合并得到機器人抓取工件時的位姿信息。