[發明專利]基于深度學習的多類別亂序工件機器人抓取位姿估計方法

有效

• 申請號: 201910550309.0
• 申請日: 2019-06-24
• 公開（公告）號: CN110428464B
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 傅建中;王鄭拓;徐月同;方澤華
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種基于深度學習的多類別亂序工件機器人抓取位姿估計方法，其特征在于：采用三個獨立的深度學習網絡，分別為點云分類網絡、位置生成網絡以及姿態生成網絡；首先，點云信息輸入到點云分類網絡，由點云分類網絡對輸入的點云信息進行分類獲得點云信息的類別；接著再將點云信息的類別和點云信息共同合成類點云信息，以類點云信息作為輸入分別輸入到位置生成網絡和姿態生成網絡中，分別由位置生成網絡和姿態生成網絡對類點云信息進行處理預測獲得位置信息和姿態信息，最后由位置信息和姿態信息合成獲得機器人的位姿，實現機器人抓取位姿的估計獲得；

所述的點云信息為通過機器人末端的深度相機拍攝獲得的工件點云數據；

所述的位置信息為機器人末端執行器在笛卡爾空間坐標系下的坐標值；

所述的姿態信息為機器人末端執行器分別繞x軸、y軸以及z軸的轉角信息；

所述的點云分類網絡、位置生成網絡和姿態生成網絡均采用相同的網絡結構，具體包括依次連接的隨機采樣層、感知層、池化層和最后的多層感知器，感知層是由多個多層感知器并聯組成；

所述的點云分類網絡中，先由隨機采樣層對輸入的點云信息進行隨機采樣獲得固定數目采樣點的位置坐標，然后將采樣點的位置坐標分別輸入到對應相同數目且結構相同且共享內部參數的感知層的多層感知器內，將多層感知器輸出的值輸入到池化層進行最大池化操作，最后將池化層輸出的結果輸入到多層感知器內得到所輸入的點云信息的分類結果；

所述的位置生成網絡中，先由隨機采樣層對輸入的類點云信息進行隨機采樣獲得固定數目采樣點的位置坐標，然后將采樣點的位置坐標分別輸入到對應相同數目且結構相同且共享內部參數的感知層的多層感知器內，將多層感知器輸出的值輸入到池化層進行最大池化操作，最后將池化層輸出的結果輸入到多層感知器內得到機器人抓取該工件時的位置信息；

所述的姿態生成網絡中，先由隨機采樣層對輸入的類點云信息進行隨機采樣獲得固定數目采樣點的位置坐標，然后將采樣點的位置坐標分別輸入到對應相同數目且結構相同且共享內部參數的感知層的多層感知器內，將多層感知器輸出的值輸入到池化層進行最大池化操作，最后將池化層輸出的結果輸入到多層感知器內得到機器人抓取該工件時的姿態信息。

2.根據權利要求1所述的一種基于深度學習的多類別亂序工件機器人抓取位姿估計方法，其特征在于：所述的點云分類網絡用于對輸入的點云信息進行分類，點云分類網絡的輸入信息為傳感器采集的工件三維點云信息，點云分類網絡的輸出信息為所輸入的點云的類別；

所述的位置生成網絡用于估計機器人抓取該工件時的位置信息，位置生成網絡的輸入信息為由點云信息與點云的類別合成的類點云信息，位置生成網絡的輸出信息為機器人抓取該工件時的位置信息；

所述的姿態生成網絡用于估計機器人抓取該工件時的姿態信息，姿態生成網絡的輸入信息為由點云信息與點云的類別合成的類點云信息，姿態生成網絡的輸出信息為機器人抓取該工件時的姿態信息；

將位置信息與姿態信息合并得到機器人抓取工件時的位姿信息。

3.根據權利要求1所述的一種基于深度學習的多類別亂序工件機器人抓取位姿估計方法，其特征在于：

所述的點云分類網絡、位置生成網絡和姿態生成網絡均為已經訓練好的網絡模型，均根據各自的輸入數據及其對應已知的輸出數據進行訓練優化獲得：

所述的點云分類網絡的訓練數據為深度傳感器所采集的若干組不同類別的工件的點云信息，以及所述的點云信息對應的類別；

所述的位置生成網絡的訓練數據為由深度傳感器所采集的若干組不同類別且不同位姿的工件點云信息和點云分類網絡所獲得的點云類別所組合而成的類點云信息，以及所述的類點云信息對應的機器人抓取該工件時的位置信息；

所述的姿態生成網絡的訓練數據為由深度傳感器所采集的若干組不同類別且不同位姿的工件點云信息和點云分類網絡所獲得的點云類別所組合而成的類點云信息，以及所述的類點云信息對應的機器人抓取該工件時的姿態信息。

4.根據權利要求1所述的一種基于深度學習的多類別亂序工件機器人抓取位姿估計方法，其特征在于：

所述的機器人具有末端執行器，末端執行器側方設有深度傳感器，深度傳感器位置固定，通過深度傳感器向采集獲得末端執行器和工件的圖像，進而獲得工件的點云信息。

5.一種基于深度學習的多類別亂序工件機器人抓取位姿估計系統，其特征在于：包括三個獨立的深度學習網絡構成，分別為點云分類網絡、位置生成網絡以及姿態生成網絡，點云分類網絡、位置生成網絡和姿態生成網絡均采用相同的網絡結構，具體包括依次連接的隨機采樣層、感知層、池化層和最后的多層感知器，同一感知層是由多個多層感知器并聯組成，感知層中各個多層感知器共享/具有相同的參數，隨機采樣層接收輸入數據進行隨機采樣，然后將隨機采樣的各組數據分別輸入到各個多層感知器，所有多層感知器處理輸出到同一池化層中，池化層的輸出到最后的多層感知器中，由最后的多層感知器輸出數據；

所述的點云分類網絡用于對輸入的點云信息進行分類，點云分類網絡的輸入信息為傳感器采集的工件三維點云信息，點云分類網絡的輸出信息為所輸入的點云的類別；

所述的位置生成網絡用于估計機器人抓取該工件時的位置信息，位置生成網絡的輸入信息為由點云信息與點云的類別合成的類點云信息，位置生成網絡的輸出信息為機器人抓取該工件時的位置信息；

所述的姿態生成網絡用于估計機器人抓取該工件時的姿態信息，姿態生成網絡的輸入信息為由點云信息與點云的類別合成的類點云信息，姿態生成網絡的輸出信息為機器人抓取該工件時的姿態信息。