[發明專利]一種基于數字孿生和深度神經網絡的機器人智能抓取方法

有效

• 申請號: 202011257588.0
• 申請日: 2020-11-11
• 公開（公告）號: CN112297013B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 胡偉飛;王楚璇;劉振宇;譚建榮
• 申請（專利權）人: 浙江大學
• 主分類號: B25J9/16
• 分類號: B25J9/16;G06N3/04
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 賈玉霞

1.一種基于數字孿生和深度神經網絡的機器人智能抓取方法，其特征在于，所述的機器人智能抓取包括物理抓取環境、虛擬抓取判別環境和抓取決策神經網絡；

所述物理抓取環境包括物理機器人、機械爪、深度相機以及待抓取物體集合；所述機械爪為二指平行自適應夾爪；

所述虛擬抓取判別環境為上位機通過與物理硬件進行虛實信息傳遞所構建的虛擬抓取環境，包括機器人狀態、夾爪狀態、深度相機姿態以及物體擺放點云信息；

所述抓取決策神經網絡均為深度卷積神經網絡，運行在上位機中，其包括抓取姿態生成網絡以及抓取質量判別網絡；

所述的機器人智能抓取方法具體包括如下步驟：

（1）根據現有的機器人智能抓取數據集給出的顏色-深度圖像和成功進行物體抓取的抓取框，對其中的抓取質量Q、抓取角度φ、抓取開度W、抓取深度H四個參數進行預處理，得到抓取姿態生成網絡的訓練集；

（2）根據所述的訓練集訓練抓取姿態生成網絡；

（3）將所述深度相機拍攝的物體深度點云圖片和物體彩色照片所組成的4通道圖像輸入訓練好的抓取姿態生成網絡中，輸出與輸入圖像長寬一致的四張單通道特征圖像；

（4）從所述抓取決策神經網絡輸出的圖像中選取抓取成功概率較高的圖像，對這些圖像進行旋轉、縮放與深度歸零的處理后，輸入所述的抓取質量判別網絡，輸出每次抓取的評分；

（5）選擇評分最高的抓取作為最終的抓取，結合虛擬抓取環境中的相機姿態、機器人姿態以及相機內參，將所述抓取決策神經網絡所判斷出的深度相機坐標系下的最佳2.5D抓取姿態，轉化到機器人基坐標系下的3D抓取姿態，并控制機器人和機械爪完成對物體的抓取。

2.根據權利要求1所述的基于數字孿生和深度神經網絡的機器人智能抓取方法，其特征在于，所述的步驟（1）中的預處理包括：

將每個抓取框的沿著抓取寬度的中心的1/3部分的抓取質量q設定為1，其他部分設定為0；

將每個抓取框中相對于圖片的轉動角度處于抓取框中心1/3處填充其抓取角度，取值在內；

將每個抓取框的像素寬度位于抓取框中心1/3處填充其抓取開度 ,取值在內；

計算每個抓取框包圍范圍中深度圖像的平均深度，并將這個平均深度作為抓取深度填充進抓取框中心1/3處。

3.根據權利要求1所述的基于數字孿生和深度神經網絡的機器人智能抓取方法，其特征在于，所述的抓取姿態生成網絡為通過遺傳算法對卷積層數為6的抓取生成神經網絡進行離散優化得到的擁有16個卷積層的高精度深度卷積神經網絡。

4.根據權利要求1所述的基于數字孿生和深度神經網絡的機器人智能抓取方法，其特征在于，所述的抓取質量判別網絡為全卷積神經網絡，以4自由度評估抓取候選對象，即抓取的三維位置和繞z軸旋轉的角度判別抓取的質量判別抓取是否成功。

5.根據權利要求1所述的基于數字孿生和深度神經網絡的機器人智能抓取方法，其特征在于，所述的機器人狀態包括機器人幾何信息、各關節角度信息、機器人運動最大速度與最大加速度以及機器人工作狀態；所述的夾爪狀態包括當前夾爪開度以及夾爪工作狀態；所述的深度相機姿態為深度相機坐標系相對于機器人基坐標系的位置和姿態，共6個自由度；所述的物體擺放點云信息為物體集合相對于相機坐標系的位置和姿態。