[發明專利]一種基于數字孿生和深度神經網絡的機器人智能抓取方法

有效

• 申請號: 202011257588.0
• 申請日: 2020-11-11
• 公開（公告）號: CN112297013B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 胡偉飛;王楚璇;劉振宇;譚建榮
• 申請（專利權）人: 浙江大學
• 主分類號: B25J9/16
• 分類號: B25J9/16;G06N3/04
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 賈玉霞

本發明公開一種基于數字孿生和深度神經網絡的機器人智能抓取方法，其包括物理抓取環境、虛擬識別環境以及核心神經網絡部分；物理環境由深度相機、機器人、機械爪以及被抓取物體構成，是抓取的主要執行機構；虛擬識別環境由深度相機構建的點云文件和機器人、爪相關姿態構成，是機器人狀態、機械爪位置、相機姿態、物體擺放位置的虛擬環境集合；核心神經網絡包括抓取生成網絡和抓取識別網絡，對抓取方式進行采樣判別并生成最優的抓取姿態。本發明的機器人智能抓取方法，能夠基于相機采集到的顏色?深度圖像，快速高效判斷最佳抓取位置和姿態。

技術領域

本發明屬于數字孿生智能制造領域，尤其涉及一種基于數字孿生和深度神經網絡的機器人智能抓取方法。

背景技術

Digital Twin數字孿生技術：是充分利用物理模型、傳感器更新、運行歷史等數據，集成多學科、多物理量、多尺度、多概率的仿真過程，在虛擬世界中完成物理世界的映射，從而反映相對應的實體裝備的全生命周期過程。數字孿生可以被視為一個或多個重要的、彼此依賴的裝備系統的數字映射系統，其是物理世界與虛擬世界進行交互與融合的紐帶。

工業3.0的發展，初步的自動化機器人承擔起了重復枯燥低智能的勞動，將人類解放了出來。機械臂是工業中最常見的機器人之一，目前機械臂在工業環境中甚至家庭醫院中都有著廣泛的應用，而抓取并移動物體，是機械臂最重要的工作之一。機械臂的優點是針對給定的任務，可以以高精度快速地完成，在物體位置和形狀姿態均固定時，合理設置機械臂的動作可以高效完成抓取。

但是隨著工業4.0的潮流和發展，上述方法顯現出以下問題：機器人不僅要求能夠勝任重復的任務，更被希望能在一定程度上完成復雜任務，擁有應對環境變化的能力。當物體的擺放姿態較為凌亂時，抓取工作就會變得相當困難，即機械臂傳統的開環控制對環境的變化抵抗能力基本為零，難以應對復雜智能產線下多變的環境和智能生產需求。

發明內容

針對現有技術的不足，本發明提供一種基于數字孿生和深度神經網絡的機器人智能抓取方法，具體技術方案如下：

一種基于數字孿生和深度神經網絡的機器人智能抓取方法，所述的機器人智能抓取包括物理抓取環境、虛擬抓取判別環境和抓取決策神經網絡；

所述物理抓取環境包括物理機器人、機械爪、深度相機以及待抓取物體集合；所述機械爪為二指平行自適應夾爪；

所述虛擬抓取判別環境為上位機通過與物理硬件進行虛實信息傳遞所構建的虛擬抓取環境，包括機器人狀態、夾爪狀態、深度相機姿態以及物體擺放點云信息；

所述抓取決策神經網絡均為深度卷積神經網絡，運行在上位機中，其包括抓取姿態生成網絡以及抓取質量判別網絡；

所述的機器人智能抓取方法具體包括如下步驟：

(1)根據現有的機器人智能抓取數據集給出的顏色-深度圖像和成功進行物體抓取的抓取框，對其中的抓取質量Q、抓取角度抓取開度W、抓取深度H四個參數進行預處理，得到抓取姿態生成網絡的訓練集；

(2)根據所述的訓練集訓練抓取姿態生成網絡；

(3)將所述深度相機拍攝的物體深度點云圖片和物體彩色照片所組成的4通道圖像輸入訓練好的抓取姿態生成網絡中，輸出與輸入圖像長寬一致的四張單通道特征圖像；

(4)從所述抓取決策神經網絡輸出的圖像中選取抓取成功概率較高的圖像，對這些圖像進行旋轉、縮放與深度歸零的處理后，輸入所述的抓取質量判別網絡，輸出每次抓取的評分；

(5)選擇評分最高的抓取作為最終的抓取，結合虛擬抓取環境中的相機姿態、機器人姿態以及相機內參，將所述抓取決策神經網絡所判斷出的深度相機坐標系下的最佳2.5D抓取姿態，轉化到機器人基坐標系下的3D抓取姿態，并控制機器人和機械爪完成對物體的抓取。

進一步地，所述的步驟(1)中的預處理包括：