[發明專利]一種基于視覺機械臂抓取工件方法

在審

• 申請號: 202210922342.3
• 申請日: 2022-08-02
• 公開（公告）號: CN115319739A
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 駱海濤;高鵬宇;孫嘉澤;曹軒;孔祥峰
• 申請（專利權）人: 中國科學院沈陽自動化研究所
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J19/00
• 代理公司: 沈陽科苑專利商標代理有限公司 21002
• 代理人: 周宇

1.一種基于視覺機械臂抓取工件方法，其特征在于，包括以下步驟：

步驟1、拍攝圖像，輸入YOLOV5網絡進行目標識別，定位待抓取目標工件；

步驟2、利用ggcnn2網絡模型計算抓取點，輸出目標工件的像素抓取信息；

步驟3、根據像素抓取信息和手眼變換矩陣，計算機械臂末端的實際抓取位姿；

步驟4、控制機械臂按照抓取位姿對目標工件進行抓取。

2.根據權利要求1所述的一種基于視覺機械臂抓取工件方法，其特征在于，所述YOLOV5網絡為預先訓練好的網絡結構，訓練步驟包括：

步驟1.1、拍攝多張目標圖像，進行定位標注，獲取被標注的圖像及定位標簽信息；

步驟1.2、對目標圖像進行剪裁和數據增強，制作定位數據集；

步驟1.3、將定位數據集中的圖像和定位標簽信息輸入YOLOV5網絡進行訓練，訓練網絡權重參數，獲取優化的YOLOV5網絡，所述該網絡用于對未知目標進行框選定位和類別識別。

3.根據權利要求2所述的一種基于視覺機械臂抓取工件方法，其特征在于，所述定位標注為：

a.在圖像上框選標畫出目標物體的外接輪廓；

b.備注定位標簽信息：當前目標工件物體的類別名稱。

4.根據權利要求1所述的一種基于視覺機械臂抓取工件方法，其特征在于，所述ggcnn2網絡模型為預先訓練好的網絡結構，訓練步驟包括：

步驟2.1、拍攝多張待抓取目標工件圖像，進行人工抓取點標注，獲取被抓取標注的圖像及抓取標簽信息；

步驟2.2、對目標圖像進行剪裁和歸一化處理，制作抓取數據集；

步驟2.3、將數據集中的圖像和標簽信息輸入ggcnn2網絡模型進行訓練，訓練網絡權重參數，獲取優化的ggcnn2網絡模型，所述該網絡用于對未知的待抓取目標，計算符合置信度要求的抓取點，并標注像素抓取信息。

5.根據權利要求4所述的一種基于視覺機械臂抓取工件方法，其特征在于，所述人工抓取點標注為：

a.在圖像上標畫出：待抓取目標物體的抓取點集構成的線、抓取角度、抓取寬度；所述抓取角度為夾爪連線與圖像任意邊構成的角度；所述抓取寬度為夾爪執行閉合的初始距離；

b.存儲像素抓取信息：抓取點像素坐標，抓取角度，抓取寬度；

其中，已知抓取視角為俯視；夾爪為二指夾爪。

6.根據權利要求4所述的一種基于視覺機械臂抓取工件方法，其特征在于，是根據以下置信度要求輸出3種類型的像素抓取信息配置：

a.選擇來置信度為峰值的像素抓取信息配置；

b.選擇所有置信度超過閾值的像素抓取信息配置；

c.選擇置信度最大的像素抓取信息配置。

7.根據權利要求4所述的一種基于視覺機械臂抓取工件方法，其特征在于，所述手眼變換矩陣為：

其中，標定板到相機的位姿變換通過相機標定或者標簽檢測的方法得到，相機到機械臂基座的位姿變換機械臂基座到機械臂末端的位姿變換通過正運動學解算求得；

目標工件的像素抓取信息為相機坐標系下的：抓取點像素坐標，抓取角度，抓取寬度，帶入手眼變換矩陣計算得到機械臂末端的實際抓取位姿；

機械臂末端的實際抓取位姿為目標工件在機械臂末端坐標系下的：抓取點坐標，抓取角度，抓取寬度。