[發明專利]工件識別和位姿檢測方法、系統及機械臂的抓取控制方法

有效

• 申請號: 202210732860.9
• 申請日: 2022-06-24
• 公開（公告）號: CN114952809B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 徐剛;趙有港;崔玥;周翔;許允款;曾晶;肖江劍
• 申請（專利權）人: 中國科學院寧波材料技術與工程研究所
• 主分類號: G06T7/80
• 分類號: G06T7/80;B25J9/08;B25J9/16;B25J13/08;B25J15/08;G06N3/04
• 代理公司: 南京利豐知識產權代理事務所(特殊普通合伙) 32256
• 代理人: 王鋒

1.一種工件識別和位姿檢測方法，其特征在于包括：

S1，利用2D相機在待識別場景中獲取所述2D圖像，利用3D相機在所述待識別場景中獲取所述3D點云圖像；所述待識別場景包括工件無序堆疊場景；

S2，將所述2D圖像導入目標分割模型中進行識別，獲取所述目標工件的區域位置；將所述區域位置映射到3D點云圖像中的對應區域，并對所述3D點云圖像中的目標工件所在區域進行實例分割，獲得所述目標工件對應的點云區域；

S3，基于深度學習算法，將所述點云區域導入位姿檢測模型中進行所述目標工件的位姿檢測，并獲取所述目標工件的位姿信息；

所述位姿檢測模型的訓練方法包括：

提供3D訓練數據集，所述3D訓練數據集至少包括3D訓練圖像及其對應的工件位姿標簽和可視化程度標簽；

構建位姿檢測初始模型，并基于所述3D訓練數據集，對所述位姿檢測初始模型進行訓練，獲得所述位姿檢測模型；

其中，所述3D訓練數據集由仿真數據集生成系統仿真生成；

所述仿真生成具體包括：

構建仿真場景，并設定所述仿真場景中存在n個虛擬工件；

基于域隨機化方法，在所述仿真場景的工作區域內將i個虛擬工件隨機從選定位置掉落，并對不同的虛擬工件賦予不同的顏色信息；

基于仿真視覺傳感器采集并保存場景中的深度圖像和rgb圖像；

記錄并保存所述仿真場景中每個虛擬工件掉落的位姿信息，作為所述工件位姿標簽；

基于所述深度圖像和rgb圖像，對每個虛擬工件進行可視化程度分析，并記錄可視化程度數據作為所述可視化程度標簽，其中所述視化程度數據v∈[0,1]，該參數反映了所述虛擬工件的遮擋程度，v=0時完全不可見，v=1時完全無遮擋；

當迭代至整數i不小于n時，停止虛擬工件掉落，基于所述工件位姿標簽和可視化程度標簽生成所述3D訓練數據集。

2.根據權利要求1所述的工件識別和位姿檢測方法，其特征在于，所述目標分割模型的訓練方法包括：

提供2D訓練數據集，所述2D訓練數據集包括多個用于訓練的2D圖像及其對應的標記信息，所述標記信息至少指示所述2D圖像中的工件的輪廓封閉區域；

構建目標分割初始模型，并基于所述2D訓練數據集，對所述目標分割初始模型進行訓練，獲得所述目標分割模型。

3.根據權利要求1所述的工件識別和位姿檢測方法，其特征在于，所述仿真數據集生成系統包括：

圖像獲取裝置，用于獲取仿真場景中虛擬工件的3D訓練圖像；

區域限制裝置，用于根據所述3D訓練圖像獲取視野大小，對虛擬工件的掉落范圍進行限制；

工件位姿采集裝置，用于在虛擬工件隨機掉落動作完成后，記錄當時的所述目標工件的位姿信息；

工件可視化程度分析裝置，用于在所述仿真場景中，對每個虛擬工件的可視化程度進行計算和分析；

數據集標簽整合裝置，用于對3D訓練圖像、工件位姿標簽、可視化程度標簽進行整合，生成所述3D訓練數據集。

4.一種用于實現權利要求1-3中任意一項所述的工件識別和位姿檢測方法的工件識別和位姿檢測系統，其特征在于包括：

圖像采集模塊，用于利用2D相機在待識別場景中獲取所述2D圖像，利用3D相機在所述待識別場景中獲取所述3D圖像信息；所述待識別場景包括工件無序堆疊場景；

區域獲取模塊，用于將所述2D圖像導入目標分割模型中進行識別，獲取所述目標工件的區域位置；將所述區域位置映射到3D點云圖像中的對應區域，并所述3D點云圖像中的目標工件所在區域進行實例分割，獲得所述目標工件對應的點云區域；

位姿獲取模塊，用于基于深度學習算法，在所述點云區域中進行位姿檢測，獲取所述目標工件的位姿信息。

5.一種機械臂的抓取控制方法，其特征在于，包括：

基于權利要求1-3中任意一項所述的工件識別和位姿檢測方法獲取待識別場景中的目標工件及其位姿信息；

選定需抓取的所述目標工件，并基于所述位姿信息控制機械臂進行抓取動作。