[發明專利]基于深度學習模型的抓取方法及裝置

有效

• 申請號: 202110295688.0
• 申請日: 2021-03-19
• 公開（公告）號: CN112884825B
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 劉辛軍;李子豪;葉彥雷;李鵬;謝福貴;劉魁;呂春哲
• 申請（專利權）人: 清華大學;煙臺清科嘉機器人聯合研究院有限公司
• 主分類號: G06T7/60
• 分類號: G06T7/60;G06T7/90;G06F30/27;G06N3/04;G06N3/08;G06F119/14
• 代理公司: 北京中索知識產權代理有限公司 11640
• 代理人: 胡大成

1.基于深度學習模型的抓取方法，用于夾持器抓取目標物體，其特征在于，包括：

建立目標物體集合的屬性集合數據、2D數據集和不規則物體點云數據集；

根據所述2D數據集和所述不規則物體點云數據集，分別訓練2D深度學習模型和點云深度學習模型；

通過所述2D深度學習模型確定待抓取的目標物體；

根據所述屬性集合數據、所述點云深度學習模型，計算所述目標物體的抓取點位姿數據、夾持器的開合尺寸數據和夾持器夾持所述目標物體的壓力閾值；

根據所述抓取點位姿數據和所述開合尺寸數據，對所述目標物體進行抓取；

根據所述屬性集合數據，確定所述目標物體的剛度數據；

當所述剛度數據為剛體時，獲取夾持器抓取所述目標物體時的夾持反饋數據；

當所述夾持反饋數據達到預設值時，將抓取的所述目標物體放置在指定位置；

其中，所述夾持反饋數據達到預設值至少包括夾持器抓取所述目標物體時的壓力數據達到所述壓力閾值、實際夾持開合尺寸數據符合所述開合尺寸數據范圍中的一項；

或當所述剛度數據為軟體時，獲取夾持器抓取所述目標物體時的夾持壓力數據；

利用深度相機識別夾持器上的夾持物，得到識別結果；

當所述夾持壓力數據達到所述壓力閾值，同時所述識別結果符合預設條件時，將抓取的所述目標物體放置在指定位置；

其中，所述預設條件為深度相機識別到夾持器上存在物體。

2.根據權利要求1所述的抓取方法，其特征在于，建立目標物體集合的屬性集合數據、2D數據集和不規則物體點云數據集，具體包括：

根據所有需要抓取的目標物體，建立目標物體集合的屬性集合數據；

采集所有需要抓取的目標物體的RGB圖片和深度圖片；

對所述RGB圖片中的物體進行類別標注，生成2D數據集；

根據所述屬性集合數據、所述深度圖片和所述2D數據集，生成不規則物體點云數據集；

其中，所述屬性集合數據包括剛度數據、尺寸數據和形狀數據。

3.根據權利要求1所述的抓取方法，其特征在于，根據所述2D數據集和所述不規則物體點云數據集，分別訓練2D深度學習模型和點云深度學習模型，具體包括：

采用2D深度神經網絡對所述2D數據集進行訓練，得到2D深度學習模型；

采用3D深度神經網絡對所述不規則物體點云數據集進行訓練，得到點云深度學習模型；

其中，所述2D深度神經網絡包括Mask R-CNN或者YOLOv3中的任意一種；

所述3D深度神經網絡包括PointNet++。

4.根據權利要求1所述的抓取方法，其特征在于，通過所述2D深度學習模型確定待抓取的目標物體，具體包括：

利用深度相機拍攝觀察區內的所有物體的圖像，得到待識別圖像；

調用所述2D深度學習模型處理所述待識別圖像，生成處理結果；

根據所述處理結果，確定待抓取的目標物體。

5.根據權利要求1所述的抓取方法，其特征在于，根據所述屬性集合數據、所述點云深度學習模型，計算所述目標物體的抓取點位姿數據、夾持器的開合尺寸數據和夾持器夾持所述目標物體的壓力閾值，具體包括：

根據所述屬性集合數據，確定所述目標物體的形狀數據和剛度數據；

當所述形狀數據為規則時，根據所述物體屬性集合數據，獲取所述目標物體的尺寸數據；

通過深度相機獲取所述目標物體的深度信息數據；

根據所述尺寸數據和所述深度信息數據，計算所述目標物體的抓取點位姿數據和夾持器的開合尺寸數據；

根據所述剛度數據，計算夾持器夾持所述目標物體的壓力閾值。