[發明專利]拆垛機器人拆垛方法及系統

在審

• 申請號: 202010147479.7
• 申請日: 2020-03-05
• 公開（公告）號: CN111311691A
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 陳衛東;沈成洋
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06K9/00;G06K9/34;B65G61/00
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

1.一種拆垛機器人拆垛方法，其特征在于，包括如下步驟：

離線步驟：圖像采集模塊離線采集料袋點云圖像，獲取標注后的所述料袋點云圖像，利用標注的料袋點云圖像數據訓練點云實例分割網絡，得到料袋點云實例分割模型；

在線步驟：利用料袋點云實例分割模型實現在線抓取料袋。

2.根據權利要求1所述的拆垛機器人拆垛方法，其特征在于，所述離線步驟包括：

圖像采集模塊標定步驟：定義深度相機坐標系O_C，定義機器人坐標系O_R，采用圖像采集模塊外參標定方法對相機外參進行標定，獲取深度相機坐標系相對于機器人坐標系的齊次變換矩陣

離線訓練步驟：采集大量不同擺放情況的料袋點云圖像進行離線訓練得到料袋點云實例分割模型。

3.根據權利要求2所述的拆垛機器人拆垛方法，其特征在于，所述離線訓練步驟包括：

料袋點云圖像采集步驟：采集大量不同擺放情況的料袋點云圖像；

料袋點云圖像標注步驟：對采集的數據進行手動數據標注，標明每個點的語義類別與實例類別；

點云實例分割網絡訓練步驟：利用標注好的數據對點云實例分割網絡進行訓練，得到料袋點云實例分割模型。

4.根據權利要求1所述的拆垛機器人拆垛方法，其特征在于，所述在線步驟包括：

料袋點云圖像采集步驟：使用深度相機實時采集點云圖像；

料袋檢測步驟：處理深度相機實時采集的點云圖像，得到單個料袋點云數據；

料袋定位步驟：分析所有單個料袋點云數據，得到頂層料袋抓取點在機器人坐標系下的坐標。

5.根據權利要求4所述的拆垛機器人拆垛方法，其特征在于，所述料袋檢測步驟包括：

料袋點云分類步驟：將采集到的點云圖像輸入到料袋點云實例分割模型，輸出每個點的語義類別和實例類別；

料袋點云聚合步驟：根據料袋點云實例分割模型的輸出得到所有單個料袋的點云數據。

6.根據權利要求4所述的拆垛機器人拆垛方法，其特征在于，所述料袋定位步驟包括：

料袋中心點獲取步驟：求取單個料袋區域點云數據的質心，將質心作為料袋的中心；

頂層料袋篩選步驟：從識別出的料袋中篩選出頂層的料袋；

坐標轉換步驟：將相機坐標系下的料袋位置轉化為機器人坐標系的位置，將頂層料袋坐標位置發送至機器人控制器，實現自動拆垛。

7.根據權利要求1所述的拆垛機器人拆垛方法，其特征在于，所述圖像采集模塊包括TOF相機。

8.一種拆垛機器人拆垛系統，其特征在于，包括：

圖像采集模塊：離線采集料袋點云圖像：

模型構建模塊：獲取標注后的所述料袋點云圖像，利用標注的料袋點云圖像數據訓練點云實例分割網絡，得到料袋點云實例分割模型；

在線抓取模塊：利用料袋點云實例分割模型實現在線抓取料袋。