[發明專利]拆垛機器人拆垛方法及系統

在審

• 申請號: 202010147479.7
• 申請日: 2020-03-05
• 公開（公告）號: CN111311691A
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 陳衛東;沈成洋
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06K9/00;G06K9/34;B65G61/00
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

本發明提供了一種拆垛機器人拆垛方法及系統，工控機運行料袋檢測與定位算法處理圖像采集模塊采集的數據得到料袋抓取點坐標后，將料袋抓取點坐標發送給機器人控制器，從而實現對堆垛的的自動化拆垛。料袋檢測與定位算法包括離線部分和在線部分。其中離線部分包括圖像采集模塊外參標定和點云實例分割網絡的訓練。在線部分通過點云實例分割模型實現料袋的檢測，通過料袋中心點獲取和頂層料袋篩選算法對待抓取料袋進行定位，得到料袋抓取點坐標。本發明針對形變料袋等不規則包裝的堆垛能準確識別與定位單個料袋，從而實現提高機器人抓取的魯棒性。

技術領域

本發明涉及工業機器人應用領域，具體地，涉及一種拆垛機器人拆垛方法及系統。

背景技術

目前，在各行業編織袋拆垛工作一般分成人工拆垛和自動拆兩類。人工拆垛勞動強度大、效率低且成本高，所以自動拆垛在各行業應用普遍。但目前的自動拆垛針對的是形狀固定的，不會發生形變的物體。剛性物體的精確位置可以事先確定并將坐標值設定在機器人控制系統中。但編織袋等不規則物體在運輸過程中會發生形變，導致料袋的位置會偏離預先設定位置，這時機器人就會抓取不準確，影響拆垛工作。因此，急需設計一套成熟的面向機器人抓取作業的可變形料袋視覺識別與定位方法，實現機器人自動對可變形料袋堆垛的拆垛工作。

專利文獻CN104835156A公開了一種基于計算機視覺的無紡布袋自動定位方法，計算無紡布袋的前端線位置、左右端線的四個點的位置，無紡布袋的偏轉角度，完成對無紡布袋的定位。該方法只是對流水線上固定深度無紡布袋定位，對不同深度層無紡布袋無法定位，通用性差。專利文獻CN107626608A公開了一種利用視覺成像對包裝袋進行識別的碼垛控制裝置，通過多個相機和光電開關獲得包裝袋位置，該方法所需要的傳感器數目較多，推廣成本較高。專利文獻CN104331894A公開了一種基于雙目立體視覺的機器人拆垛方法，該方法針對剛性物體，對于形變物體不能實現較好的目標識別定位。

專利文獻CN204487582U公開了一種基于3D視覺引導的工業機器人自動拆垛系統，該系統設計了一種由工業相機和激光測距儀組成的可滑動的掃描儀來實現料袋的識別與定位，該方法推廣成本較高。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種拆垛機器人拆垛方法及系統。

根據本發明提供的一種拆垛機器人拆垛方法，包括如下步驟：

離線步驟：圖像采集模塊離線采集料袋點云圖像，手動標注所述料袋點云圖像，利用標注的料袋點云圖像數據訓練點云實例分割網絡，得到料袋點云實例分割模型；

在線步驟：利用料袋點云實例分割模型實現在線抓取料袋。

優選地，所述離線步驟包括：

圖像采集模塊標定步驟：定義深度相機坐標系O_C，定義機器人坐標系O_R，采用圖像采集模塊外參標定方法對相機外參進行標定，獲取深度相機坐標系相對于機器人坐標系的齊次變換矩陣

離線訓練步驟：采集大量不同擺放情況的料袋點云圖像進行離線訓練得到料袋點云實例分割模型。

優選地，所述離線訓練步驟包括：

料袋點云圖像采集步驟：采集大量不同擺放情況的料袋點云圖像；

料袋點云圖像標注步驟：對采集的數據進行手動數據標注，標明每個點的語義類別與實例類別；

點云實例分割網絡訓練步驟：利用標注好的數據對點云實例分割網絡進行訓練，得到料袋點云實例分割模型。

優選地，所述在線步驟包括：

料袋點云圖像采集步驟：使用深度相機實時采集點云圖像；

料袋檢測步驟：處理深度相機實時采集的點云圖像，得到單個料袋點云數據；