[發明專利]基于深度學習的物品識別預分揀系統、方法及機器人

在審

• 申請號: 201811605348.8
• 申請日: 2018-12-26
• 公開（公告）號: CN111368852A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 姜楠;曲道奎;鄒風山;王曉東;畢豐隆;徐佳新
• 申請（專利權）人: 沈陽新松機器人自動化股份有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06T7/10;G06T7/70
• 代理公司: 沈陽科苑專利商標代理有限公司 21002
• 代理人: 許宗富

本發明提供的基于深度學習的物品識別預分揀方法，利用RGBD相機獲取包含目標物品的圖像數據，利用卷積神經網絡對所述圖像數據進行目標定位，并利用多尺度目標檢測FPN網絡對定位到的目標物體進行像素級分割得到目標物品像素點集，根據所述圖像數據與點云的對應關系對所述目標物品像素點集進行處理得到點云集合，通過迭代最近點ICP匹配的方式對所述點云集合進行處理得到所述目標物體的位姿信息，所述位姿信息用于對所述目標物體進行分揀使用可以提供目標物品準確的位姿信息，為機器人快速分揀提供保障。本發明還相應提供了基于深度學習的物品識別預分揀系統及機器人。

技術領域

本發明涉及機器人視覺領域，特別涉及一種基于深度學習的物品識別預分揀系統、方法及機器人。

背景技術

隨著電子商務的飛速發展，使用機器人作為分揀執行機構能夠極大地提升分揀的靈活性和效率。對于機器人來說，除了示教的方式讓其進行自主工作以外，通過機器視覺對目標進行識別與定位的方式更為有效與實用。

機器人由機械臂與移動底盤構成，因此可以實現多個工位的操作。在利用機器視覺進行目標定位時，常用的方法分為兩種，一種是基于二維攝像頭，通過平面標定的方式實現目標的抓??；另一種是采用三維傳感器，可對空間中任意物品進行定位與操作，視覺識別系統就成了必不可少的輔助單元。

視覺識別系統往往是非常復雜的系統，要求能夠準確地采集圖像并對外界變化做出實時反應。此外，往往還要求視覺識別系統對外界運動的目標進行實時跟蹤，因此，視覺識別系統對硬件和軟件系統的實時性都提出了較高的要求，在實際使用過程中，仍是以傳統的方法為主。

發明內容

本發明實施例提供了一種基于深度學習的物品識別預分揀系統、方法及機器人，可以提供目標物品準確的位姿信息，為機器人快速分揀提供保障。

第一方面，本發明提供一種基于深度學習的物品識別預分揀方法，所述方法包括：

利用RGBD相機獲取包含目標物品的圖像數據；

利用卷積神經網絡對所述圖像數據進行目標定位，并利用多尺度目標檢測FPN網絡對定位到的目標物體進行像素級分割得到目標物品像素點集；

根據所述圖像數據與點云的對應關系對所述目標物品像素點集進行處理得到點云集合；

通過迭代最近點ICP匹配的方式對所述點云集合進行處理得到所述目標物體的位姿信息，所述位姿信息用于對所述目標物體進行分揀使用。

可選地，所述利用卷積神經網絡算法對所述圖像數據進行目標定位，并利用FPN網絡對定位到的目標物體進行像素級分割得到目標物品像素點集之前，所述方法還包括：

對所述圖像數據進行圖像識別得到所述目標物品的標識信息，所述標識信息是用于標識目標物品的唯一性。

可選地，所述通過ICP匹配的方式對所述點云集合進行處理得到所述目標物體的位姿信息，所述位姿信息用于對所述目標物體進行分揀使用之后，所述方法還包括：

將所述位姿信息轉化為機器人坐標系的位置參數，以使得機器人根據所述位置參數對所述目標物體進行抓取。

可選地，所述利用卷積神經網絡對所述圖像數據進行目標定位，包括：

構建卷積神經網絡，將目標物品的圖像輸入到所述卷積神經網絡中進行訓練，得到訓練好的卷積神經網絡模型，通過卷積神經網絡模型提取的全局目標物品特征訓練Softmax分類器，其中卷積神經網絡包括卷積池化層、局部特征融合層和全連接層，并對所述圖像數據進行模塊化預處理，并將結果輸入到訓練好的卷積神經網絡模型，得到目標物品的特征，并利用訓練好的Softmax分類器進行識別，得到目標物品的定位。

可選地，所述利用卷積神經網絡對所述圖像數據進行目標定位，包括：