[發明專利]處理托盤堆垛圖像的方法、裝置及用于倉儲揀貨的系統

有效

• 申請號: 201810014627.0
• 申請日: 2018-01-08
• 公開（公告）號: CN109870983B
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 李天劍;李鵬成;黃民;陳猛;劉詩晗;李寶杰
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京信息科技大學
• 主分類號: G05B19/418
• 分類號: G05B19/418
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 闞梓瑄;王衛忠

1.一種處理托盤堆垛圖像的方法，其特征在于，包括：

獲取托盤堆垛的三基色圖像與深度圖像；

通過所述三基色圖像與所述深度圖像生成堆垛數據，所述堆垛數據為四通道圖像數據；

將所述堆垛數據輸入到識別模型中以獲取識別結果，所述識別結果包括所述托盤堆垛中頂層紙箱的像素坐標；以及

對所述識別結果進行坐標映射，獲取所述托盤堆垛的參數；

其中，所述識別模型為根據卷積神經網絡模型訓練得到的，所述卷積神經網絡模型包括：去掉全連接層的Faster-RCNN，與所述Faster-RCNN依次連接的Conv6、Conv7、Conv8_2以及Conv9_2的卷積層，以及與所述卷積層連接的RPN。

2.如權利要求1所述的方法，其特征在于，還包括：

機械手通過所述托盤堆垛的參數，進行自動拆垛處理；以及

其中，所述托盤堆垛的參數包括：紙箱中心坐標，紙箱傾斜角度，以及距離相機深度。

3.如權利要求1所述的方法，其特征在于，還包括：

通過托盤堆垛圖像數據訓練所述卷積神經網絡模型，以獲取所述識別模型。

4.如權利要求3所述的方法，其特征在于，通過模擬的托盤堆垛圖像數據訓練所述卷積神經網絡模型，以獲取所述識別模型。

5.如權利要求4所述的方法，其特征在于，所述通過模擬的托盤堆垛圖像數據訓練所述卷積神經網絡模型，以獲取所述識別模型，包括：

繪制矩形三維模型；以及

將實際紙箱二維圖像貼敷于所述三維模型以生成所述模擬的托盤堆垛圖像數據。

6.如權利要求4所述的方法，其特征在于，所述通過托盤堆垛圖像數據訓練所述卷積神經網絡模型，以獲取所述識別模型，還包括：

在所述卷積神經網絡模型訓練時，引入模型誤差。

7.如權利要求1所述的方法，其特征在于，所述獲取托盤堆垛的三基色圖像與深度圖像，包括：

通過彩色相機獲取托盤堆垛的三基色圖像；以及

通過深度相機獲取托盤堆垛的深度圖像。

8.如權利要求1所述的方法，其特征在于，所述通過所述三基色圖像與所述深度圖像生成堆垛數據，包括：

將所述深度圖像進行預處理，以獲得與所述三基色圖像相同尺寸的第一圖像；以及

通過圖像金字塔算法將所述第一圖像與所述三基色圖像進行對應，進而生成所述堆垛數據。

9.如權利要求8所述的方法，其特征在于，所述將所述深度圖像進行預處理，包括：

將所述深度圖像進行形態學處理。

10.一種處理托盤堆垛圖像的裝置，其特征在于，包括：

圖像模塊，用于獲取托盤堆垛的三基色圖像與深度圖像；

處理模塊，用于通過所述三基色圖像與所述深度圖像生成堆垛數據，所述堆垛數據為四通道圖像數據；

識別模塊，用于將所述堆垛數據輸入到識別模型中以獲取識別結果，所述識別結果包括所述托盤堆垛中頂層紙箱的像素坐標；以及

參數模塊，用于對所述識別結果進行坐標映射，獲取所述托盤堆垛的參數；

其中，所述識別模型為根據卷積神經網絡模型訓練得到的，所述卷積神經網絡模型的包括：去掉全連接層的Faster-RCNN，與所述Faster-RCNN依次連接的Conv6、Conv7、Conv8_2以及Conv9_2的卷積層，以及與所述卷積層連接的RPN。

11.如權利要求10 所述的裝置，其特征在于，還包括：

模型模塊，用于通過托盤堆垛圖像數據訓練所述卷積神經網絡模型，以獲取所述識別模型。