[發明專利]一種基于3D視覺的商品分類方法及裝置

有效

• 申請號: 202110412942.0
• 申請日: 2021-04-16
• 公開（公告）號: CN113245235B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 舒志豪
• 申請（專利權）人: 嘉聯支付有限公司
• 主分類號: B07C5/342
• 分類號: B07C5/342;B07C5/36
• 代理公司: 深圳市深軟翰琪知識產權代理有限公司 44380
• 代理人: 吳雅麗

本發明公開一種基于3D視覺的商品分類方法及裝置，該方法包括如下步驟：工控機收到分揀商品請求后，由采集攝像頭捕捉當前層數的3D影像圖片；算法服務器對采集到的所述3D影像圖片進行商品分類識別、商品位姿以及抓取點識別，獲取當前商品位置輪廓及中心坐標信息；工控機根據算法服務器的商品位置輪廓及中心坐標信息進行分揀操作。本發明對于貨架上的商品做分類是通過硬件層的邊緣計算的Xavier工控機控制邊緣3D深度圖像采集攝像頭并結合算法服務層實現對商品定位分類，相比于人工與其他模板匹配的方法，分揀效率高，準確率高；自動化控制，由后臺業務系統發送訂單到工控機執行，自動化控制；數據可存儲，每個環節系統都有備份數據。

技術領域

本發明涉及人工智能技術領域，具體涉及一種基于3D視覺的貨品分類方法及裝置。

背景技術

隨著科技的不斷進步，機器人技術也得到迅速發展，作為機器人技術的一個重要分支，分揀機器人已被廣泛應用于生產中。

現有技術中，分揀機器人通過獲取的圖像信息普遍采用模板特征匹配算法，也即將圖形信息中出現的目標物品與模板進行匹配，確定物品的種類，進而通過分揀機器人的抓取將該物品分揀到相應位置。但是，現有的模板特征匹配方法計算復雜度大，對于機器人視覺應用需要建立多模板數據，設置復雜，不斷隨著新情況的出現調整模板；同時，采用模板匹配的方法，對物品類型判斷的準確性和效率均較低，同時，抓取到該物品后，并不能保證物品以正確的姿態被分揀，例如，飲料瓶以瓶口倒置或者倒放的方式被抓取并擺放，嚴重影響分揀效果。

發明內容

在下文中給出了關于本發明實施例的簡要概述，以便提供關于本發明的某些方面的基本理解。應當理解，以下概述并不是關于本發明的窮舉性概述。它并不是意圖確定本發明的關鍵或重要部分，也不是意圖限定本發明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。

根據本申請的一個方面，提供一種基于3D視覺的商品分類方法，其包括如下步驟：

工控機收到分揀商品請求后，由采集攝像頭捕捉當前層數的3D影像圖片；

算法服務器對采集到的所述3D影像圖片進行商品分類識別、商品位姿以及抓取點識別，獲取當前商品位置輪廓及中心坐標信息；

工控機根據算法服務器的商品位置輪廓及中心坐標信息進行分揀操作：工控機控制六軸機械臂手臂帶動夾具移動至目標點位，并將對應的商品分揀至對應的商品欄。

工控機根據算法服務器的商品位置輪廓及中心坐標信息進行分揀操作還包括：工控機控制六軸機械臂手臂帶動夾具移動至待放置物品的存儲藍中，抓取待放置物品將其移動至中轉臺上，所述中轉臺用于限位并引導倒置或者倒放的物品擺正；然后將擺正后的待放置物品移動至目標點位。

其中，所述服務器對采集到的所述3D影像圖片進行商品分類識別具體包括：運行目標檢測器，使用預訓練好的神經網絡；獲得對應的特征集合，使用ResNet101(快速訓練殘差網絡)提取特征；卷積神經網絡中feature map中的每一點設定若干個的感興趣區域ROI(region of interest，感興趣區域)，從而獲得多個候選ROI；將這些候選的ROI送入RPN網絡(RegionProposal Network，區域生成網絡)進行二值分類(前景或背景)和bounding box回歸，過濾掉一部分候選ROI；對這些剩下的ROI進行ROIAlign操作：先將原圖和featuremap的pixel對應起來，然后將feature map和固定的feature對應起來；對這些ROI進行分類(N類別分類)、bounding box回歸和MASK生成(在每一個ROI里面進行FCN操作)。

在神經網絡訓練時由于送給ROIAlign操作的數量會特別大，導致分割的分支網絡會不容易學習到。因此本申請直接在檢測結果后進行分支預測，這樣極大地提高了收斂的速度。