[發(fā)明專利]一種基于3D視覺的商品分類方法及裝置

有效

• 申請?zhí)枺?/td>: 202110412942.0
• 申請日: 2021-04-16
• 公開（公告）號: CN113245235B
• 公開（公告）日: 2023-03-28
• 發(fā)明（設(shè)計(jì)）人: 舒志豪
• 申請（專利權(quán)）人: 嘉聯(lián)支付有限公司
• 主分類號: B07C5/342
• 分類號: B07C5/342;B07C5/36
• 代理公司: 深圳市深軟翰琪知識產(chǎn)權(quán)代理有限公司 44380
• 代理人: 吳雅麗

1.一種基于3D視覺的商品分類裝置，其特征在于：包括貨架本體、采集攝像頭、六軸機(jī)械臂、機(jī)械臂驅(qū)動部件、工控機(jī)以及算法服務(wù)器，所述采集攝像頭和機(jī)械臂驅(qū)動部件、算法服務(wù)器均與所述工控機(jī)電性連接；所述采集攝像頭和六軸機(jī)械臂安裝在貨架本體上，所述貨架本體上設(shè)有用于容納商品的多個商品欄；

所述工控機(jī)用于收到分揀商品請求后，控制所述采集攝像頭捕捉當(dāng)前層的商品欄中3D影像圖片并發(fā)送對應(yīng)數(shù)據(jù)信息至算法服務(wù)器，并根據(jù)所述算法服務(wù)器的輸出控制機(jī)械臂驅(qū)動部件帶動六軸機(jī)械臂的夾具移動至目標(biāo)點(diǎn)位，將對應(yīng)商品分揀至相應(yīng)的商品欄；所述算法服務(wù)器使用預(yù)訓(xùn)練好的深度卷積神經(jīng)網(wǎng)絡(luò)運(yùn)算得出對應(yīng)貨架上的商品位置輪廓及中心點(diǎn)信息輸出給工控機(jī)；

所述貨架本體上設(shè)有用于容納商品的多個商品欄以及用于防止瓶口倒置的中轉(zhuǎn)臺，所述中轉(zhuǎn)臺包括底座，底座上設(shè)有V型凹槽，所述V型凹槽包括左限位片和右限位片，左限位片和右限位片的頂部間距大于底部間距，用于限位并引導(dǎo)倒置或者倒放的物品擺正；所述工控機(jī)還用于：控制六軸機(jī)械臂手臂帶動夾具移動至待放置物品的存儲藍(lán)中，抓取待放置物品將其移動至中轉(zhuǎn)臺上，所述中轉(zhuǎn)臺用于限位并引導(dǎo)倒置或者倒放的物品擺正；然后將擺正后的待放置物品移動至目標(biāo)點(diǎn)位，從而將對應(yīng)商品分揀至相應(yīng)的商品欄。

2.根據(jù)權(quán)利要求1所述的基于3D視覺的商品分類裝置，其特征在于：所述V型凹槽還包括用于安裝左限位片和右限位片的底板，所述左限位片包括與底板連接的左安裝部、與左安裝部連接的左限位部，所述右限位片包括與底板連接的右安裝部、與右安裝部連接的右限位部，所述左限位部和右限位部對稱設(shè)置形成V型槽，所述左安裝部和右安裝部相對設(shè)置形成柱狀結(jié)構(gòu)的容納腔。

3.根據(jù)權(quán)利要求1所述的基于3D視覺的商品分類裝置，其特征在于：所述六軸機(jī)械臂包括順次連接的支撐桿、支撐卡口、伸縮桿以及末端吸嘴，支撐桿的上部具有法蘭盤，法蘭盤上通過一帶孔垂直桿安裝采集攝像頭，支撐桿的底部通過支撐卡口與伸縮桿固定安裝，伸縮桿的底部安裝末端吸嘴。

4.根據(jù)權(quán)利要求3所述的基于3D視覺的商品分類裝置，其特征在于：所述六軸機(jī)械臂的末端吸嘴具有粗糙的海綿質(zhì)地。

5.一種基于3D視覺的商品分類方法，應(yīng)用于權(quán)利要求1-4任一所述的基于3D視覺的商品分類裝置，其特征在于：包括如下步驟：

工控機(jī)收到分揀商品請求后，由采集攝像頭捕捉當(dāng)前層數(shù)的3D影像圖片；

算法服務(wù)器對采集到的所述3D影像圖片進(jìn)行商品分類識別、商品位姿以及抓取點(diǎn)識別，獲取當(dāng)前商品位置輪廓及中心坐標(biāo)信息；

工控機(jī)根據(jù)算法服務(wù)器的商品位置輪廓及中心坐標(biāo)信息進(jìn)行分揀操作。

6.根據(jù)權(quán)利要求5所述的基于3D視覺的商品分類方法，其特征在于：所述工控機(jī)根據(jù)算法服務(wù)器的商品位置輪廓及中心坐標(biāo)信息進(jìn)行分揀操作還包括：工控機(jī)控制六軸機(jī)械臂手臂帶動夾具移動至待放置物品的存儲藍(lán)中，抓取待放置物品將其移動至中轉(zhuǎn)臺上，所述中轉(zhuǎn)臺用于限位并引導(dǎo)倒置或者倒放的物品擺正；然后將擺正后的待放置物品移動至目標(biāo)點(diǎn)位。

7.根據(jù)權(quán)利要求5所述的基于3D視覺的商品分類方法，其特征在于：所述服務(wù)器對采集到的所述3D影像圖片進(jìn)行商品分類識別具體包括：運(yùn)行目標(biāo)檢測器，使用預(yù)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)；獲得對應(yīng)的特征集合，使用快速訓(xùn)練殘差網(wǎng)絡(luò)提取特征；卷積神經(jīng)網(wǎng)絡(luò)中featuremap中的每一點(diǎn)設(shè)定若干個的感興趣區(qū)域ROI，從而獲得多個候選ROI；將這些候選的ROI送入RPN網(wǎng)絡(luò)進(jìn)行二值分類和bounding box回歸，過濾掉一部分候選ROI；對這些剩下的ROI進(jìn)行ROIAlign操作：先將原圖和feature map的pixel對應(yīng)起來，然后將feature map和固定的feature對應(yīng)起來；對這些ROI進(jìn)行分類、bounding box回歸和MASK生成。