[發(fā)明專利]一種食品分揀方法、系統(tǒng)及計算機可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010721257.1
• 申請日: 2020-07-24
• 公開（公告）號: CN111931765A
• 公開（公告）日: 2020-11-13
• 發(fā)明（設(shè)計）人: 張競藝;仇雪雅
• 申請（專利權(quán)）人: 上海明略人工智能（集團）有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/46;B25J9/16
• 代理公司: 青島清泰聯(lián)信知識產(chǎn)權(quán)代理有限公司 37256
• 代理人: 李祺

本發(fā)明提供的一種食品分揀方法、系統(tǒng)及計算機可讀存儲介質(zhì)，食品分揀方法包括：獲取存放區(qū)中食品的圖像和深度信息；將所述圖像輸入預(yù)訓(xùn)練機器學(xué)習(xí)模型，所述預(yù)訓(xùn)練機器學(xué)習(xí)模型輸出所述圖像中食品的品類信息、輪廓信息和置信度；根據(jù)分揀指令、所述深度信息、所述品類信息以及所述置信度，確定所述圖像中目標食品；根據(jù)所述目標食品的深度信息和輪廓信息，抓取所述目標食品。該方法基于深度信息指導(dǎo)機械臂進行抓取，在堆疊食品中優(yōu)先抓取最頂層的食品，解決了無序抓取食品的問題，實現(xiàn)了堆疊食品的有序抓取。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，特別涉及一種食品分揀方法、系統(tǒng)及計算機可讀存儲介質(zhì)。

背景技術(shù)

隨著人工智能浪潮的興起，機械臂在各行各業(yè)發(fā)揮著日益重要的作用。對機械臂而言，抓取是機械臂走進真實世界必不可少的技能，比如在物流行業(yè)中對物體進行分揀，在工業(yè)生產(chǎn)線上完成零件的裝配以及在快餐行業(yè)中進行炸雞分揀等。機械臂完成抓取任務(wù)的過程中，需要待抓取物體的形狀，待抓取物體的姿態(tài)、物體的質(zhì)量等。

目前，在快餐行業(yè)，由于固態(tài)食品(例如翅中和翅根)體積小，銷量大，不同品類食品在待抓盤中往往以堆疊形式擺放，為提高工作效率，減少人工成本，現(xiàn)有技術(shù)中通常采用計算機視覺技術(shù)進行產(chǎn)品分類及定位，指導(dǎo)機械臂進行抓取食品，然而在機械臂抓取食品的過程中，由于食品油炸后表面呈金黃色，且油炸后的食品往往堆疊擺放于待抓取盤中，往往不能很好的被機器視覺準確識別，導(dǎo)致機械臂在抓取過程中只能抓取底層未被遮擋的食品，無法實現(xiàn)翅食品的有序抓取。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)中無序抓取食品的技術(shù)問題，本發(fā)明提供了一種食品分揀方法，基于深度信息指導(dǎo)機械臂進行抓取，在堆疊食品中優(yōu)先抓取最頂層的食品，解決了無序抓取食品的問題，實現(xiàn)了堆疊食品的有序抓取。

本發(fā)明提供了一種食品分揀方法，包括：

S1：獲取存放區(qū)中食品的圖像和深度信息；

S2：將所述圖像輸入預(yù)訓(xùn)練機器學(xué)習(xí)模型，所述預(yù)訓(xùn)練機器學(xué)習(xí)模型輸出所述圖像中食品的品類信息、輪廓信息和置信度；

S3：根據(jù)分揀指令、所述深度信息、所述品類信息以及所述置信度，確定所述圖像中目標食品；

S4：根據(jù)所述目標食品的深度信息和輪廓信息，抓取所述目標食品。

進一步地，在所述S1步驟之前，還包括：

S0：建立并訓(xùn)練機器學(xué)習(xí)模型，獲取所述預(yù)訓(xùn)練機器學(xué)習(xí)模型。

進一步地，所述S0步驟中，具體包括：

S01：獲取歷史存放區(qū)中食品的樣本圖像和樣本深度信息；

S02：根據(jù)所述樣本深度信息，對所述樣本圖像中食品進行邊緣識別，獲得邊緣樣本圖像；

S03：對所述邊緣樣本圖像進行分割，獲得分割樣本圖像，并對所述分割樣本圖像添加標簽作為訓(xùn)練樣本；

S04：建立所述機器學(xué)習(xí)模型，并根據(jù)所述訓(xùn)練樣本訓(xùn)練所述機器學(xué)習(xí)模型，獲取所述預(yù)訓(xùn)練機器學(xué)習(xí)模型。

進一步地，所述S2步驟中，所述預(yù)訓(xùn)練機器學(xué)習(xí)模型輸出所述圖像中食品的品類信息、輪廓信息和置信度的方法，具體包括：

S21：根據(jù)所述深度信息，對所述圖像中食品進行邊緣識別，獲得邊緣圖像；

S22：對所述邊緣圖像進行分割，獲得分割圖像；

S23：將所述分割圖像輸入所述預(yù)訓(xùn)練機器學(xué)習(xí)模型進行模型識別判斷；

S24：根據(jù)S23步驟的判斷結(jié)果，所述預(yù)訓(xùn)練機器學(xué)習(xí)模型輸出所述圖像中食品的品類信息、輪廓信息和置信度。