[發明專利]一種食品分揀方法、系統及計算機可讀存儲介質

在審

• 申請號: 202010721257.1
• 申請日: 2020-07-24
• 公開（公告）號: CN111931765A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 張競藝;仇雪雅
• 申請（專利權）人: 上海明略人工智能（集團）有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/46;B25J9/16
• 代理公司: 青島清泰聯信知識產權代理有限公司 37256
• 代理人: 李祺

1.一種食品分揀方法，其特征在于，包括：

S1：獲取存放區中食品的圖像和深度信息；

S2：將所述圖像輸入預訓練機器學習模型，所述預訓練機器學習模型輸出所述圖像中食品的品類信息、輪廓信息和置信度；

S3：根據分揀指令、所述深度信息、所述品類信息以及所述置信度，確定所述圖像中目標食品；

S4：根據所述目標食品的深度信息和輪廓信息，抓取所述目標食品。

2.根據權利要求1所述的食品分揀方法，其特征在于，在所述S1步驟之前，還包括：

S0：建立并訓練機器學習模型，獲取所述預訓練機器學習模型。

3.根據權利要求2所述的食品分揀方法，其特征在于，所述S0步驟中，具體包括：

S01：獲取歷史存放區中食品的樣本圖像和樣本深度信息；

S02：根據所述樣本深度信息，對所述樣本圖像中食品進行邊緣識別，獲得邊緣樣本圖像；

S03：對所述邊緣樣本圖像進行分割，獲得分割樣本圖像，并對所述分割樣本圖像添加標簽作為訓練樣本；

S04：建立所述機器學習模型，并根據所述訓練樣本訓練所述機器學習模型，獲取所述預訓練機器學習模型。

4.根據權利要求1所述的食品分揀方法，其特征在于，所述S2步驟中，所述預訓練機器學習模型輸出所述圖像中食品的品類信息、輪廓信息和置信度的方法，具體包括：

S21：根據所述深度信息，對所述圖像中食品進行邊緣識別，獲得邊緣圖像；

S22：對所述邊緣圖像進行分割，獲得分割圖像；

S23：將所述分割圖像輸入所述預訓練機器學習模型進行模型識別判斷；

S24：根據S23步驟的判斷結果，所述預訓練機器學習模型輸出所述分割圖像中食品的品類信息、輪廓信息和置信度。

5.根據權利要求4所述的食品分揀方法，其特征在于，所述S3步驟中，確定所述圖像中目標食品的方法，具體包括：

S31：獲取分揀指令；

S32：根據所述分揀指令和所述品類信息，確定第一目標食品集；

S33：根據所述第一目標食品集的置信度，確定置信度大于第一預設閾值的第二目標食品集；

S34：根據所述第二目標食品集的深度信息，確定所述第二目標食品集中深度信息最小的所述目標食品。

6.根據權利要求5所述的食品分揀方法，其特征在于，所述S4步驟中，具體包括：

S41：根據所述目標食品的深度信息和輪廓信息，確定抓取所述目標食品的下爪點、落爪點以及下爪深度；

S42：根據所述下爪點、所述落爪點以及所述下爪深度，抓取所述目標食品。

7.根據權利要求6所述的食品分揀方法，其特征在于，所述S41步驟中，確定抓取所述目標食品的下爪點、落爪點以及下爪深度的方法，具體包括：

S411：根據所述目標食品的輪廓信息，計算所述目標食品的重心點，以所述重心點作為抓取所述目標食品的下爪點；

S412：根據所述目標食品的輪廓信息和重心點，計算經過所述重心點的最長線段，并確定所述最長線段的第一端點和第二端點，以所述第一端點和所述第二端點作為抓取所述目標食品的落爪點；

S413：以所述第一端點和第二端點為基點分別延長所述最長線段，當所述最長線段兩端延長線的長度等于第二預設閾值時，確定第三端點和第四端點；

S414：獲取所述第一端點、所述第二端點、所述第三端點以及所述第四端點的深度信息；

S415：根據S414步驟的深度信息，確定抓取所述目標食品的下爪深度。

8.一種食品分揀系統，其特征在于，包括：

機器視覺模塊，用于獲取存放區中食品的圖像和深度信息；

模型處理模塊，用于將所述圖像輸入預訓練機器學習模型，所述預訓練機器學習模型輸出所述圖像中食品的品類信息、輪廓信息和置信度；

目標確定模塊，根據分揀指令、所述深度信息、所述品類信息以及所述置信度，確定所述圖像中目標食品；

機械臂模塊，用于根據所述目標食品的深度信息和輪廓信息，抓取所述目標食品。