[發明專利]設備控制方法、裝置、電子設備和計算機可讀介質

有效

• 申請號: 202110470614.6
• 申請日: 2021-04-29
• 公開（公告）號: CN112990135B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 鄧博洋;程楊武
• 申請（專利權）人: 北京每日優鮮電子商務有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G07F11/00
• 代理公司: 北京唯智勤實知識產權代理事務所(普通合伙) 11557
• 代理人: 陳佳

1.一種設備控制方法，包括：

獲取圖像傳感器所采集的第一物品圖像和第二物品圖像，其中，所述第一物品圖像中顯示了多個物品，所述第二物品圖像中顯示了多個物品，所述第一物品圖像是指用戶在獲取物品之前，自動售貨柜中存放多個物品時的圖像，所述第二物品圖像是用戶在獲取物品之后，自動售貨柜中存放多個物品時的圖像；

對所述第一物品圖像中顯示的各個物品和所述第二物品圖像中顯示的各個物品分別進行標注處理以生成第一物品標注圖像和第二物品標注圖像；

對所述第一物品標注圖像和所述第二物品標注圖像分別進行圖像特征提取處理，以生成第一物品特征向量和第二物品特征向量；

將所述第一物品特征向量和所述第二物品特征向量分別輸入至預先訓練的圖像識別模型中，得到第一物品識別結果和第二物品識別結果，其中，所述第一物品識別結果包括第一物品信息組，所述第二物品識別結果包括第二物品信息組，所述第一物品信息組中的物品信息包括物品名稱、對應所述物品名稱的物品位置和物品數量，所述第二物品信息組中的物品信息包括物品名稱、對應所述物品名稱的物品位置和物品數量；

根據所述第一物品信息組包括的各個物品名稱、物品位置、物品數量和所述第二物品信息組包括的各個物品名稱、物品位置、物品數量，生成補貨信息；

其中，生成補貨信息，包括：

從所述第二物品信息組包括的各個物品名稱中檢測與所述第一物品信息組包括的各個物品名稱不匹配的物品名稱；

響應于檢測的結果為空，確定所述第一物品信息組包括的每個物品名稱對應的物品數量與所述第二物品信息組中對應所述物品名稱的物品數量是否相同；

將物品數量不相同的物品名稱確定為待補貨物品名稱；

將每個待補貨物品名稱對應的第一物品信息包括的物品數量和對應的第二物品信息包括的物品數量的差值確定為待補貨數量；

將每個待補貨物品名稱對應的物品位置確定為待補貨位置；

將所確定的待補貨物品名稱中的每個待補貨物品名稱、所述待補貨物品名稱對應的待補貨數量和待補貨位置進行組合以生成二元組，得到二元組集作為補貨信息；

其中，所述圖像識別模型是通過以下步驟訓練得到的：

獲取訓練樣本集，其中，所述訓練樣本集中的訓練樣本包括：樣本圖像，所述樣本圖像包括：樣本名稱組、樣本面積組、樣本特征向量組、樣本數量組、樣本位置組，所述樣本名稱組中的樣本名稱對應所述樣本面積組中的樣本面積，所述樣本名稱組中的樣本名稱對應所述樣本特征向量組中的樣本特征向量，所述樣本名稱組中的樣本名稱對應所述樣本數量組中的樣本數量，所述樣本名稱組中的樣本名稱對應所述樣本位置組中的樣本位置；

基于訓練樣本集，執行如下處理步驟：

將訓練樣本集中的至少一個訓練樣本包括的樣本圖像輸入至初始神經網絡，得到所述至少一個訓練樣本中的每個訓練樣本對應的圖像識別結果，其中，所述圖像識別結果包括：名稱組、面積組、特征向量組、數量組、位置組，所述名稱組中的名稱對應所述面積組中的面積，所述名稱組中的名稱對應所述特征向量組中的特征向量，所述名稱組中的名稱對應所述數量組中的數量，所述名稱組中的名稱對應所述位置組中的位置；

基于預設的損失函數，確定所述至少一個訓練樣本中的每個訓練樣本和對應所述訓練樣本的圖像識別結果之間的損失值；

響應于確定損失值小于等于預設閾值，將初始神經網絡確定為圖像識別模型。

2.根據權利要求1所述的方法，其中，所述方法還包括：

根據所述補貨信息，控制相關聯的補貨機器人進行補貨操作。

3.根據權利要求1所述的方法，其中，所述方法還包括：

響應于確定損失值大于所述預設閾值，調整初始神經網絡的網絡參數，以及使用未使用過的訓練樣本組成訓練樣本集，將調整后的初始神經網絡作為初始神經網絡，再次執行所述處理步驟。

4.根據權利要求1所述的方法，其中，所述對所述第一物品標注圖像和所述第二物品標注圖像分別進行圖像特征提取處理，以生成第一物品特征向量和第二物品特征向量，包括：

將所述第一物品標注圖像輸入至預先訓練的圖像特征提取網絡，得到第一物品特征向量；

將所述第二物品標注圖像輸入至所述圖像特征提取網絡，得到第二物品特征向量。