[發明專利]基于視覺算法的商品貨架空置識別預警方法及系統

在審

• 申請號: 202210435144.4
• 申請日: 2022-04-24
• 公開（公告）號: CN114863362A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 張祥祥;沈修平
• 申請（專利權）人: 上海悠絡客電子科技股份有限公司
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/62;G06V30/19;G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海領匠知識產權代理有限公司 31404
• 代理人: 陳劍

本發明提供一種基于視覺算法的商品貨架空置識別預警方法及系統。本發明的識別預警方法包括以下步驟：提取并選定多個訓練圖像；對每個訓練圖像進行人工標注得到對應的標注空置區域數據、標注商品標簽框數據和標注商品識別字符數據；構建空置區域檢測模型、商品標簽框檢測模型、標簽字符識別模型并進行訓練；通過訓練后的商品標簽框檢測模型、標簽字符識別模型和空置區域檢測模型得到當前圖像對應的當前商品標簽框數據、當前商品識別字符以及當前空置區域數據，并計算得到存放有對應的商品的區域中的當前空置區域占比；判斷當前空置區域占比是否大于預設空置區域占比；在判斷結果為是時發出包含有當前空置區域占比和對應的商品識別字符的預警信息。

技術領域

本發明屬于智能商品管理技術領域，特別涉及一種基于視覺算法的商品貨架空置識別預警方法及系統。

背景技術

日常生活中一些購物場所例如商店、超市，由于購物人員比較多，購物比較分散，能夠準確及時的發現商品貨物空置并及時提醒工作人員補充商品，這不僅能更好的滿足顧客的需求，而且還能促進超市的盈收。

通常的購物場所通過雇傭店員對貨架經常清點并整理上報再補充貨物，這可能帶來的問題是店員清點不及時導致效率低下，而且需要貨架旁經常有雇員巡檢。

發明內容

本發明是為了解決上述問題而進行的，目的在于提供一種基于視覺算法的商品貨架空置識別預警方法及系統，能夠有效提高商超管理效率，節省人工成本。

本發明為了實現上述目的，采用了以下方案：

方案一

本發明提供一種基于視覺算法的商品貨架空置識別預警方法，用于對商品貨架的空置區域進行識別預警，商品貨架上用于存放同一種商品的區域的起始位置和終點位置各設有一個商品標簽，每個商品標簽框內具有對應商品的商品識別字符，具有這樣的特征，包括以下步驟：

步驟S1，從收集到的目標場景下的至少一段監控視頻中提取多個單幀圖像，并從該多個單幀圖像中選定多個具有空置區域的單幀圖像作為訓練圖像；

步驟S2，對每個訓練圖像進行人工標注得到對應的標注空置區域數據、標注商品標簽框數據以及標注商品識別字符數據；

步驟S3，構建空置區域檢測模型，按照預設目標檢測算法并使用標注空置區域數據對該空置區域檢測模型進行訓練得到訓練后的空置區域檢測模型；

步驟S4，構建商品標簽框檢測模型，按照預設字符檢測算法并使用標注商品標簽框數據對該商品標簽框檢測模型進行訓練得到訓練后的商品標簽框檢測模型；

步驟S5，構建標簽字符識別模型，按照預設字符識別算法并使用標注商品識別字符數據對該標簽字符識別模型進行訓練得到訓練后的標簽字符識別模型；

步驟S6，從實時獲取的監控視頻中提取單幀圖像作為當前圖像，通過訓練后的商品標簽框檢測模型、標簽字符識別模型以及空置區域檢測模型分別得到該當前圖像對應的當前商品標簽框數據、當前商品識別字符以及當前空置區域數據，并根據當前空置區域數據和當前商品標簽框數據計算得到存放有對應的商品的區域中的當前空置區域占比；

步驟S7，判斷當前空置區域占比是否大于預設空置區域占比；

步驟S8，在判斷結果為是時發出包含有當前空置區域占比和對應的商品識別字符的預警信息。

在本發明提供的基于視覺算法的商品貨架空置識別預警方法中，還可以具有這樣的特征：其中，標注空置區域數據包含標注空置區域的左上角和右下角坐標及類別，標注商品標簽框數據包含標注商品標簽框的左上角和右下角坐標及類別。

在本發明提供的基于視覺算法的商品貨架空置識別預警方法中，還可以具有這樣的特征：其中，預設目標檢測算法為YOLOv4算法。