[發明專利]基于視覺算法的商品貨架空置識別預警方法及系統

在審

• 申請號: 202210435144.4
• 申請日: 2022-04-24
• 公開（公告）號: CN114863362A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 張祥祥;沈修平
• 申請（專利權）人: 上海悠絡客電子科技股份有限公司
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/62;G06V30/19;G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海領匠知識產權代理有限公司 31404
• 代理人: 陳劍

1.一種基于視覺算法的商品貨架空置識別預警方法，用于對商品貨架的空置區域進行識別預警，所述商品貨架上用于存放同一種商品的區域的起始位置和終點位置各設有一個商品標簽，每個商品標簽框內具有對應商品的商品識別字符，其特征在于，包括以下步驟：

步驟S1，從收集到的目標場景下的至少一段監控視頻中提取多個單幀圖像，并從該多個單幀圖像中選定多個具有空置區域的單幀圖像作為訓練圖像；

步驟S2，對每個所述訓練圖像進行人工標注得到對應的標注空置區域數據、標注商品標簽框數據以及標注商品識別字符數據；

步驟S3，構建空置區域檢測模型，按照預設目標檢測算法并使用所述標注空置區域數據對該空置區域檢測模型進行訓練得到訓練后的空置區域檢測模型；

步驟S4，構建商品標簽框檢測模型，按照預設字符檢測算法并使用所述標注商品標簽框數據對該商品標簽框檢測模型進行訓練得到訓練后的商品標簽框檢測模型；

步驟S5，構建標簽字符識別模型，按照預設字符識別算法并使用所述標注商品識別字符數據對該標簽字符識別模型進行訓練得到訓練后的標簽字符識別模型；

步驟S6，從實時獲取的監控視頻中提取單幀圖像作為當前圖像，通過訓練后的商品標簽框檢測模型、標簽字符識別模型以及空置區域檢測模型分別得到該當前圖像對應的當前商品標簽框數據、當前商品識別字符以及當前空置區域數據，并根據所述當前空置區域數據和所述當前商品標簽框數據計算得到存放有對應的商品的區域中的當前空置區域占比；

步驟S7，判斷所述當前空置區域占比是否大于預設空置區域占比；

步驟S8，在判斷結果為是時發出包含有所述當前空置區域占比和對應的商品識別字符的預警信息。

2.根據權利要求1所述的基于視覺算法的商品貨架空置識別預警方法，其特征在于：

其中，所述標注空置區域數據包含標注空置區域的左上角和右下角坐標及類別，

所述標注商品標簽框數據包含標注商品標簽框的左上角和右下角坐標及類別。

3.根據權利要求1所述的基于視覺算法的商品貨架空置識別預警方法，其特征在于：

其中，所述預設目標檢測算法為YOLOv4算法。

4.根據權利要求3所述的基于視覺算法的商品貨架空置識別預警方法，其特征在于：

其中，所述空置區域檢測模型所采用的初始學習率為0.001，訓練數據迭代輪數為443。

5.根據權利要求1所述的基于視覺算法的商品貨架空置識別預警方法，其特征在于：

其中，所述預設字符檢測算法為TextBPN算法。

6.根據權利要求5所述的基于視覺算法的商品貨架空置識別預警方法，其特征在于：

其中，所述商品標簽框檢測模型所采用的初始學習率為0.001，訓練數據迭代輪數為590。

7.根據權利要求1所述的基于視覺算法的商品貨架空置識別預警方法，其特征在于：

其中，所述預設字符識別算法為CRNN算法。

8.根據權利要求7所述的基于視覺算法的商品貨架空置識別預警方法，其特征在于：

其中，所述標簽字符識別模型所采用的初始學習率為0.0001，訓練數據迭代輪數為150。

9.根據權利要求1所述的基于視覺算法的商品貨架空置識別預警方法，其特征在于：

其中，所述商品識別字符為商品名稱。

10.一種基于視覺算法的商品貨架空置識別預警系統，用于對商品貨架的空置區域進行識別預警，所述商品貨架上用于存放同一種商品的區域的起始位置和終點位置各設有一張商品標簽，每個所述商品標簽的檢測框內具有對應商品的商標識別字符，其特征在于，包括：

單幀圖像提取模塊，用于從監控視頻中提取出單幀圖像；

人工標注模塊，用于讓操作者對作為訓練圖像的單幀圖像進行標注得到對應的標注空置區域數據、標注商品標簽框數據以及標注商品識別字符數據；

模型構建模塊，用于構建空置區域檢測模型、商品標簽框檢測模型以及標簽字符識別模型；

模型訓練模塊，用于按照預設目標檢測算法并使用所述標注空置區域數據對所述空置區域檢測模型進行訓練得到訓練后的空置區域檢測模型，也用于按照預設字符檢測算法并使用所述標注商品標簽框數據對所述商品標簽框檢測模型進行訓練得到訓練后的商品標簽框檢測模型，還用于按照預設字符檢測算法并使用所述標注商品標簽框數據對所述商品標簽框檢測模型進行訓練得到訓練后的商品標簽框檢測模型；

計算模塊，用于通過訓練后的商品標簽框檢測模型、標簽字符識別模型以及空置區域檢測模型分別得到作為當前圖像的單幀圖像對應的當前商品標簽框數據、當前商品識別字符以及當前空置區域數據，并根據所述當前空置區域數據和所述當前商品標簽框數據計算得到存放有對應的商品的區域中的當前空置區域占比；

判斷模塊，用于判斷所述當前空置區域占比是否大于預設空置區域占比；以及

預警模塊，用于在判斷所述當前空置區域占比大于預設空置區域占比時發出包含有該當前空置區域占比和對應的當前商品識別字符的預警信息。