[發明專利]零售貨柜商品搜索識別方法、系統及計算機可讀存儲介質

在審

• 申請號: 202111143607.1
• 申請日: 2021-09-28
• 公開（公告）號: CN113591811A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 李慶鵬;付浩龍;李智勇;方樂緣;康予涵
• 申請（專利權）人: 湖南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市興科達知識產權代理有限公司 44260
• 代理人: 徐民奎

本發明提供一種零售貨柜商品搜索識別方法，對零售貨柜頂部相機獲取的商品圖像進行人工標注獲取數據集，將訓練集送入模型進行訓練，訓練過程主要包括特征聚合、Re?id優先的搜索方法；其次，對模型進行消溶實驗并進行微調，以獲得最優模型；最終，將得到的最優搜索模型用于零售貨柜的商品搜索任務，實現了一種可添加、精度高、速度快的商品搜索識別方法，有效降低了零售貨柜的成本，加快相關產業布局。本發明還提供了一種零售貨柜商品搜索識別系統及一種計算機可讀存儲介質。

技術領域

本發明涉及數據識別技術領域，具體涉及一種零售貨柜商品搜索識別方法、系統及計算機可讀存儲介質。

背景技術

伴隨著物聯網、電子商務和移動支付技術的蓬勃發展，網絡購物的電商流量紅利增速逐步放緩，電商行業出現天花板，急需謀求新的發展方向。因此，“新零售”概念應運而生，通過商品從生產到流通和銷售環節的升級改造，依托大數據分析和人工智能，實現商品、貨、場三者的消費閉環。而零售貨柜對于零售企業來說是獲取線下流量的入口，十分有利于零售生態的整體布局，在零售貨柜技術方案趨向成熟的背景下，其未來的發展會受到越來越多的關注。

但是在零售貨柜技術應用中，仍然以商品條碼和射頻識別（Radio FrequencyIdentification, RFID）為主要的商品識別方法，往往需要人工掃碼。此外，若商品條碼損壞或脫落將無法識別該商品，而射頻識別將帶來額外的電子標簽成本，難以推廣使用。因此，實有必要提供一種零售貨柜商品搜索識別方法、系統及計算機可讀存儲介質以解決上述問題。

發明內容

本發明提供了一種零售貨柜商品搜索識別方法、系統及計算機可讀存儲介質，通過特征聚合模塊對圖像特征進行了多層次提取，更準確的表征圖像語義信息，此外通過無錨框架先進行Re-id操作后進行檢測，保證了商品匹配的精度和速度，降低商品識別成本，提升識別速度和精度。

為了解決上述技術問題，本發明采用的技術方案為：

一種零售貨柜商品搜索識別方法，包括以下步驟：

S1：獲取零售貨柜內的商品圖像，進行人工標注后做成數據集，將標注后的數據集分為兩種，其中一種為僅包含一種商品圖像的為商品庫，另一種為包括多個商品圖像的數據庫；

S2：將所述數據庫中的圖像及其標簽送入無錨搜索框架中進行訓練并提取特征，得到多層次的特征張量，采用特征聚合模塊聚合多層次的特征張量，實現包含淺層、中層、高層信息的全面特征融合；

S3：使用經過特征聚合模塊的特征張量作為Re-id的輸入進行訓練，將潛在目標與圖像庫進行匹配，并使用Circle Loss函數監督訓練過程；

S4：在Re-id任務進行的同時，將經過特征聚合模塊的特征張量作為檢測頭的輸入，所述檢測頭使用無錨搜索框架將輸入的特征張量分為兩個分支分別進行回歸和分類，回歸分支和分類分支均依次通過深層次的卷積后接入全連接層，所述回歸分支用于預測邊界框的回歸偏移量和中心得分，所述分類分支用于前景/背景分類；

S5：將特征聚合模塊輸出特征圖上的每個位置與具有分類和中心得分的邊界框以及Re-id特征張量相關聯，為每個檢測框匹配商品庫中的標簽名稱，完成商品的檢索過程。

優選的，所述步驟S1中標注的內容包括商品的類別和坐標位置。

優選的，所述步驟S2具體為：

S21：將所述數據庫中的圖像及其標簽輸入無錨搜索框架，通過ResNet_50基礎網絡進行淺層、中層及高層的多層次特征提取；

S22：通過特征聚合模塊對獲得的多層次特征張量進行融合，對中層次特征張量進行空洞卷積操作，對高層次特征張量進行上采樣使其維度與中層次特征張量的維度相等，然后將二者進行拼接獲得新的第一特征張量；

S23：將淺層次特征張量進行空洞卷積操作，對第一特征張量進行上采樣使其維度與淺層次特征張量的維度相等，然后將二者拼接得到新的第二特征張量；

S24：對所述第二特征張量進行空洞卷積得到最終的融合特征張量。