[發明專利]零售貨柜商品搜索識別方法、系統及計算機可讀存儲介質

在審

• 申請號: 202111143607.1
• 申請日: 2021-09-28
• 公開（公告）號: CN113591811A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 李慶鵬;付浩龍;李智勇;方樂緣;康予涵
• 申請（專利權）人: 湖南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市興科達知識產權代理有限公司 44260
• 代理人: 徐民奎

1.一種零售貨柜商品搜索識別方法，其特征在于，包括以下步驟：

S1：獲取零售貨柜內的商品圖像，進行人工標注后做成數據集，將標注后的數據集分為兩種，其中一種為僅包含一種商品圖像的為商品庫，另一種為包括多個商品圖像的數據庫；

S2：將所述數據庫中的圖像及其標簽送入無錨搜索框架中進行訓練并提取特征，得到多層次的特征張量，采用特征聚合模塊聚合多層次的特征張量，實現包含淺層、中層、高層信息的全面特征融合；

S3：使用經過特征聚合模塊的特征張量作為Re-id的輸入進行訓練，將潛在目標與圖像庫進行匹配，并使用Circle Loss函數監督訓練過程；

S4：在Re-id任務進行的同時，將經過特征聚合模塊的特征張量作為檢測頭的輸入，所述檢測頭使用無錨搜索框架將輸入的特征張量分為兩個分支分別進行回歸和分類，回歸分支和分類分支均依次通過深層次的卷積后接入全連接層，所述回歸分支用于預測邊界框的回歸偏移量和中心得分，所述分類分支用于前景/背景分類；

S5：將特征聚合模塊輸出特征圖上的每個位置與具有分類和中心得分的邊界框以及Re-id特征張量相關聯，為每個檢測框匹配商品庫中的標簽名稱，完成商品的檢索過程。

2.根據權利要求1所述的零售貨柜商品搜索識別方法，其特征在于，所述步驟S1中標注的內容包括商品的類別和坐標位置。

3.根據權利要求1所述的零售貨柜商品搜索識別方法，其特征在于，所述步驟S2具體為：

S21：將所述數據庫中的圖像及其標簽輸入無錨搜索框架，通過ResNet_50基礎網絡進行淺層、中層及高層的多層次特征提取；

S22：通過特征聚合模塊對獲得的多層次特征張量進行融合，對中層次特征張量進行空洞卷積操作，對高層次特征張量進行上采樣使其維度與中層次特征張量的維度相等，然后將二者進行拼接獲得新的第一特征張量；

S23：將淺層次特征張量進行空洞卷積操作，對第一特征張量進行上采樣使其維度與淺層次特征張量的維度相等，然后將二者拼接得到新的第二特征張量；

S24：對所述第二特征張量進行空洞卷積得到最終的融合特征張量。

4.根據權利要求3所述的零售貨柜商品搜索識別方法，其特征在于，所述ResNet_50基礎網絡包括最初的卷積層、最后的全連接層及四組block，四組block分別包含3、4、6、3個模塊，每個模塊包含三個卷積層。

5.根據權利要求1所述的零售貨柜商品搜索識別方法，其特征在于，對于特征空間中的單個樣本，存在與樣本相關的K個類內相似度評分和L個類間相似度評分，將這些相似度評分分別表示為和，所述Circle Loss函數表示為：

式中，是一個尺度因子，和是非負加權因子；

式中，是零點截止操作，用于保證和非負。

6.一種零售貨柜商品搜索識別系統，其特征在于，包括計算機設備，該計算機設備至少包括相互連接的微處理器和存儲器，該微處理器被編程或配置以執行權利要求1-5中任意一項所述的零售貨柜商品搜索識別方法的步驟，或者該存儲器中存儲有被編程或配置以執行權利要求1-5中任意一項所述零售貨柜商品搜索識別方法的計算機程序。

7.一種計算機可讀存儲介質，其特征在于，該計算機可讀存儲介質中存儲有被編程或配置以執行權利要求1-5中任意一項所述的零售貨柜商品搜索識別方法的計算機程序。