[發明專利]一種圖像集中自動識別商品的方法和設備

在審

• 申請號: 202110332450.0
• 申請日: 2021-03-29
• 公開（公告）號: CN113065447A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 劉國儉;許允杰;夏奕;劉昭
• 申請（專利權）人: 南京掌控網絡科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

1.一種圖像集中自動識別商品的方法，其特征在于，包括以下步驟：

獲取待識別商品的圖像；

通過預先訓練的目標檢測模型在所述待識別商品的圖像中截取待識別商品的商品單圖；

通過預先訓練的深度神經網絡提取所述商品單圖的特征向量；

將所提取的商品單圖的特征向量與已識別商品特征向量庫中的商品特征向量進行匹配，根據匹配結果確定待識別商品的商品類型；

其中，所述已識別商品特征向量庫存儲有商品特征向量與商品類型之間的映射關系。

2.根據權利要求1所述的圖像集中自動識別商品的方法，其特征在于，將所提取的商品單圖的特征向量與已識別商品特征向量庫中的商品征向量進行匹配，根據匹配結果確定待識別商品的商品類型的方法包括：

計算已提取的商品單圖的特征向量與已識別商品特征向量庫中各商品特征向量之間的距離；

若計算得到的距離小于閾值，則將待識別商品的商品類型確定為相應商品特征向量所映射的商品類型。

3.根據權利要求2所述的圖像集中自動識別商品的方法，其特征在于，根據匹配結果確定待識別商品的商品類型的方法還包括：

對于距離計算結果均大于或等于閾值的待識別商品單圖的特征向量，將待識別商品單圖的特征向量存入未識別特征向量庫；

對未識別特征向量庫中的多個商品單圖的特征向量進行聚類；

獲取聚類結果中新增商品類型的類型標注信息；

將新增商品類型及其對應的商品單圖的特征向量存入已識別商品特征向量庫。

4.根據權利要求1所述的圖像集中自動識別商品的方法，其特征在于，所述目標檢測模型采用FasterRCNN目標檢測算法，所述目標檢測模型的訓練過程包括：

獲取各種場景下商品的圖像作為圖像集合；

將圖像集合中出現的各種商品進行標注并為每種商品標注為唯一的一種標簽，將標注好的圖像集作為訓練集，利用訓練集訓練目標檢測模型，得到訓練好的目標檢測模型。

5.根據權利要求1所述的圖像集中自動識別商品的方法，其特征在于，所述已識別商品特征向量庫的構建方法包括：

獲取已識別商品的商品單圖和商品類型標簽，通過深度神經網絡提取已識別商品的商品單圖的特征向量，并為已識別商品的商品單圖的特征向量標記對應的商品類型標簽；

將已識別商品的圖像和商品類型標簽存入已識別商品特征向量庫。

6.根據權利要求5所述的圖像集中自動識別商品的方法，其特征在于，所述已識別商品特征向量庫的構建方法還包括：

獲取未識別商品的圖像，通過目標檢測模型提取未識別商品的商品單圖并利用深度神經網絡提取對應商品單圖的圖像的特征向量；

將所述未識別商品的圖像的特征向量存入未識別商品特征向量庫；

對所述未識別商品特征向量庫根據特征向量間距離進行聚類搜索，獲取到未識別商品特征向量庫中所有距離小于距離閾值的特征向量組合，將各特征向量組合中的特征向量定義為一類；

獲取各類特征向量所對應的未識別商品圖像的人工判定信息，其中，對應新增類型商品的人工判定信息包括新增類型商品的商品類型標注信息；

根據人工判定信息，對于新增類型的商品，將對應商品的特征向量以及對應的商品類型存至已識別商品特征向量庫；

如果人工判定該類未識別商品是已識別商品則將該未識別商品的特征向量標記為對應的商品類型標簽并轉移到已識別商品特征向量庫。

7.根據權利要求6所述的圖像集中自動識別商品的方法，其特征在于，對所述未識別商品特征向量庫根據特征向量間距離進行聚類搜索的方法包括：任選一個特征向量，搜索跟此特征向量距離小于距離閾值的所有特征向量，并對搜索到的特征向量進行遞歸搜索，獲取到所有距離小于距離閾值的特征向量。