[發明專利]一種輔助銷售物料識別方法及裝置

在審

• 申請號: 202110341560.3
• 申請日: 2021-03-30
• 公開（公告）號: CN113095383A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 周海玲;嚴蕤;黃志藝;梁柱錦;郭怡適
• 申請（專利權）人: 廣州圖匠數據科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;顏希文

1.一種輔助銷售物料識別方法，其特征在于，包括：

采集輔助銷售物料的圖像數據，對所述圖像數據進行通用類別的數據標注得到標注數據；

對所述標注數據進行預處理后得到預處理數據，將所述預處理數據輸入至檢測模型中進行訓練，并通過優化調參直至所述檢測模型收斂，得到最優檢測模型；

將待識別輔助銷售物料的圖像數據輸入至所述最優檢測模型中，輸出所述待識別輔助銷售物料的位置信息；

根據所述位置信息，將所述待識別輔助銷售物料的圖像數據裁剪得到若干待匹配圖像，將若干所述待匹配述圖像輸入至特征提取模型中進行特征提取與匹配，得到所述待識別輔助銷售物料的識別結果。

2.如權利要求1所述的輔助銷售物料識別方法，其特征在于，所述對所述標注數據進行預處理后得到預處理數據，將所述預處理數據輸入至檢測模型中進行訓練，并通過優化調參直至所述檢測模型收斂，得到最優檢測模型，具體為：

采用數據增強方法和歸一化對所述標注數據進行預處理得到預處理數據；所述檢測模型為包括三個stage的CascadeRCNN網絡，骨干網絡為ResNet50，損失函數包括交叉熵損失CrossEntropyLoss和平滑之后的L1損失SmoothL1Loss。

3.如權利要求1所述的輔助銷售物料識別方法，其特征在于，將若干所述待匹配圖像輸入至特征提取模型中進行特征提取與匹配，得到所述待識別輔助銷售物料的識別結果，具體為：

將所述若干待匹配圖像按照預設比例分為訓練集、驗證集和測試集，將所述訓練數據進行數據預處理后，輸入至預訓練模型的卷積模塊中；

對所述預訓練模型進行調優直至所述預訓練模型收斂，得到最優的特征提取與匹配模型；

將若干所述待匹配圖像輸入至所述特征提取與匹配模型中進行特征提取，得到特征向量；將預先篩選的模板庫輸入所述特征提取與匹配模型中進行特征提取，得到特征庫；

將所述特征向量與所述特征庫進行匹配得到匹配結果，在所述匹配結果中選擇置信度最高的特征類別作為所述待識別輔助銷售物料的識別結果。

4.如權利要求3所述的輔助銷售物料識別方法，其特征在于，將若干所述待匹配圖像輸入至所述特征提取與匹配模型中進行特征提取，得到特征向量，包括：

將若干所述待匹配圖像輸入至所述特征提取與匹配模型中進行特征提取，以所述特征提取與匹配模型的第二個全連接層的輸出作為最終特征輸出得到特征向量。

5.如權利要求3所述的輔助銷售物料識別方法，其特征在于，所述將所述特征向量與所述特征庫進行匹配得到匹配結果，具體為：

采用歐式距離計算特征相似度，根據所述特征相似度得到匹配結果。

6.一種輔助銷售物料識別裝置，其特征在于，包括：

標注模塊，用于采集輔助銷售物料的圖像數據，對所述圖像數據進行通用類別的數據標注得到標注數據；

優化模塊，用于對所述標注數據進行預處理后得到預處理數據，將所述預處理數據輸入至檢測模型中進行訓練，并通過優化調參直至所述檢測模型收斂，得到最優檢測模型；

輸出模塊，用于將待識別輔助銷售物料的圖像數據輸入至所述最優檢測模型中，輸出所述待識別輔助銷售物料的位置信息；

特征提取與匹配模塊，用于根據所述位置信息，將所述待識別輔助銷售物料的圖像數據裁剪得到若干待匹配圖像，將若干所述待匹配述圖像輸入至特征提取模型中進行特征提取與匹配，得到所述待識別輔助銷售物料的識別結果。

7.如權利要求6所述的輔助銷售物料識別裝置，其特征在于，所述優化模塊，具體包括：

采用數據增強方法和歸一化對所述標注數據進行預處理得到預處理數據；所述檢測模型為包括三個stage的CascadeRCNN網絡，骨干網絡為ResNet50，損失函數包括交叉熵損失CrossEntropyLoss和平滑之后的L1損失SmoothL1Loss。