[發(fā)明專利]一種基于機器視覺的貨架商品規(guī)格識別方法

在審

• 申請?zhí)枺?/td>: 202011467506.5
• 申請日: 2020-12-11
• 公開（公告）號: CN112446437A
• 公開（公告）日: 2021-03-05
• 發(fā)明（設(shè)計）人: 孟越;李一帆
• 申請（專利權(quán)）人: 上海品覽數(shù)據(jù)科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/34;G06K9/32;G06N20/00;G06N3/04
• 代理公司: 上海創(chuàng)開專利代理事務所(普通合伙) 31374
• 代理人: 吳海燕

1.一種基于機器視覺的貨架商品規(guī)格識別方法，其特征在于，包括如下步驟：

S1、獲取待識別的圖像；

S2、應用深度學習目標檢測算法，訓練商品檢測模型，檢測貨架線上的目標商品；

S3、應用深度學習圖像分割算法，訓練貨架層分割模型，對圖片中的貨架進行分割；

S4、應用圖像處理技術(shù)，對貨架線和檢測到的商品進行透視轉(zhuǎn)換和傾斜矯正；

S5、獲取貨架層數(shù)信息、貨架高度信息，計算貨架層號與貨架高度的對應表，獲取每一個檢測到的商品所屬的貨架層；

S6、綜合S5獲取到的非圖像特征信息，運用機器學習分類模型對商品規(guī)格進行分類；

S7、擇優(yōu)選擇模型應用模型對商品進行規(guī)格識別。

2.根據(jù)權(quán)利要求1所述的一種基于機器視覺的貨架商品規(guī)格識別方法，其特征在于，所述S2目標檢測模型步驟，分為以下幾個步驟：

S21、收集不同角度，光照的貨架商品圖片；

S22、對部分商品圖片進行人工標注，訓練一個較弱的商品模型M0；

S23、使用M0對全量數(shù)據(jù)進行預標注，人工調(diào)整；

S24、使用全量數(shù)據(jù)訓練商品檢測模型M1。

3.根據(jù)權(quán)利要求1所述的一種基于機器視覺的貨架商品規(guī)格識別方法，其特征在于，所述S3貨架層分割模型，可分為以下幾個步驟：

S31、收集不同角度，光照的貨架商品圖片；

S32、對部分商品圖片進行人工標注訓練一個較弱的貨架層模型M2；

S33、使用M2對全量數(shù)據(jù)進行預標注，人工調(diào)整；

S34、使用全量數(shù)據(jù)訓練貨架分割模型M3。

4.根據(jù)權(quán)利要求1所述的一種基于機器視覺的貨架商品規(guī)格識別方法，其特征在于，所述S6商品分類模型，可分為以下幾個步驟：

S61、對原始數(shù)據(jù)進行特征工程，得到分類模型訓練所需的原始數(shù)據(jù)集；

S62、對數(shù)據(jù)集應用smote進行數(shù)據(jù)增強；

S63、劃分數(shù)據(jù)集為訓練集、測試集；

S64、應用xgboost分類模型進行模型訓練；

S65、應用測試集對模型進行評價。

5.根據(jù)權(quán)利要求1所述的一種基于機器視覺的貨架商品規(guī)格識別方法，其特征在于，該方法依賴于三大模塊：商品檢測模塊、貨架層分割模塊、分類模塊；

所述商品檢測模塊選用retinaNet目標檢測模型；

所述貨架層分割模塊選用mask-RCNN分割模型；

所述分類模塊選用xgboost分類模型。