[發明專利]一種商品定位識別方法、裝置、設備以及存儲介質

在審

• 申請號: 201811435557.2
• 申請日: 2018-11-28
• 公開（公告）號: CN109522967A
• 公開（公告）日: 2019-03-26
• 發明（設計）人: 陳志明;梁瀚君;馮新宇
• 申請（專利權）人: 廣州逗號智能零售有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

1.一種商品定位識別方法，其特征在于，包括：

獲取輸入的待識別圖像；

將所述待識別圖像輸入至預先訓練的神經網絡模型中，提取出所述待識別圖像中商品對應的區域；所述預先訓練的神經網絡模型為Faster-RCNN網絡模型；

截取所述商品對應的區域作為子圖，輸入至預先訓練的圖像分類神經網絡模型；所述預先訓練的圖像分類神經網絡模型為VGG-Net網絡模型；

由所述圖像分類神經網絡模型計算出所述子圖屬于各個商品類別的概率，識別出所述待識別圖像中商品的類別。

2.如權利要求1所述的商品定位識別方法，其特征在于，所述VGG-Net網絡模型的訓練過程包括：

對經過標注商品的訓練樣本圖像進行預處理，輸入至所述VGG-Net網絡模型，加入已知的類別標簽，用交叉熵作為損失函數，用隨機梯度下降的方式計算反向傳播梯度，用梯度優化網絡參數，直到損失趨近于0。

3.如權利要求2所述的商品定位識別方法，其特征在于，所述預先訓練的神經網絡模型為采用inception-v2作為基礎的Faster-RCNN網絡模型，所述Faster-RCNN網絡模型的訓練過程包括：

將訓練樣本圖像輸入到所述Faster-RCNN網絡模型中，由RPN預測的邊框與已知的標注邊框產生邊框Smooth函數損失，由RPN預測的類別與已知的標注類別產生類別交叉熵損失，在全連接層與精修后的邊框與類別產生第二次損失，使用隨機梯度下降的方式優化損失，在優化過程中，第二步的損失所產生的梯度會被阻斷在RPN層之后，不斷對RPN及RPN層之前的網絡參數進行優化。

4.如權利要求3所述的商品定位識別方法，其特征在于，采用tensorflow中凍結模型的模型為pb文件的方式來聯合所述VGG-Net網絡模型與所述Faster-RCNN網絡模型。

5.如權利要求2至4任一項所述的商品定位識別方法，其特征在于，所述訓練樣本圖像的生成過程包括：

將人工進行商品mask區域標注的圖像作為訓練圖像，輸入至DeepLab網絡進行訓練；

采用訓練好的DeepLab網絡對樣本圖像進行自動化標注，生成訓練樣本圖像。

6.一種商品定位識別裝置，其特征在于，包括：

圖像獲取模塊，用于獲取輸入的待識別圖像；

區域提取模塊，用于將所述待識別圖像輸入至預先訓練的神經網絡模型中，提取出所述待識別圖像中商品對應的區域；所述預先訓練的神經網絡模型為Faster-RCNN網絡模型；

輸入模塊，用于截取所述商品對應的區域作為子圖，輸入至預先訓練的圖像分類神經網絡模型；所述預先訓練的圖像分類神經網絡模型為VGG-Net網絡模型；

類別識別模塊，用于由所述圖像分類神經網絡模型計算出所述子圖屬于各個商品類別的概率，識別出所述待識別圖像中商品的類別。

7.如權利要求6所述的商品定位識別裝置，其特征在于，所述VGG-Net網絡模型為：對經過標注商品的訓練樣本圖像進行預處理，輸入至所述VGG-Net網絡模型，加入已知的類別標簽，用交叉熵作為損失函數，用隨機梯度下降的方式計算反向傳播梯度，用梯度優化網絡參數，直到損失趨近于0。

8.如權利要求7所述的商品定位識別裝置，其特征在于，所述預先訓練的神經網絡模型為采用inception-v2作為基礎的Faster-RCNN網絡模型，所述Faster-RCNN網絡模型為：將訓練樣本圖像輸入到所述Faster-RCNN網絡模型中，由RPN預測的邊框與已知的標注邊框產生邊框Smooth函數損失，由RPN預測的類別與已知的標注類別產生類別交叉熵損失，在全連接層與精修后的邊框與類別產生第二次損失，使用隨機梯度下降的方式優化損失，在優化過程中，第二步的損失所產生的梯度會被阻斷在RPN層之后，不斷對RPN及RPN層之前的網絡參數進行優化。