[發明專利]商品檢索方法、裝置及電子設備

在審

• 申請號: 201810999636.X
• 申請日: 2018-08-29
• 公開（公告）號: CN110019917A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 崔權;謝煙平
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06Q30/02;G06N3/04
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 唐維虎

本發明提供了一種商品檢索方法、裝置及電子設備，涉及圖像處理技術領域，該方法首先基于預訓練的神經網絡模型，提取該待檢索圖像的待檢索特征；根據該待檢索圖像的待檢索特征，基于預先建立的商品特征庫，進行商品檢索；其中上述商品特征庫是基于上述預訓練的神經網絡模型，對旋轉變換后的待提取圖像進行特征提取而建立的。在兩個方面克服目前新零售場景下的商品檢索難度大的問題，能夠更加有力的區分不同圖像之間的不同，降低模型訓練時對海量數據的依賴性，在提高圖像檢索精度的基礎上，促進新零售行業的智能化發展。

技術領域

本發明涉及圖像處理技術領域，尤其是涉及一種商品檢索方法、裝置及電子設備。

背景技術

商品檢索的本質問題是圖像檢索(image retrieval)問題，圖像檢索是計算機視覺領域中一項重要的研究課題，在新零售場景中，商品檢索是非常關鍵的一步，商品檢索的精度直接決定了零售模型的表現。

目前在研究中，進行檢索的圖片大多具有相差較大的外觀，充足的光線，并且無遮擋，檢索難度不大。但是在零售場景下的商品檢索問題中，我們面對的主要困難有：商品的細粒度(fine-grained)特性，即商品間的外觀相似；角度、光線條件的變化；遮擋問題等。在使用目前提出的圖像檢索方法來解決商品檢索問題時，需要依賴海量數據進行模型訓練，且檢索精度低，阻礙了新零售行業的智能化發展。

發明內容

有鑒于此，本發明的目的在于提供一種商品檢索方法、裝置及電子設備，以緩解目前新零售場景下的商品檢索難度大的問題，能夠更加有力的區分不同圖像之間的不同，降低模型訓練時對海量數據的依賴性，在提高圖像檢索精度的基礎上，促進新零售行業的智能化發展。

第一方面，本發明實施例提供了一種商品檢索方法，包括：

獲取商品對應的待檢索圖像；

基于預訓練的神經網絡模型，提取所述待檢索圖像的待檢索特征；

根據所述待檢索圖像的待檢索特征，基于預先建立的商品特征庫，進行商品檢索；

其中所述商品特征庫是基于所述預訓練的神經網絡模型，對旋轉變換后的待提取圖像進行特征提取而建立的。

結合第一方面，本發明實施例提供了第一方面的第一種可能的實施方式，其中，所述商品特征庫的建立過程包括：

對于每種商品對應的待對比圖像，對所述待對比圖像進行補零處理，得到圖像長度和寬度相等的第一圖像；

對所述第一圖像進行縮放操作，得到與預訓練的神經網絡模型相匹配的第二圖像；

對所述第二圖像進行旋轉變換，得到多個待提取圖像；

對待提取圖像進行特征提取，獲得待對比特征；

將每種商品對應的待對比特征進行存儲，得到商品特征庫。

結合第一方面的第一種可能的實施方式，本發明實施例提供了第一方面的第二種可能的實施方式，其中，所述基于預訓練的神經網絡模型，提取所述待檢索圖像的待檢索特征包括：

利用所述預訓練的神經網絡模型的卷積層，對所述待檢索圖像進行特征提取，獲得第一特征圖像；

對所述第一特征圖像進行全局平均池化處理，得到待檢索特征。

結合第一方面的第一種可能的實施方式，本發明實施例提供了第一方面的第三種可能的實施方式，其中，所述基于預訓練的神經網絡模型，提取所述待檢索圖像的待檢索特征包括：

利用所述預訓練的神經網絡模型的卷積層，對所述待檢索圖像進行特征提取，獲得第一特征圖像；

對所述第一特征圖像進行全局平均池化處理，得到第一特征向量；