[發明專利]一種線上商品搜索方法及系統

有效

• 申請號: 201811000482.5
• 申請日: 2018-08-30
• 公開（公告）號: CN109146640B
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 嚴靈毓;王春枝;傅稼潤;路翰霖;袁露;張鴻鑫
• 申請（專利權）人: 湖北工業大學
• 主分類號: G06Q30/06
• 分類號: G06Q30/06;G06F16/51;G06F16/53;G06F16/58;G06T9/00
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 張海青

1.一種線上商品搜索方法，其特征在于，所述方法包括：

獲取服務端存儲的服務端商品圖片；

采用卷積神經網絡提取所述服務端商品圖片的視覺特征，具體包括：

采用選擇搜索算法在所述服務端商品圖片中提取預設數量的候選區域；其中預設數量為2000個；

將每個所述候選區域縮放成預設大小后，輸入到卷積神經網絡中進行深度學習；其中預設大小為227×227的大小；

獲取所述卷積神經網絡的fc7層的輸出作為卷積神經網絡特征；

采用支持向量機對所述卷積神經網絡特征進行分類，獲得所述服務端商品圖片的視覺特征；

根據所述視覺特征，采用深層次卷積神經網絡結合哈希碼創建算法生成深度哈希模型；

采用深層次卷積神經網絡結合哈希碼創建算法生成深度哈希模型之前，還包括：

對所述視覺特征的格式進行規范化處理，生成格式規范的視覺特征；

利用所述深度哈希模型生成服務端商品圖片的服務端哈希碼，具體包括：

利用所述深度哈希模型對所述服務端商品圖片的多個高維的視覺特征進行哈希計算，生成低維的所述服務端哈希碼；其中H表示哈希碼；W表示視覺特征的轉置矩陣；b表示偏置項；tr()表示求矩陣的跡；N表示輸入視覺特征向量的臨近集合，S為創建的臨近相似矩陣，φC為偏置參數；I為單位矩陣；

獲取客戶端拍攝的客戶端商品圖片；

采用卷積神經網絡提取所述客戶端商品圖片的視覺特征；

根據所述客戶端商品圖片的視覺特征，調用所述深度哈希模型生成客戶端商品圖片的查詢哈希碼；

從所述服務端搜索與所述查詢哈希碼相匹配的匹配服務端哈希碼；

根據所述匹配服務端哈希碼提取對應的服務端商品圖片進行顯示。

2.根據權利要求1所述的線上商品搜索方法，其特征在于，所述從服務端搜索與所述查詢哈希碼相匹配的匹配服務端哈希碼，具體包括：

獲取服務端中存儲的所有服務端哈希碼；

將所述查詢哈希碼與所述服務端哈希碼帶入到卷積神經網絡中進行學習比對，計算每個所述服務端哈希碼與所述查詢哈希碼的相似度；

確定所述相似度大于90％的服務端哈希碼為所述匹配服務端哈希碼。

3.一種線上商品搜索系統，其特征在于，所述系統包括：

商品信息存儲模塊，用于獲取服務端存儲的服務端商品圖片；

服務特征提取模塊，用于采用卷積神經網絡提取所述服務端商品圖片的視覺特征；

所述服務特征提取模塊具體包括：

候選區域提取單元，用于采用選擇搜索算法在所述服務端商品圖片中提取預設數量的候選區域；其中預設數量為2000個；

深度學習單元，用于將每個所述候選區域縮放成預設大小后，輸入到卷積神經網絡中進行深度學習；其中預設大小為227×227的大小；

CNN特征輸出單元，用于獲取所述卷積神經網絡的fc7層的輸出作為卷積神經網絡特征；

服務特征提取單元，用于采用支持向量機對所述卷積神經網絡特征進行分類，獲得所述務端商品圖片的視覺特征；

深度哈希模型生成模塊，用于根據所述視覺特征，采用深層次卷積神經網絡結合哈希碼創建算法生成深度哈希模型；

格式處理模塊，用于在采用深層次卷積神經網絡結合哈希碼創建算法生成深度哈希模型之前，對所述視覺特征的格式進行規范化處理，生成格式規范的視覺特征；

哈希碼創建模塊，用于利用所述深度哈希模型生成服務端商品圖片的服務端哈希碼；

所述哈希碼創建模塊具體包括：

哈希碼創建單元，用于利用所述深度哈希模型對所述服務端商品圖片的多個高維的視覺特征進行哈希計算，生成低維的所述服務端哈希碼；其中H表示哈希碼；W表示視覺特征的轉置矩陣；b表示偏置項；tr()表示求矩陣的跡；N表示輸入視覺特征向量的臨近集合，S為創建的臨近相似矩陣，φC為偏置參數；I為單位矩陣；

圖片拍攝模塊，用于獲取客戶端拍攝的客戶端商品圖片；

特征提取模塊，用于采用卷積神經網絡提取所述客戶端商品圖片的視覺特征；

查詢模塊，用于根據所述客戶端商品圖片的視覺特征，調用所述深度哈希模型生成客戶端商品圖片的查詢哈希碼；

哈希碼比對搜索模塊，用于從所述服務端搜索與所述查詢哈希碼相匹配的匹配服務端哈希碼；

顯示模塊，用于根據所述匹配服務端哈希碼提取對應的服務端商品圖片進行顯示。

4.根據權利要求3所述的線上商品搜索系統，其特征在于，所述哈希碼比對搜索模塊具體包括：

服務端哈希碼獲取單元，用于獲取服務端中存儲的所有服務端哈希碼；

相似度計算單元，用于將所述查詢哈希碼與所述服務端哈希碼帶入到卷積神經網絡中進行學習比對，計算每個所述服務端哈希碼與所述查詢哈希碼的相似度；

匹配哈希碼確定單元，用于確定所述相似度大于90％的服務端哈希碼為所述匹配服務端哈希碼。