[發明專利]圖片檢索模型建立方法和裝置、圖片檢索方法和裝置

有效

• 申請號: 201710198703.3
• 申請日: 2017-03-29
• 公開（公告）號: CN107402947B
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 朱珊珊;方志宏;孫萌;鄧澍軍;郭常圳
• 申請（專利權）人: 北京猿力教育科技有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06N3/04;G06N3/08
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 吳肖肖

1.一種圖片檢索模型建立方法，其特征在于，包括：

將訓練模型用的樣本圖片統一調整到第一尺寸；

獲取圖片組，每個圖片組包含兩張樣本圖片，并附有用于標明所述兩張樣本圖片是否相似的標簽；

構建初始的第一卷積神經網絡和第二卷積神經網絡，將所述每個圖片組中的兩張樣本圖片分別輸入所述第一卷積神經網絡和第二卷積神經網絡；其中，所述第一卷積神經網絡與第二卷積神經網絡相同；

所述第一卷積神經網絡和第二卷積神經網絡分別計算得到與所述兩張樣本圖片對應的第一特征和第二特征；

結合所述第一特征、第二特征和標簽，計算當前卷積神經網絡的損失；

當損失為零時，所述第一卷積神經網絡和第二卷積神經網絡繼續接收新的圖片組繼續訓練，直至訓練數據均訓練完成；

當損失非零時，將所述損失逐層反向傳播到所述第一卷積神經網絡和第二卷積神經網絡中，利用隨機梯度下降算法來根據損失優化每層網絡的權值，當誤差被反向傳播至所述第一卷積神經網絡和所述第二卷積神經網絡的輸入層時，所述第一卷積神經網絡和第二卷積神經網絡接收新的圖片組繼續訓練，直至訓練數據均訓練完成；

其中，在所述卷積神經網絡的訓練過程中，對所述卷積神經網絡的卷積層的輸出做反卷積變換，得到中間結果，計算所述中間結果與所述卷積層的輸入之間的距離，根據該距離，計算所述卷積層的輸出與輸入之間的損失值，利用所述損失值，并應用隨機梯度下降法調節所述卷積層的權值。

2.根據權利要求1所述的方法，其特征在于，所述第一尺寸由所述第一卷積神經網絡確定。

3.根據權利要求1所述的方法，其特征在于，所述第一特征為所述每個圖片組中第一圖片經所述第一卷積神經網絡計算得到的第一哈希碼；所述第二特征為所述每個圖片組中第二圖片經所述第二卷積神經網絡計算得到的第二哈希碼。

4.一種圖片檢索方法，其特征在于，包括：

獲取檢索庫圖片；

將所述檢索庫圖片調整至第一尺寸；

將第一尺寸的檢索庫圖片作為第一輸入，依次輸入至由權利要求1-3任意一項建立的圖片檢索模型的第一卷積神經網絡中，得到所述檢索庫圖片對應的第一特征并存儲；

獲取待檢索圖片并將待檢索圖片調整至第一尺寸；

將第一尺寸的待檢索圖片作為輸入，輸入至所述第一卷積神經網絡中，得到所述待檢索圖片對應的第一特征；

計算所述待檢索圖片對應的第一特征與檢索庫圖片對應的第一特征的漢明距離，并根據漢明距離確定與所述待檢索圖片相似的圖片。

5.一種圖片檢索模型建立裝置，其特征在于，包括：

尺寸調整模塊，用于將訓練模型用的樣本圖片統一調整到第一尺寸；

圖片組獲取模塊，用于獲取圖片組，每個圖片組包含兩張樣本圖片，并附有用于標明所述兩張樣本圖片是否相似的標簽；

構建模塊，用于構建初始的第一卷積神經網絡和第二卷積神經網絡，將所述每個圖片組中的兩張樣本圖片分別輸入所述第一卷積神經網絡和第二卷積神經網絡；其中，所述第一卷積神經網絡與第二卷積神經網絡相同；

第一處理模塊，用于所述第一卷積神經網絡和第二卷積神經網絡分別計算得到與所述兩張樣本圖片對應的第一特征和第二特征；

計算模塊，用于結合所述第一特征、第二特征和標簽，計算當前卷積神經網絡的損失；

控制模塊，用于當損失為零時，所述第一卷積神經網絡和第二卷積神經網絡繼續接收新的圖片組繼續訓練，直至訓練數據均訓練完成；當損失非零時，將所述損失逐層反向傳播到所述第一卷積神經網絡和第二卷積神經網絡中，利用隨機梯度下降算法來根據損失優化每層網絡的權值，當誤差被反向傳播至所述第一卷積神經網絡和所述第二卷積神經網絡的輸入層時，所述第一卷積神經網絡和第二卷積神經網絡接收新的圖片組繼續訓練，直至訓練數據均訓練完成；

其中，在所述卷積神經網絡的訓練過程中，對所述卷積神經網絡的卷積層的輸出做反卷積變換，得到中間結果，計算所述中間結果與所述卷積層的輸入之間的距離，根據該距離，計算所述卷積層的輸出與輸入之間的損失值，利用所述損失值，并應用隨機梯度下降法調節所述卷積層的權值。