[發明專利]一種基于Siamese網絡的圖像檢索方法及系統

在審

• 申請號: 201710044838.4
• 申請日: 2017-01-20
• 公開（公告）號: CN106909625A
• 公開（公告）日: 2017-06-30
• 發明（設計）人: 王生進;劉紫瓊
• 申請（專利權）人: 清華大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京路浩知識產權代理有限公司11002
• 代理人: 湯財寶

1.一種基于Siamese網絡的圖像檢索方法，其特征在于，包括：

S1，將待檢索圖像輸入訓練后的單支Siamese網絡，以便通過所述單支Siamese網絡提取出所述待檢索圖像的深度網絡特征；

S2，計算所述待檢索圖像的深度網絡特征與數據庫中每一個模板圖像的深度網絡特征之間的相似度，該相似度表征待檢索圖像與每一個模板圖像之間的相似度；

S3，將與所述待檢索圖像的相似度最大的模板圖像確定為所述待檢索圖像對應的檢索結果圖像。

2.如權利要求1所述的基于Siamese網絡的圖像檢索方法，其特征在于，所述步驟S1之前還包括：

構建雙分支的Siamese網絡，其中，所述雙分支的Siamese網絡由兩支相同的單支Siamese網絡并聯拼接而成。

3.如權利要求2所述的基于Siamese網絡的圖像檢索方法，其特征在于，每支單支Siamese網絡均具有多個全連接層，最后一個全連接層包含預設數量的神經元，且拼接后的雙分支Siamese網絡還連接有兩個全連接層，其中，第一全連接層包含的神經元按照具體情況設定，第二個全連接層包含的神經元個數與整個雙分支Siamese網絡的輸出結果種類個數相等。

4.如權利要求3所述的基于Siamese網絡的圖像檢索方法，其特征在于，所述步驟S1之前還包括：

采用正集合樣本和負集合樣本對構建的雙Siamese網絡進行訓練，其中，所述正集合樣本為具有相似性的樣本圖像對，所述負集合樣本為不具有相似性的樣本圖像對。

5.如權利要求4所述的基于Siamese網絡的圖像檢索方法，其特征在于，所述采用正集合樣本和負集合樣本對構建的雙Siamese網絡進行訓練具體包括：

選取具有相似性的樣本圖像對和不具相似性的樣本圖像對，將樣本圖像對中的兩幅圖像分別輸入雙Siamese網絡的兩分支網絡，并獲取雙Siamese網絡輸出的樣本圖像對的相似性結果；

計算雙分支Siamese網絡輸出的樣本圖像對的相似性結果與該樣本圖像對已知的相似性結果之間的誤差值；

根據所述誤差值對雙分支Siamese網絡的網絡參數反復進行調整，直到所述誤差值小于預設誤差值。

6.如權利要求5所述的基于Siamese網絡的圖像檢索方法，其特征在于，所述步驟S1之前還包括：

將數據庫中的每一個模板圖像均通過訓練后的單支Siamese網絡，以便通過所述單支Siamese網絡提取每一個模板圖像的多個深度網絡特征，并將每一個模板圖像與其多個深度網絡特征的對應關系存儲于數據庫中。

7.如權利要求6所述的基于Siamese網絡的圖像檢索方法，其特征在于，所述步驟S1具體包括：

將待檢索圖像輸入訓練后的單支Siamese網絡，以便提取待檢索圖像的多個深度網絡特征；

所述步驟S2具體包括：

計算所述待檢索圖像的多個深度網絡特征與每一個模板圖像的多個深度網絡特征之間的歐氏距離或者余弦距離；

所述步驟S3具體包括：

將與所述待檢索圖像的多個深度網絡特征的歐式距離或者余弦距離最小的多個深度網絡特征對應的模板圖像確定為待檢索圖像的檢索結果圖像。

8.一種基于Siamese網絡的圖像檢索系統，其特征在于，包括：

第一特征提取模塊，用于將待檢索圖像輸入訓練后的單支Siamese網絡，以便通過所述單支Siamese網絡提取出所述待檢索圖像的深度網絡特征；

相似度計算模塊，用于計算所述待檢索圖像的深度網絡特征與數據庫中每一個模板圖像的深度網絡特征之間的相似度，該相似度表征待檢索圖像與每一個模板圖像之間的相似度；

確定模塊，用于將與所述待檢索圖像的相似度最大的模板圖像確定為所述待檢索圖像對應的檢索結果圖像。

9.如權利要求8所述的基于Siamese網絡的圖像檢索系統，其特征在于，還包括：

第二特征提取模塊，用于將數據庫中的每一個模板圖像均通過訓練后的單支Siamese網絡，以便通過所述單支Siamese網絡提取每一個模板圖像的多個深度網絡特征；

存儲模塊，用于將每一個模板圖像與其多個深度網絡特征的對應關系存儲于數據庫中。

10.如權利要求9所述的基于Siamese網絡的圖像檢索系統，其特征在于，

所述第一提取模塊，具體用于：

將待檢索圖像輸入訓練后的單支Siamese網絡，以便提取待檢索圖像的多個深度網絡特征；

所述相似度計算模塊，具體用于：

計算所述待檢索圖像的多個深度網絡特征與每一個模板圖像的多個深度網絡特征之間的歐氏距離或者余弦距離；

所述確定模塊，具體用于：

將與所述待檢索圖像的多個深度網絡特征的歐式距離或者余弦距離最小的多個深度網絡特征對應的模板圖像確定為待檢索圖像的檢索結果圖像。