[發明專利]圖像檢索的方法及裝置、圖像表征網絡的訓練方法及裝置

有效

• 申請號: 202110584272.0
• 申請日: 2021-05-27
• 公開（公告）號: CN113254695B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 唐董琦
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/55
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種圖像表征網絡的訓練方法，包括：

獲取訓練圖像及其對應的標注類別；

將所述訓練圖像輸入圖像表征網絡，得到訓練表征向量；

利用預設函數將所述訓練表征向量中的各元素分別映射為逼近第一數值或第二數值的逼近值，得到逼近表征向量；

分別計算多個權重向量與所述逼近表征向量之間的余弦相似度，其中多個權重向量對應多個圖像類別；

基于計算出的多個余弦相似度和所述標注類別，訓練所述圖像表征網絡和多個權重向量。

2.根據權利要求1所述的方法，其中，在訓練所述圖像表征網絡和多個權重向量之后，所述方法還包括：

獲取待檢索的第一圖像，并將該第一圖像輸入訓練好的圖像表征網絡，得到第一表征向量；

將所述第一表征向量中的各元素二值化處理為所述第一數值或第二數值，得到所述第一圖像的二值表征向量；

獲取多個候選圖像的多個二值表征向量，并計算其中各個二值表征向量與所述第一圖像的二值表征向量之間的漢明距離；

基于所述漢明距離，從所述多個候選圖像中召回與所述第一圖像相似的圖像。

3.根據權利要求2所述的方法，其中，在獲取待檢索的第一圖像之前，所述方法還包括：

將所述多個候選圖像分別輸入所述訓練好的圖像表征網絡，得到對應的多個第二表征向量；

對所述多個第二表征向量分別進行所述二值化處理，得到并存儲所述多個候選圖像的多個二值表征向量；

其中，獲取多個候選圖像的多個二值表征向量，包括：

讀取存儲的多個二值表征向量。

4.根據權利要求1或2所述的方法，其中，所述第一數值為-1，第二數值為1。

5.根據權利要求4所述的方法，其中，所述預設函數為雙曲正切函數。

6.根據權利要求4所述的方法，其中，分別計算多個權重向量與所述逼近表征向量之間的余弦相似度，包括：

計算所述逼近表征向量與其向量維數的算數平方根之間的商，得到單位表征向量；

對所述多個權重向量分別進行歸一化處理，得到多個單位權重向量；

計算所述單位表征向量與各個單位權重向量之間的點積，得到對應的余弦相似度。

7.根據權利要求1所述的方法，其中，基于計算出的多個余弦相似度和所述標注類別，訓練所述圖像表征網絡和多個權重向量，包括：

基于所述多個余弦相似度中對應所述標注類別的第一余弦相似度，確定訓練損失，該訓練損失負相關于所述第一余弦相似度；

基于所述訓練損失，訓練所述圖像表征網絡和多個權重向量。

8.根據權利要求7所述的方法，其中，所述訓練損失還負相關于所述多個余弦相似度中除所述第一余弦相似度以外的其他余弦相似度。

9.根據權利要求8所述的方法，其中，基于所述多個余弦相似度中對應所述標注類別的第一余弦相似度，確定訓練損失，包括：

利用預設縮減函數處理所述第一余弦相似度，得到縮減相似度，所述預設縮減函數包括角度間隔參數；

利用所述其他余弦相似度，對所述縮減相似度進行歸一化處理，得到預測概率，其指示所述訓練圖像被分類為所述標注類別的可能性；

基于所述預測概率，確定所述訓練損失，該訓練損失還正相關于所述角度間隔參數。

10.一種圖像表征網絡的訓練裝置，包括：

樣本獲取單元，配置為獲取訓練圖像及其對應的標注類別；

樣本表征單元，配置為將所述訓練圖像輸入圖像表征網絡，得到訓練表征向量；

向量映射單元，配置為利用預設函數將所述訓練表征向量中的各元素分別映射為逼近第一數值或第二數值的逼近值，得到逼近表征向量；

相似度計算單元，配置為分別計算多個權重向量與所述逼近表征向量與之間的余弦相似度，其中多個權重向量對應多個圖像類別；

訓練單元，配置為基于計算出的多個余弦相似度和所述標注類別，訓練所述圖像表征網絡和多個權重向量。