[發明專利]用于確定相似圖片的方法和裝置

在審

• 申請號: 201811495715.3
• 申請日: 2018-12-07
• 公開（公告）號: CN111291765A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 張超
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種用于確定相似圖片的方法，包括：

將目標圖片輸入已訓練的圖像相似度評價模型中的特征提取網絡進行圖像特征提取，得到所述目標圖片的特征向量；

基于所述目標圖片的特征向量以及預先獲取的候選圖片集合的特征矩陣，從所述候選圖片集合中確定出所述目標圖片的相似圖片；

其中，所述候選圖片集合的特征矩陣由所述候選圖片集合中各候選圖片的特征向量構建，所述候選圖片的特征向量基于所述已訓練的圖像相似度評價模型中的特征提取網絡對所述候選圖片進行特征提取得出。

2.根據權利要求1所述的方法，其中，所述候選圖片的特征向量為歸一化的行特征向量，所述目標圖片的特征向量為歸一化的列特征向量；

所述候選圖片集合的特征矩陣中，每幅候選圖片的特征向量為所述特征矩陣中的一個行向量；

所述基于所述目標圖片的特征向量以及預先獲取的候選圖片集合的特征矩陣，從所述候選圖片集合中確定出所述目標圖片的相似圖片，包括：

確定所述特征矩陣與所述目標圖片的特征向量相乘得到的結果列向量中的元素的最大值，確定所述特征矩陣中對應于所述最大值在結果列向量中的位置的特征向量所表征的候選圖片為所述目標圖片的相似圖片。

3.根據權利要求1所述的方法，其中，所述候選圖片的特征向量為歸一化的列特征向量，所述目標圖片的特征向量為歸一化的行特征向量；

所述候選圖片集合的特征矩陣中，每幅候選圖片的特征向量為所述特征矩陣中的一個列向量；

所述基于所述目標圖片的特征向量以及預先獲取的候選圖片集合的特征矩陣，從所述候選圖片集合中確定出所述目標圖片的相似圖片，包括：

確定所述目標圖片的特征向量與所述特征矩陣相乘得到的結果行向量中的元素的最大值，確定所述特征矩陣中對應于所述最大值在結果行向量中的位置的特征向量所表征的候選圖片為所述目標圖片的相似圖片。

4.根據權利要求1-3任一項所述的方法，其中，所述圖像相似度評價模型包括相似度計算網絡以及兩個共享權重的特征提取網絡；

所述方法還包括：

基于由候選圖片構建的樣本圖片對集合訓練得出所述已訓練的圖像相似度評價模型。

5.根據權利要求4所述的方法，其中，所述樣本圖片對集合包括由候選圖片形成的樣本圖片對以及樣本圖片對的相似屬性標注信息；

所述基于由候選圖片構建的樣本圖片對集合訓練得出所述已訓練的圖像相似度評價模型，包括：

將樣本圖片對中的兩幅樣本圖片分別輸入待訓練的圖像相似度評價模型中的兩個特征提取網絡，得到樣本圖片對中的兩幅樣本圖片的特征向量；

基于樣本圖片對中的兩幅樣本圖片的特征向量，采用待訓練的圖像相似度評價模型中的相似度計算網絡計算所述樣本圖片對中的兩幅樣本圖片的相似度；

基于預設的損失函數，采用反向傳播方法迭代調整所述待訓練的圖像相似度評價模型中的特征提取網絡的權重，使得所述損失函數的值滿足預設的收斂條件，其中，所述損失函數的值用于表征所述待訓練的圖像相似度評價模型計算得出的樣本圖片對的相似度與對應的樣本圖片對的相似屬性的標注信息之間的差異。

6.根據權利要求5所述的方法，其中，所述方法還包括：

獲取對所述目標圖片的相似圖片與所述目標圖片之間的相似度評價的用戶反饋信息；

基于所述用戶反饋信息確定所述目標圖片與所述目標圖片的相似圖片之間的相似屬性標注信息，并將所述目標圖片和所述目標圖片的相似圖片作為樣本圖片對添加至所述樣本圖片對集合中。

7.一種用于確定相似圖片的裝置，包括：

提取單元，被配置為將目標圖片輸入已訓練的圖像相似度評價模型中的特征提取網絡進行圖像特征提取，得到所述目標圖片的特征向量；

確定單元，被配置為基于所述目標圖片的特征向量以及預先獲取的候選圖片集合的特征矩陣，從所述候選圖片集合中確定出所述目標圖片的相似圖片；

其中，所述候選圖片集合的特征矩陣由所述候選圖片集合中各候選圖片的特征向量構建，所述候選圖片的特征向量基于所述已訓練的圖像相似度評價模型中的特征提取網絡對所述候選圖片進行特征提取得出。