[發明專利]一種圖像搜索方法、裝置和存儲介質

有效

• 申請號: 201910900623.7
• 申請日: 2019-09-23
• 公開（公告）號: CN110598037B
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 陳震鴻;顏強;趙猛
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/58;G06F16/535;G06F16/538;G06N3/04;G06N3/08
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 蔡艾瑩

1.一種圖像搜索方法，其特征在于，包括：

獲取待搜索圖像；

獲取所述待搜索圖像在多個圖像相似維度上的特征信息，其中，所述圖像相似維度包括圖像操作行為相似維度，所述圖像操作行為相似維度包括單用戶圖像操作行為相似子維度；

基于所述多個圖像相似維度上的特征信息，于候選圖像中分別在各圖像相似維度上搜索相似圖像，得到相似圖像集合，所述相似圖像集合中的相似圖像與所述待搜索圖像在至少一個圖像相似維度上相似；

根據所述相似圖像集合中各相似圖像對應的至少一個圖像相似維度，對所述相似圖像集合中的相似圖像進行排序，得到排序后集合；

從所述排序后集合中選擇預設數量的目標相似圖像；

輸出目標相似圖像；

其中，對于單用戶圖像操作行為相似子維度，獲取待搜索圖像在圖像操作行為相似維度上的特征信息的方案包括：

獲取所述待搜索圖像在第一歷史圖像標識號文本中的詞向量，其中，所述第一歷史圖像標識號文本為第一歷史操作圖像集合中的圖像的標識號組成的文本，所述第一歷史操作圖像集合中的圖像為同一用戶在歷史時間段內進行了操作的圖像，且第一用戶歷史操作圖像集合包括所述待搜索圖像；

于候選圖像中搜索與待搜索圖像在單用戶圖像操作行為相似子維度上相似的相似圖像的方案包括：

獲取候選圖像在第二歷史圖像標識號文本中的詞向量，其中，所述第二歷史圖像標識號文本為第二歷史操作圖像集合中的圖像的標識號組成的文本，所述第二歷史操作圖像集合中的圖像為同一用戶在歷史時間段內進行了操作的圖像，且第二用戶歷史操作圖像集合包括所述候選圖像；

從所述候選圖像中，搜索詞向量與所述待搜索圖像的詞向量相似的相似圖像。

2.根據權利要求1所述的圖像搜索方法，其特征在于，所述圖像相似維度還包括：圖像承載對象相似維度和圖像語義相似維度；

所述基于所述多個圖像相似維度上的特征信息，于候選圖像中分別在各圖像相似維度上搜索相似圖像包括：

基于圖像承載對象相似維度上的特征信息，于候選圖像中搜索與所述待搜索圖像在圖像承載對象相似維度上相似的相似圖像；

基于圖像語義相似維度上的特征信息，于候選圖像中搜索與所述待搜索圖像在圖像語義相似維度上相似的相似圖像；

基于圖像操作行為相似維度上的特征信息，于候選圖像中搜索與所述待搜索圖像在圖像操作行為相似維度上相似的相似圖像。

3.根據權利要求2所述的圖像搜索方法，其特征在于，圖像承載對象相似維度包括：圖像特征相似子維度；

獲取待搜索圖像在圖像承載對象相似維度上的特征信息，包括：

通過特征提取模型的局部特征提取塊，提取所述待搜索圖像的局部特征；

通過對應于所述局部特征提取塊設置的注意力模塊，學習所述局部特征提取塊提取的局部特征的特征權重；

基于所述特征權重對所述局部特征提取塊提取的局部特征進行處理，得到注意力局部特征，基于所述注意力局部特征得到所述待搜索圖像的圖像特征；

所述基于圖像承載對象相似維度上的特征信息，于候選圖像中搜索與所述待搜索圖像在圖像承載對象相似維度上相似的相似圖像，包括：

獲取候選圖像基于所述特征提取模型提取的圖像特征；

從所述候選圖像中，搜索圖像特征與所述待搜索圖像的圖像特征相似的相似圖像。

4.根據權利要求2所述的圖像搜索方法，其特征在于，所述圖像語義相似維度包括：圖像語義相似子維度；

獲取待搜索圖像在圖像語義相似維度上的特征信息，包括：

識別所述待搜索圖像的語義信息；

所述基于圖像語義相似維度上的特征信息，于候選圖像中搜索與所述待搜索圖像在圖像語義相似維度上相似的相似圖像包括：

獲取候選圖像的語義信息，從所述候選圖像中，搜索語義信息與所述待搜索圖像的語義信息相似的相似圖像。