[發明專利]圖像檢索模型的訓練方法和裝置以及檢索方法和裝置

有效

• 申請號: 202111636300.5
• 申請日: 2021-12-30
• 公開（公告）號: CN114003758B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 經小川;杜婉茹;劉萱;王瀟茵;孫鵬程;李瑞群
• 申請（專利權）人: 航天宏康智能科技（北京）有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/58;G06F40/284;G06K9/62;G06N3/04;G06V10/25;G06V10/82
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 王學強;王兆賡

提供了一種圖像檢索模型的訓練方法和裝置以及檢索方法和裝置。所述訓練方法包括：獲取訓練圖像和用于描述訓練圖像的訓練文本；基于訓練圖像通過圖像信息特征提取過程獲得圖像區域特征向量和圖像全局特征向量；基于訓練文本通過文本信息特征提取過程獲得文本分詞特征向量和文本全局特征向量；基于圖像區域特征向量、圖像全局特征向量、文本分詞特征向量和文本全局特征向量，通過圖像檢索模型獲得相似度；以相似度最大作為目標，對圖像檢索模型進行訓練。

技術領域

本公開涉及一種圖像檢索模型的訓練方法和使用圖像檢索模型的檢索方法，更具體地，涉及一種基于內容的圖像檢索模型的訓練方法和使用圖像檢索模型的檢索方法。

背景技術

在信息爆炸的時代，圖像、視頻、文本等不同模態的異構數據量都在以極大的速度增長。面向這些包含豐富信息的海量視覺及文本數據，如何快速并準確的從中檢索到用戶所需的或感興趣的數據，成為多模態信息檢索領域的研究熱點。已經開發處基于文本的圖像檢索和基于內容的圖像檢索。

基于文本的圖像檢索是通過文本標注的方式對圖像進行描述，即，為每張圖像打上描述其內容的各種標簽，用戶在檢索時提供檢索關鍵字，即可檢索出與該關鍵字相關的標簽，從而返回給用戶相關標簽所對應的圖像。

基于內容的圖像檢索不需要對圖像進行標簽標注工作，通常使用計算機對圖像特征進行描述，建立圖像特征矢量并存入圖像庫，當用戶輸入圖像進行查詢時，使用同樣的方法提取查詢圖像的特征向量，與圖像庫中存儲的圖像信息進行相似度計算，并按照相似度大小進行排序，向用戶輸出對應的圖像，完成檢索。

然而，基于文本的圖像檢索需要大量的人工參與，且極易受到標注人不同的認知水平、言語表達能力及主觀判斷力的影響；基于內容的圖像檢索只能完成輸入為圖像的檢索任務，即對單模態（圖像）下的特征檢索有效。若用戶輸入為文本，則圖像的特征描述與文本特征描述之間存在著語義鴻溝，導致檢索無法順利完成。

發明內容

本公開提供一種圖像檢索模型的訓練方法和裝置以及使用圖像檢索模型的檢索方法和裝置。

根據本公開實施例的第一方面，提供了一種圖像檢索模型的訓練方法，其特征在于，訓練方法包括：獲取訓練圖像和用于描述訓練圖像的訓練文本；基于訓練圖像通過圖像信息特征提取過程獲得圖像區域特征向量和圖像全局特征向量；基于訓練文本通過文本信息特征提取過程獲得文本分詞特征向量和文本全局特征向量；基于圖像區域特征向量、圖像全局特征向量、文本分詞特征向量和文本全局特征向量，通過圖像檢索模型獲得相似度；以相似度最大作為目標，對圖像檢索模型進行訓練，其中，通過圖像檢索模型獲得相似度的步驟包括通過如下公式獲得相似度：

其中， 表示相似度，γ₁和γ₂分別為圖像區域特征向量、圖像全局特征向量、文本分詞特征向量和文本全局特征向量中的一個特征向量，weights為圖像檢索模型，被構造為用于獲取相似度向量的權重矩陣，為的2-范數運算，d表示特征向量的維度。

在根據發明構思的示例性實施例中，圖像信息特征提取過程可以包括：通過卷積網絡組從訓練圖像中提取圖像初始特征圖；通過區域候選網絡對圖像初始特征圖進行圖像區域劃分；將圖像區域劃分的結果和圖像初始特征圖作為輸入，通過感興趣區域池化網絡提取圖像關鍵區域特征圖；將圖像關鍵區域特征圖送入全連接層以獲得圖像區域特征向量；并且通過自注意力機制聚合圖像區域特征向量以獲得圖像全局特征向量。