[發明專利]一種圖文檢索方法、裝置和電子設備

有效

• 申請號: 202110578468.9
• 申請日: 2021-05-26
• 公開（公告）號: CN113435206B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 李涵
• 申請（專利權）人: 卓爾智聯（武漢）研究院有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06N3/049;G06N3/08;G06N3/0464
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 牛亭亭

1.一種圖文檢索方法，其特征在于，包括：

獲取檢索指令，所述檢索指令中攜帶有檢索條件；所述檢索條件，包括：圖像信息和文本信息；語義空間，包括：圖像語義空間和文本語義空間；轉換語義空間，包括：圖像轉換語義空間和文本轉換語義空間；所述轉換語義空間從真實語義空間網絡的最后一層的全連接層接入，通過3層LSTM得到；

將所述檢索條件分別映射到語義空間和轉換語義空間中，分別得到所述檢索條件在語義空間的第一向量和所述檢索條件在轉換語義空間的第二向量；

當所述檢索條件為圖像信息時，確定所述第一向量是圖像語義空間對所述檢索條件的特征進行映射后得到的，并確定所述第二向量是圖像轉換語義空間對所述檢索條件的特征進行映射后得到的；

計算所述第一向量分別與所述文本轉換語義空間中各向量的距離；

從所述文本轉換語義空間的各向量中選擇與所述第一向量的距離小于距離閾值的向量作為第一候選向量；

計算所述第二向量分別與所述文本語義空間中各向量的距離；

從所述文本語義空間的各向量中選擇與所述第二向量的距離小于距離閾值的向量作為第二候選向量；

將所述第一候選向量和所述第二候選向量合并，得到所述檢索條件的候選向量集合；

計算所述候選向量集合中各向量和所述第一向量的距離與所述候選向量集合中各向量和所述第二向量的距離的平均距離值；

當所述檢索條件為圖像信息時，從所述候選向量集合中的各向量中選擇所述平均距離值較小的多個向量對應的文本信息作為所述檢索條件的檢索結果；

當所述檢索條件為文本信息時，從所述候選向量集合中的各向量中選擇所述平均距離值較小的多個向量對應的圖像信息作為所述檢索條件的檢索結果。

2.根據權利要求1所述的方法，其特征在于，對所述第一向量和所述第二向量進行處理，得到所述檢索條件的檢索結果，還包括：

當所述檢索條件為文本信息時，確定所述第一向量是文本語義空間對所述檢索條件的特征進行映射后得到的，并確定所述第二向量是文本轉換語義空間對所述檢索條件的特征進行映射后得到的；

計算所述第一向量分別與所述圖像轉換語義空間中各向量的距離；

從所述圖像轉換語義空間的各向量中選擇與所述第一向量的距離小于距離閾值的向量作為第一候選向量；

計算所述第二向量分別與所述圖像語義空間中各向量的距離；

從所述圖像語義空間的各向量中選擇與所述第二向量的距離小于距離閾值的向量作為第二候選向量；

對所述第一候選向量和所述第二候選向量進行處理，得到所述檢索條件的檢索結果。

3.一種圖文檢索裝置，其特征在于，包括：

獲取模塊，用于獲取檢索指令，所述檢索指令中攜帶有檢索條件；所述檢索條件，包括：圖像信息和文本信息；語義空間，包括：圖像語義空間和文本語義空間；轉換語義空間，包括：圖像轉換語義空間和文本轉換語義空間；所述轉換語義空間從真實語義空間網絡的最后一層的全連接層接入，通過3層LSTM得到；

映射模塊，用于將所述檢索條件分別映射到語義空間和轉換語義空間中，分別得到所述檢索條件在語義空間的第一向量和所述檢索條件在轉換語義空間的第二向量；

處理模塊，用于當所述檢索條件為圖像信息時，確定所述第一向量是圖像語義空間對所述檢索條件的特征進行映射后得到的，并確定所述第二向量是圖像轉換語義空間對所述檢索條件的特征進行映射后得到的；計算所述第一向量分別與所述文本轉換語義空間中各向量的距離；從所述文本轉換語義空間的各向量中選擇與所述第一向量的距離小于距離閾值的向量作為第一候選向量；計算所述第二向量分別與所述文本語義空間中各向量的距離；從所述文本語義空間的各向量中選擇與所述第二向量的距離小于距離閾值的向量作為第二候選向量；將所述第一候選向量和所述第二候選向量合并，得到所述檢索條件的候選向量集合；

計算所述候選向量集合中各向量和所述第一向量的距離與所述候選向量集合中各向量和所述第二向量的距離的平均距離值；

當所述檢索條件為圖像信息時，從所述候選向量集合中的各向量中選擇所述平均距離值較小的多個向量對應的文本信息作為所述檢索條件的檢索結果；

當所述檢索條件為文本信息時，從所述候選向量集合中的各向量中選擇所述平均距離值較小的多個向量對應的圖像信息作為所述檢索條件的檢索結果。