[發明專利]圖文匹配方法、裝置及存儲介質

在審

• 申請號: 202011052223.4
• 申請日: 2020-09-29
• 公開（公告）號: CN112148839A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 崔志
• 申請（專利權）人: 北京小米松果電子有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06T9/00;G06K9/62
• 代理公司: 北京鉦霖知識產權代理有限公司 11722
• 代理人: 李志新;劉亞平

本公開是關于一種圖文匹配方法、裝置及存儲介質。圖文匹配方法包括：獲取待進行圖文匹配的圖像；將所述圖像輸入預先訓練的圖文編碼模型，對所述圖像進行編碼，得到圖像向量；從預先存儲的文本向量中確定與所述圖像向量相似的文本向量；其中，所述圖文編碼模型在訓練過程中還包括用于對文本進行編碼的文本編碼子網絡，所述預先存儲的文本向量通過所述文本編碼子網絡對預設文本編碼確定；將與所述圖像向量相似的預設數量文本向量對應的文本，確定為與所述圖像匹配的文本。通過本公開，可提升圖文匹配的服務器的圖文匹配效率，降低圖文匹配的服務器的系統延遲。

技術領域

本公開涉及計算機技術領域，尤其涉及圖文匹配方法、裝置及存儲介質。

背景技術

多模態檢索是一種新型的檢索方式，其可以實現不同模態之間的數據檢索。例如圖文檢索時，用戶可以輸入一張圖像來檢索與該圖像匹配的描述文本，或者，用戶可以輸入一個文本來檢索該語句所描述的圖像。

以根據圖像檢索文本為例，服務器需要根據用戶輸入的圖像，需要在文本庫中粗略地檢索與輸入圖像關聯度比較大的候選文本，得到候選文本后，再利用文本編碼模型對候選文本進行編碼，得到候選文本的文本向量，根據候選文本的文本向量最終確定與用戶輸入圖像的匹配度。

通過上述方式進行圖文匹配時，服務器需要經過初步檢索、編碼以及計算匹配度等幾個步驟，才能實現圖文匹配，服務器處理效率低下。

發明內容

為克服相關技術中存在的問題，本公開提供一種圖文匹配方法、裝置及存儲介質。

根據本公開實施例的第一方面，提供一種圖文匹配方法，圖文匹配方法包括：獲取待進行圖文匹配的圖像；將所述圖像輸入預先訓練的圖文編碼模型，對所述圖像進行編碼，得到圖像向量；從預先存儲的文本向量中確定與所述圖像向量相似的文本向量；其中，所述圖文編碼模型在訓練過程中還包括用于對文本進行編碼的文本編碼子網絡，所述預先存儲的文本向量通過所述文本編碼子網絡對預設文本編碼確定；將與所述圖像向量相似的預設數量文本向量對應的文本，確定為與所述圖像匹配的文本。

在一示例中，所述從預先存儲的文本向量中確定與所述圖像向量相似的文本向量，包括：

分別確定預先存儲的文本向量中的各文本向量與所述圖像向量的余弦距離；

根據計算的余弦距離，獲取與所述圖像向量的余弦距離大于設定距離閾值的文本向量，并

將余弦距離大于設定距離閾值的文本向量，確定為與所述圖像向量相似的文本向量。

在一示例中，所述預先存儲的文本向量通過所述文本編碼子網絡對預設文本編碼確定：調用所述圖文編碼模型；將所述預設文本輸入所述圖文編碼模型，通過所述圖文編碼模型包括的文本編碼子網絡對輸入的所述預設文本進行編碼，得到所述預先存儲的文本向量。

在一示例中，所述圖文編碼模型基于第一訓練樣本對和第二訓練樣本對訓練得到，所述第一訓練樣本對包括所述預設文本以及與所述預設文本相匹配的圖像樣本，所述第二訓練樣本對包括所述預設文本以及與所述預設文本不相匹配的圖像樣本。

根據本公開實施例的第二方面，提供一種圖文編碼模型訓練方法，圖文編碼模型訓練方法包括：確定預設文本樣本；確定與所述預設文本樣本相匹配的圖像，得到第一訓練樣本對，并確定與預設文本樣本不匹配的圖像，得到第二訓練樣本對；基于所述第一訓練樣本對和所述第二訓練樣本對訓練得到圖文編碼模型。