[發明專利]數據檢索方法、裝置以及計算機可讀存儲介質

有效

• 申請號: 202011302942.7
• 申請日: 2020-11-19
• 公開（公告）號: CN112418298B
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 程子翰;田國棟
• 申請（專利權）人: 北京云從科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/903
• 代理公司: 北京瀚仁知識產權代理事務所(普通合伙) 11482
• 代理人: 屠曉旭;宋寶庫

本發明涉及數據檢索技術領域，具體提供了一種數據檢索方法、裝置以及計算機可讀存儲介質，旨在解決快速且準確地對大批量數據進行數據檢索的技術問題。為此目的，根據本發明實施例的方法，利用PQ算法對向量樣本進行相似數據檢索，相較于暴力搜索的方法，能夠顯著提高數據的檢索效率。同時，在獲取到利用PQ算法生成的向量距離查詢表之后，可以將向量距離查詢表中的浮點型向量距離轉換為整型向量距離，以降低向量距離查詢表的數據大小，滿足處理器的一級緩存的緩存存儲要求，使得處理器只需在一級緩存中加載一次向量距離查詢表，就可以完成對一個向量樣本的相似性檢索，克服了現有技術中由于反復加載向量距離查詢表導致的檢索效率下降的缺陷。

技術領域

本發明涉及數據檢索技術領域，具體涉及一種數據檢索方法、裝置以及計算機可讀存儲介質。

背景技術

在利用深度學習算法對待處理數據(如待處理的圖像或語音等)進行人臉類別識別或語音類別識別等數據識別處理時，往往需要根據待處理數據對數據庫中預先存儲的數據樣本進行相似性檢索，以獲取與待處理數據相似的數據樣本，最后根據這些數據樣本的數據類別確定待處理數據的數據類別。例如：在對待處理圖像進行人臉類別識別(如識別圖像中的人臉具體屬于哪一個人的人臉)時，首先提取待處理圖像中的人臉特征，然后根據人臉特征對預設的人臉圖像樣本進行相似性檢索，得到與待處理圖像中的人臉相似的人臉圖像樣本，最后根據這些人臉圖像樣本對應的人臉類別確定待處理圖像中人臉的人臉類別。

為了提高對待處理數據進行相似性檢索的準確性，目前主要是采用暴力搜索(Violent search)的方法進行檢索。具體而言，可以將待處理數據與每個數據樣本逐一進行相似度計算，根據每個數據樣本各自對應的相似度計算的結果，選取與待處理數據相似的一個或多個數據樣本。然而，在需要進行檢索的數據樣本的數據量較大的應用場景(例如對火車站內監控裝置采集到的包含了數億個人臉圖像的歷史監控視頻進行人臉識別)中，如果仍采用暴力搜索的方法進行數據檢索，將會極大地延長數據的檢索時間，從而導致數據識別處理的處理效率下降。

發明內容

為了克服上述缺陷，提出了本發明，以提供解決或至少部分地解決如何快速且準確地對大批量數據進行數據檢索的技術問題的數據檢索方法、裝置以及計算機可讀存儲介質。

第一方面，提供一種數據檢索方法，所述數據檢索方法包括：

利用PQ算法并且根據待檢索向量與當前目標向量樣本組，獲取與所述待檢索向量和所述當前目標向量樣本組對應的向量距離查詢表；

將所述向量距離查詢表中的浮點型向量距離轉換為整型向量距離，以形成整型向量距離查詢表；

根據所述整型向量距離查詢表獲取所述當前目標向量樣本組中的每個向量樣本與所述待檢索向量之間的第一整型向量距離；

按照距離值選取多個所述第一整型向量距離對應的向量樣本作為與所述待檢索向量相似的相似向量樣本。

在上述數據檢索方法的一個技術方案中，“將所述向量距離查詢表中的浮點型向量距離轉換為整型向量距離”的步驟具體包括：

獲取所述向量距離查詢表中的最大浮點型向量距離；

根據所述最大浮點型向量距離并且按照下式所示的方法將所述向量距離查詢表中的每個浮點型向量距離分別轉換為整型向量距離：

其中，所述V_{quantized_i}表示對所述向量距離查詢表中的第i個浮點型向量距離V_{float_i}轉換后得到的整型向量距離，所述V_max表示所述最大浮點型向量距離。

在上述數據檢索方法的一個技術方案中，在“利用PQ算法并且根據待檢索向量與當前目標向量樣本組，獲取與所述待檢索向量和所述當前目標向量樣本組對應的向量距離查詢表”的步驟之前，所述方法還包括：