[發明專利]一種數據檢索方法和系統

在審

• 申請號: 202110269603.1
• 申請日: 2021-03-12
• 公開（公告）號: CN112988747A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 李寶然
• 申請（專利權）人: 山東英信計算機技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2458;G06F16/248
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 劉小峰;陳黎明

本發明公開了一種數據檢索方法和系統，方法包括：使用乘積量化編碼算法來分別編碼多個數據庫數據和被檢索數據，以各自獲得多個第一乘積量化編碼和第二乘積量化編碼；初始化鍵值生成模塊并生成多個哈希表；將多個第一乘積量化編碼和第二乘積量化編碼均映射到多個哈希表內的不同鍵值，使得每個哈希表內均包括部分哈希編碼鍵值；使用鍵值生成模塊在多個哈希表內分別以第二乘積量化編碼的部分哈希編碼鍵值比對多個第一乘積量化編碼的部分哈希編碼鍵值，并分別返回多個哈希表的最鄰近檢索結果；將多個最鄰近檢索結果合并，并返回相關性最高的預定數量的數據庫數據。本發明能夠提高數據檢索的效率，降低耗時。

技術領域

本發明涉及數據檢索領域，更具體地，特別是指一種數據檢索方法和系統。

背景技術

量化技術通過將高精度、高維度數據以低精度、整值、二值化方式表示，降低數據空間占用和編碼長度，并對數據進行分類和檢索。乘積量化將數據在維度上分割為多個子空間，每個子空間具有更少的維度信息。通過在每個子空間內對數據進行量化，乘積量化方法可以非常有效地對高維數據生成較長碼值長度的編碼信息。在降低乘積量化的量化誤差方面，一些改進算法使用參數化和非參數化的方法提升量化過程中編碼對數據的擬合，獲得了更好的量化性能，但其基礎都來自于乘積量化的子空間策略。

現有的基于乘積量化編碼的檢索策略設計中，通常將乘積量化編碼作為檢索加速的終點，認為乘積量化編碼的短碼值已經比原始數據更適合加速檢索了。然而實際上，盡管量化編碼的維度空間往往大幅低于原始數據的維度空間，但在編碼空間內使用遍歷方式檢索時間開銷同樣巨大，無法直接應用于實際生產場景(指紋匹配、人臉識別等)中。

針對現有技術中乘積量化編碼的數據檢索時間長、效率低的問題，目前尚無有效的解決方案。

發明內容

有鑒于此，本發明實施例的目的在于提出一種數據檢索方法和系統，能夠提高數據檢索的效率，降低耗時。

基于上述目的，本發明實施例的第一方面提供了一種數據檢索方法，包括執行以下步驟：

使用乘積量化編碼算法來分別編碼多個數據庫數據和被檢索數據，以各自獲得多個第一乘積量化編碼和第二乘積量化編碼；

使用多個第一乘積量化編碼來初始化鍵值生成模塊，并生成多個哈希表；

將多個第一乘積量化編碼和第二乘積量化編碼均映射到多個哈希表內的不同鍵值，使得每個哈希表內均包括多個第一乘積量化編碼和第二乘積量化編碼的部分哈希編碼鍵值；

使用鍵值生成模塊在多個哈希表內分別以第二乘積量化編碼的部分哈希編碼鍵值比對多個第一乘積量化編碼的部分哈希編碼鍵值，并分別返回多個哈希表的最鄰近檢索結果；

將多個最鄰近檢索結果合并，基于多個第一乘積量化編碼分別到第二乘積量化編碼的相關性排序，并返回相關性最高的預定數量的數據庫數據。

在一些實施方式中，使用乘積量化編碼算法來分別編碼多個數據庫數據和被檢索數據，以各自獲得多個第一乘積量化編碼和第二乘積量化編碼包括：

確定乘積量化編碼算法的碼位數和每位取值指數，并基于碼位數和每位取值指數使用乘積量化編碼算法來各自獲得具有碼位數和每位取值指數的多個第一乘積量化編碼和第二乘積量化編碼。

在一些實施方式中，將多個第一乘積量化編碼和第二乘積量化編碼均映射到多個哈希表內的不同鍵值包括：

基于碼位數和哈希表的數量之比確定哈希表的映射長度，并將多個第一乘積量化編碼和第二乘積量化編碼中映射長度的哈希編碼鍵值作為部分哈希編碼鍵值而映射到多個哈希表內的不同鍵值。

在一些實施方式中，被映射到同一哈希表內的多個第一乘積量化編碼和第二乘積量化編碼中的映射長度的哈希編碼鍵值在多個第一乘積量化編碼和第二乘積量化編碼上均占據相同的位置。