[發明專利]數據檢索方法、裝置及存儲介質

在審

• 申請號: 202010982194.5
• 申請日: 2020-09-17
• 公開（公告）號: CN112115281A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 董明;黃偉;許德君
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F16/41
• 分類號: G06F16/41;G06F16/435;G06F16/483;G06F9/50;G06K9/62
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 謝冬寒

本申請實施例公開了一種數據檢索方法、裝置及存儲介質，屬于大數據檢索技術領域。在本申請實施例中，無需定時讀取歷史較長一段時間內的全部特征數據到內存中，而是先根據高維向量索引從數據庫過濾數據，再將過濾之后確定的特征數據讀取到內存中，因此，本方案每次讀取的數據量很小，耗時很短。且由于讀取到內存中的數據量很小，因此，后續的相似度計算過程對內存資源消耗很小。另外，本方案無需等待一段時間將實時特征數據讀取到內存中再用于檢索，而是直接從數據庫中檢索數據，這樣能夠檢索到最新相似數據。

技術領域

本申請實施例涉及大數據檢索技術領域，特別涉及一種數據檢索方法、裝置及存儲介質。

背景技術

在大數據時代，實時都有新的媒體數據上傳到服務器的數據庫中，媒體數據如圖像、文本或者音頻等，例如在圖像檢索場景中，前端的監控設備采集圖像數據形成視頻流上傳至服務器，或者各個應用終端提交圖像數據到服務器等。服務器的數據庫中存儲有海量的媒體數據。用戶通過客戶端向服務器發送檢索請求，檢索請求攜帶一個媒體數據，以請求服務器檢索相似媒體數據。例如檢索請求攜帶一個圖像數據，以請求服務器通過以圖搜圖的方法來檢索相似圖像。

在相關技術中，服務器對接收的每個媒體數據提取特征得到對應的特征數據，將特征數據與媒體數據對應存儲在數據庫中。而且，服務器每隔第一時間間隔釋放內存后將數據庫中存儲的最近較長一段時間的歷史媒體數據對應的特征數據讀取到內存中，以定時刷新內存，例如每天凌晨兩點釋放內存后將前一月的歷史媒體數據對應的特征數據讀取到內存中。另外，服務器還以增量的方式定時讀取數據庫中存儲的最近較短一段時間的實時媒體數據對應的特征數據到內存中，例如每隔十分鐘將前十分鐘的實時媒體數據對應的特征數據讀取到內存中。服務器在接收到客戶端發送的檢索請求時，對檢索請求攜帶的媒體數據進行特征提取得到參考特征數據，并計算內存中讀取的每個特征數據與參考特征數據之間的相似度，將相似度較高的特征數據對應的媒體數據反饋給客戶端。

然而，服務器刷新內存時將數據庫中存儲的較長一段時間的歷史媒體數據對應的特征數據全部讀取到內存中，讀取的數據量很大，耗時很長，且對內存資源消耗很大。另外，服務器每隔一段時間才能讀取實時媒體數據對應的特征數據到內存中用于檢索，這樣，就存在不能檢索到最新相似數據的問題。

發明內容

本申請實施例提供了一種數據檢索方法、裝置及存儲介質，能夠減小對內存資源的消耗，減少檢索耗時，且提高檢索到的數據實時性。所述技術方案如下：

一方面，提供了一種數據檢索方法，所述方法包括：

接收客戶端發送的檢索請求，所述檢索請求攜帶第一媒體數據；

確定所述第一媒體數據對應的特征數據和高維向量索引，得到第一特征數據和第一高維向量索引；

根據所述第一高維向量索引，從數據庫存儲的媒體數據中確定多個第一候選媒體數據，所述數據庫存儲的每個媒體數據對應有一個特征數據和一個高維向量索引；

將多個第二特征數據讀取到內存中，根據讀取到所述內存中的每個第二特征數據與所述第一特征數據之間的相似度，確定多個第二媒體數據，所述多個第二特征數據是指所述多個第一候選媒體數據對應的特征數據；

向所述客戶端發送所述多個第二媒體數據。

可選地，所述將多個第二特征數據讀取到內存中，根據讀取到所述內存中的每個第二特征數據與所述第一特征數據之間的相似度，確定多個第二媒體數據，包括：

將所述多個第二特征數據分次讀取到所述內存中，每次讀取到所述內存中的第二特征數據的總數量不超過第一預置數量；

每讀取一次，計算讀取到所述內存中的每個第二特征數據與所述第一特征數據之間的相似度，并釋放所述內存中的第二特征數據；