[發明專利]目標數據庫的高維向量搜索方法及相關設備

在審

• 申請號: 202111674870.3
• 申請日: 2021-12-31
• 公開（公告）號: CN114490727A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 湯前進;呂旭濤
• 申請（專利權）人: 深圳云天勵飛技術股份有限公司
• 主分類號: G06F16/245
• 分類號: G06F16/245;G06F16/248;G06F16/22;G06F16/23;G06F16/25;G06F16/27;G06F9/54
• 代理公司: 深圳驛航知識產權代理事務所(普通合伙) 44605
• 代理人: 楊倫

本發明實施例提供一種目標數據庫的高維向量搜索方法，通過共享內存，使集成和封裝有高維向量搜索庫的高維輔助進程與目標數據庫之間實現通信，需要進行高維向量搜索時，通過高維輔助進程來進行搜索，由于高維輔助進程中集成和封裝，因此，可以充分利用高維向量搜索庫對高維向量的搜索能力，提高目標數據庫中對高維向量的搜索速度，而且可以靈活的進行低維向量搜索或高維向量搜索，通過擴展目標數據庫對高維向量的搜索功能，進而在將目標數據庫原本的數據庫查詢功能和高維向量搜索功能結合，提高向量搜索效率以及降低了開發成本。

技術領域

本發明涉及數據搜索領域，尤其涉及一種目標數據庫的高維向量搜索方法及相關設備。

背景技術

在互聯網時代，非結構化數據規模急速增長，比如視頻、圖像、語音、文字等，隨著深度學習方法在各個領域的興起，大部分非結構化數據能夠通過深度學習轉換為高維向量進行結構化表示，再通過向量搜索方法，就能夠有效的使用這些向量數據。但是，在實際的應用中，這些數據都存儲在數據庫中，由于數據庫的數據資源時間跨度大，大多數數據庫都是基于低維向量進行開發的，因此都只支持較低維的向量搜索，例如PostgreSQL的imgsmlr擴展和cube擴展，將高維的結構化數據存儲在PostgreSQL數據庫中，是不能直接使用現有的向量搜索方法進行高維向量搜索的。

發明內容

本發明實施例提供一種目標數據庫的高維向量搜索方法，能夠通過共享內存，使集成和封裝有高維向量搜索庫的高維輔助進程與目標數據庫之間實現通信，需要進行高維向量搜索時，通過高維輔助進程來進行搜索，由于高維輔助進程中集成和封裝，因此，可以充分利用高維向量搜索庫對高維向量的搜索能力，提高目標數據庫中對高維向量的搜索速度，而且可以靈活的進行低維向量搜索或高維向量搜索，通過擴展目標數據庫對高維向量的搜索功能，進而在將目標數據庫原本的數據庫查詢功能(主要是標量數據)和高維向量搜索功能結合，提高向量搜索效率以及降低了開發成本。

第一方面，本發明實施例提供一種目標數據庫的高維向量搜索方法，所述方法包括：

當高維輔助進程在共享內存中讀取到服務進程對應的請求時，返回與所述請求對應的響應結果發送到所述共享內存中；

通過所述服務進程讀取所述共享內在中的所述響應結果返回到客戶端；

其中，所述高維輔助進程集成和封裝有高維向量搜索庫，所述服務進程用于處理所述目標數據庫與所述客戶端之間的請求。

可選的，在所述當高維輔助進程在共享內存中讀取到服務進程對應的請求時，返回與所述請求對應的響應結果發送到所述共享內存中的步驟之前，所述方法還包括：

所述服務進程通過預設的索引擴展向所述共享內存發送所述請求，并通過所述預設的索引擴展定時或實時訪問所述共享內存，讀取所述共享內存的狀態，并判斷是否存在與所述請求對應的響應結果；

所述高維輔助進程定時或實時訪問所述共享內存，讀取所述共享內存的狀態，并判斷是否存在所述服務進程對應的所述請求；

其中，所述服務進程以及所述高維輔助進程對所述共享內存的訪問通過鎖進行同步。

可選的，所述目標數據庫的索引表存儲在磁盤中，所述方法還包括：

每次初始化所述高維輔助進程時，將所述索引表加載到的共享內存中，所述索引表用于記錄所述服務進程對應的所述查詢請求；

當所述共享內存中的所述索引表發生變化時，將變化后的索引表發送到所述磁盤上時行更新。

可選的，所述請求包括對所述高維向量搜索庫的操作請求，所述響應結果包括對所述高維向量搜索庫的操作結果，在所述當所述共享內存中的所述索引表發生變化時，將變化后的索引表發送到所述磁盤上時行更新的步驟之前，所述方法還包括：