[發明專利]一種支持結構化數據和非結構數據混合查詢系統及方法

在審

• 申請號: 202111154175.4
• 申請日: 2021-09-29
• 公開（公告）號: CN114201488A
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 李今鳴
• 申請（專利權）人: 武漢眾智數字技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25;G06F16/28;G06F16/31;G06F16/335;G06F16/35;G06F9/48;G06F9/50
• 代理公司: 北京匯澤知識產權代理有限公司 11228
• 代理人: 鄭飛

1.一種支持結構化數據和非結構數據混合查詢系統，其特征在于，包括：

接入模塊，用于對外暴露客戶端連接的終端，負責處理客戶端鏈接，進行用戶請求的靜態驗證和基本的動態檢查，完成向其他系統組件內組合調用獲取操作結果并向客戶端返回；

任務調度模塊，用于負責計算單元負載均衡、控制任務執行順序、時間戳生成、數據聲明及數據管理；

數據存儲模塊，用于負責構建數據在內存和磁盤里的存儲方式，記錄數據的存儲位置，使系統能檢索到想要的數據；

檢索引擎，用于集成MySQL和Faiss形成向量索引庫，以負責對結構化數據和非結構化數據的檢索。

2.根據權利要求1所述的支持結構化數據和非結構數據混合查詢系統，其特征在于，所述接入模塊包括GRPC接口和HTTP接口。

3.根據權利要求1所述的支持結構化數據和非結構數據混合查詢系統，其特征在于，所述任務調度模塊設有硬盤源、CPU源及GPU源，各源均包含一個任務隊列、一個任務加載項Loader和一個執行項Executor，Loader負責將任務隊列中的任務數據加載到當前設備上，Executor負責執行已加載任務的搜索，所述Loader和Executor共享同一個任務隊列。

4.根據權利要求1所述的支持結構化數據和非結構數據混合查詢系統，其特征在于，所述數據存儲模塊用于在內存里開辟一塊空間作為可寫緩沖，數據直接寫入可寫緩沖里，當積累到一定數據量之后，該可寫緩沖就會被標記為只讀緩沖，只讀緩沖被定時寫入磁盤，并且會自動開辟新的可寫緩沖等待新的數據寫入。

5.根據權利要求4所述的支持結構化數據和非結構數據混合查詢系統，其特征在于，所述數據存儲模塊還用于將寫滿后形成的大小不一的磁盤進行合并得到大文件，所述大文件的大小不小于1GB。

6.根據權利要求1所述的支持結構化數據和非結構數據混合查詢系統，其特征在于，所述向量索引庫包括FLAT索引類型、IVF索引類型及PQ索引類型。

7.根據權利要求6所述的支持結構化數據和非結構數據混合查詢系統，其特征在于，所述向量索引庫還包括IVF_SQ8H及IVF_PQ，所述IVF_SQ8是在IVF的基礎上對放入單元里的每條向量做一次標量量化；所述IVF_PQ是先對向量做乘積量化，然后進行IVF索引聚類。

8.根據權利要求6所述的支持結構化數據和非結構數據混合查詢系統，其特征在于，所述用戶請求包括插入請求及檢索請求；

當為插入請求時，任務調度模塊將請求傳給存儲模塊，存儲模塊將結構化數據存放在MySQL便于查詢，而非結構化數據保存在內存和磁盤中；

當為檢索請求時，若要檢索的數據里符合結構化條件的數據大于百分之三十就直接先檢索然后再過濾符合結構化條件的數據；若檢索的數據里符合結構化條件的數據小于百分之三十，則先過濾出這些符合結構化條件的數據再進行檢索；對于非結構化數據，在系統運行之前會配置一種非結構化數據檢索引擎，檢索時先找出要檢索數據索引的中心向量，將目標非結構化數據與索引的中心向量對比，得出相似度較高的索引的中心向量，再將目標非結構化數據與相似度較高的索引的中心向量簇中的數據對比。

9.一種用于如權利要求1～8任一項所述的支持結構化數據和非結構數據混合查詢系統的方法，其特征在于，包括：

采用接入模塊對外暴露客戶端連接的終端，處理客戶端鏈接，進行用戶請求的靜態驗證和基本的動態檢查，完成向其他系統組件內組合調用獲取操作結果并向客戶端返回；

采用任務調度模塊計算單元負載均衡、控制任務執行順序、時間戳生成、數據聲明及數據管理；

采用數據存儲模塊構建數據在內存和磁盤里的存儲方式，記錄數據的存儲位置，使系統能檢索到想要的數據；

通過檢索引擎集成MySQL和Faiss形成向量索引庫，以負責對結構化數據和非結構化數據的檢索。