[發明專利]一種支持結構化數據和非結構數據混合查詢系統及方法

在審

• 申請號: 202111154175.4
• 申請日: 2021-09-29
• 公開（公告）號: CN114201488A
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 李今鳴
• 申請（專利權）人: 武漢眾智數字技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25;G06F16/28;G06F16/31;G06F16/335;G06F16/35;G06F9/48;G06F9/50
• 代理公司: 北京匯澤知識產權代理有限公司 11228
• 代理人: 鄭飛

本發明屬于數據檢索技術領域，具體提供一種支持結構化數據和非結構數據混合查詢系統及方法，其中系統包括：接入模塊，用于對外暴露客戶端連接的終端，負責處理客戶端鏈接，進行用戶請求的靜態驗證和基本的動態檢查，完成向其他系統組件內組合調用獲取操作結果并向客戶端返回；任務調度模塊，用于負責計算單元負載均衡、控制任務執行順序、時間戳生成、數據聲明及數據管理；數據存儲模塊，用于負責構建數據在內存和磁盤里的存儲方式，記錄數據的存儲位置；檢索引擎，用于集成MySQL和Faiss形成向量索引庫，以負責對結構化數據和非結構化數據的檢索。該方案可以在限定構化數據條件的前提下，快速地檢索出非結構化數據特征值的相似度排名。

技術領域

本發明涉及數據檢索技術領域，更具體地，涉及一種支持結構化 數據和非結構數據混合查詢系統及方法。

背景技術

結構化數據是指常見int、float、string等類型數據，結構化數據也 稱作行數據，是由二維表結構來邏輯表達和實現的數據，嚴格地遵循 數據格式與長度規范，主要通過Oracle、DB2、MySQL等關系型數據庫 進行存儲和管理。非結構化數據是數據結構不規則或不完整，沒有預 定義的數據模型，不方便用數據庫二維邏輯表來表現的數據。包括所 有格式的辦公文檔、文本、圖片、XML，HTML、各類報表、圖像和 音頻/視頻信息等等。這些非結構化數據出現在各特殊行業中，比如安 防中記錄出現行人特征，生物醫藥中記錄藥物特征等。

隨著大數據、人工智能等技術的發展，數字化進程不斷加速，海 量大數據洶涌而來，我們步入了數據智能應用的時代。辦公文檔、郵 件、圖片、研究報告、法律法規、各類報表、音頻/視頻信息這些非結 構化數據成為企業數據主要形態。而傳統的結構化數據早已在生活中 隨處可見，當下一款能支持結構化數據和非結構數據混合查詢系統已 經必不可少。

發明內容

本發明需要解決的是現有技術中存在的缺乏能支持結構化數據和 非結構數據混合查詢系統的技術問題。

本發明提供了一種支持結構化數據和非結構數據混合查詢系統， 包括：

接入模塊，用于對外暴露客戶端連接的終端，負責處理客戶端鏈 接，進行用戶請求的靜態驗證和基本的動態檢查，完成向其他系統組 件內組合調用獲取操作結果并向客戶端返回；

任務調度模塊，用于負責計算單元負載均衡、控制任務執行順序、 時間戳生成、數據聲明及數據管理；

數據存儲模塊，用于負責構建數據在內存和磁盤里的存儲方式， 記錄數據的存儲位置，使系統能檢索到想要的數據；

檢索引擎，用于集成MySQL和Faiss形成向量索引庫，以負責對結 構化數據和非結構化數據的檢索。

優選地，所述接入模塊包括GRPC接口和HTTP接口。

優選地，所述任務調度模塊設有硬盤源、CPU源及GPU源，各源 均包含一個任務隊列、一個任務加載項Loader和一個執行項Executor， Loader負責將任務隊列中的任務數據加載到當前設備上，Executor負責 執行已加載任務的搜索，所述Loader和Executor共享同一個任務隊列。

優選地，所述數據存儲模塊用于在內存里開辟一塊空間作為可寫 緩沖，數據直接寫入可寫緩沖里，當積累到一定數據量之后，該可寫 緩沖就會被標記為只讀緩沖，只讀緩沖被定時寫入磁盤，并且會自動 開辟新的可寫緩沖等待新的數據寫入。

優選地，所述數據存儲模塊還用于將寫滿后形成的大小不一的磁 盤進行合并得到大文件，所述大文件的大小不小于1GB。

優選地，所述向量索引庫包括FLAT索引類型、IVF索引類型及PQ 索引類型。