[發明專利]一種基于內存計算對數據源進行數據查詢的方法和設備

在審

• 申請號: 202110924867.6
• 申請日: 2021-08-12
• 公開（公告）號: CN113568892A
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 劉睿民
• 申請（專利權）人: 威訊柏睿數據科技（北京）有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/242;G06F16/2458;G06F16/25;G06F16/27;G06F11/14
• 代理公司: 北京睿博行遠知識產權代理有限公司 11297
• 代理人: 申超平

本發明公開了一種基于內存計算對數據源進行數據查詢的方法和設備，應用于包括多個并行連接的內存數據庫的分布式系統中，當存在至少一個數據源接入系統且接收到數據查詢請求時，根據數據查詢請求生成執行計劃；若已連接數據源的連接器的數量為多個，基于多個所述連接器將執行計劃分別下推至各數據源執行；基于各連接器從各數據源獲取與所述執行計劃對應的多個初步數據；根據多個初步數據獲取與查詢請求對應的結果數據，并將結果數據返回用戶或應用；其中，連接器是用于連接系統與各數據源的進程，連接器是根據數據源的類型創建的，從而在避免投入較高成本的基礎上，提高了對不同數據源進行數據查詢的效率和安全性。

技術領域

本申請涉及數據庫技術領域，更具體地，涉及一種基于內存計算對數據源進行數據查詢的方法和設備。

背景技術

隨著互聯網、物聯網的快速發展，各種智能終端設備的廣泛應用，以及數據處理技術的創新日新月異，數據對當今社會進步、經濟發展和企業業務數字化升級等所帶來的價值越來越凸顯，如精準營銷、實時監測、實時預警、趨勢預測等。然而，在人們享受數據價值的同時，也同時面臨一個問題：數據以多種格式和存儲方式出現，數據源越來越多、數據量越來越龐大、數據類型也更加繁雜，如有些數據源是文本文件，有些數據源是Key-Value數據庫，有的數據源是關系型數據庫，有的數據源是NoSQL及數據倉庫，而有些數據源是一些智能終端設備實時產生的持續數據流。面對龐大的數據量以及各異的數據源，往往需要使用各數據源提供的連接客戶端進行單獨訪問，無法使用一個連接對多個數據源進行同時訪問，也無法在一次連接中將不同的數據源中的數據進行關聯。因此，跨多種異構數據源的數據統一連接已經成為多數據源連接面臨的一大關鍵問題。

由于存儲結構及數據格式不同，如圖1所示，現有技術中一般通過構建本地數據庫系統對不同數據源進行訪問。構建本地數據源首先需要購買較多的服務器、存儲等硬件設備，及操作系統、數據庫管理系統、中間件等軟件，在本地完成數據庫庫系統的軟硬件平臺建設。本地數據庫管理系統建成后，通過ETL工具、數據遷移、數據同步復制或數據異步備份等方式，完成數據庫格式統一轉換后將不同數據源中的源數據統一存儲或更新到在本地數據源中。在訪問、處理或分析數據時，系統再將本地數據庫系統中的數據加載至內存中進行處理和分析，并將處理分析結果反饋給用戶，從而完成跨不同數據源的數據訪問、處理和分析。在沒有更好的方法之前，該方法及系統解決多數據源數據共享、訪問的難題，但該方法及系統存在如下三大問題：

（1）建設成本較高

該方法需要構建本地數據庫系統，以滿足不同數據源中源數據匯聚存儲的要求，因此需要購買軟、硬件設備，投入人力、財力和物力進行建設及后期運維，而且隨著數據量的增長，投入成本也會持續增長。這對對成本較為敏感的用戶來說，該方法的投入成本十分高昂，不符合企業的業務發展和能力要求。

（2）伴隨數據量增長，延遲愈加明顯

由于本地數據庫系統采用磁盤介質，以及數據使用時數據必須加載至內存后才能進行處理的處理機制，隨著數據量的增長，該方法及系統帶來的延遲也會呈線性增長，如用戶提交一個請求需要較長時間才能得到響應或結果反饋，企業或政府部門生成報表需要等待較長時間等，延遲往往達到小時級，最快也只能到分鐘級。在大數據時代，這樣的處理速度，顯然不能滿足用戶對數據實時處理、查詢和展示的時效性要求。

（3）數據安全存在風險

數據在由數據源遷移至本地數據庫系統的過程中可能會發生數據丟失或泄露，使得數據安全存在一定的風險。對用戶核心業務數據，如客戶信息、交易數據、核心業務數據等，該方法及系統本身很難為數據安全提供可靠保障。

（4）本地數據無法真正與源數據保持同步更新