[發明專利]一種分布式內存數據查詢優化的方法和設備

在審

• 申請號: 202110924866.1
• 申請日: 2021-08-12
• 公開（公告）號: CN113568930A
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 劉睿民
• 申請（專利權）人: 威訊柏睿數據科技（北京）有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/2458;G06F16/23;G06F16/27
• 代理公司: 北京睿博行遠知識產權代理有限公司 11297
• 代理人: 申超平

本發明公開了一種分布式內存數據查詢優化的方法和設備，應用于包括多個并行連接的內存數據庫的分布式系統中，當存在至少一個數據源接入系統且接收到數據查詢請求時，根據數據查詢請求生成查詢計劃；若已連接數據源的連接器的數量為多個，根據智能化優化算法庫對所述的查詢計劃進行優化，并將通過所述智能優化算法庫將所述執行計劃分解為與各個數據源對應的多個子查詢計劃；基于多個連接器將各子查詢計劃分別下推至各數據源查詢；基于各連接器從各數據源獲取與各子查詢計劃對應的多個初步數據；根據多個初步數據獲取與查詢請求對應的結果數據，并將結果數據返回用戶或應用，從而在避免投入較高成本的基礎上，提高了對不同數據源進行數據查詢的效率和安全性。

技術領域

本申請涉及數據庫技術領域，更具體地，涉及一種分布式內存數據查詢優化的方法和設備。

背景技術

多源異構數據實時性查詢是政府部門和企業提升自身服務能力、業務效率、用戶滿意度、市場競爭力和應收等不可或缺的基礎數據處理能力。尤其是隨著大數據時代的到來和各行各業的數字化發展，大規模數據并行處理、海量數據共享和快速查詢為電商、移動、政府等行業用戶的業務飛快發展帶來了巨大收益。然而，數據量爆發式增長、數據類型日益繁雜，以及最終用戶量和業務量的快速增長，使得用戶采用現有技術的數據庫管理系統在面向多源異構數據高并發查詢的響應效率越來越無法滿足業務的實時性要求，查詢效率伴隨數據量和并發量急劇增長而急劇下降，很大程度影響了用戶的業務發展及最終用戶的使用體驗。因此，在實現多源異構數據統一連接和共享的基礎上，如何提升海量多源異構數據的查詢效率成為許多行業用戶面臨的新挑戰，而現有同類技術因技術本身瓶頸、缺少優化算法等不同原因都無法盡如人意。

根據發明人對行業內相關技術的了解，與本方案相關的方案有兩種，分別為“基于本地數據庫系統的多源異構數據查詢的方法及系統”和“基于跨源異構連接技術的簡單SQL下推的數據查詢的方法及系統”。其中：

1、基于本地數據庫系統的多源異構數據查詢的方法及系統。

如圖1所示，基于本地數據庫系統的多源異構數據查詢的方法及系統是通過構建本地數據庫系統，前期將多源異構數據源中的大規模數據遷移至本地數據庫系統中存儲，后期再通過數據同步或異步備份的方式，保持本地數據庫系統中的數據與數據源中結果數據的更新。該方法及系統在處理用戶查詢請求時，只需要將用戶提交的SQL語句進行解析、優化并生成執行，在本地數據庫系統中執行，獲取符合查詢條件的結果數據反饋給用戶。

該方法及系統很好地解決了多源異構數據的統一查詢問題，且計算資源充足的情況下，查詢效率也較快。但受到實現機制和路徑的影響，該方法及系統一方面需要花費高昂的成本建設本地數據庫系統，且隨著數據源和結果數據量的增長本地數據庫系統還需要不斷升級擴容，成本還會持續增長，一旦升級不及時或容量不足，系統的查詢效率將受到嚴重影響。另一方面，盡管本地數據庫系統的數據能夠通過同步和異步備份的方式實現更新，但是更新總有一定的時間間隔，這意味著用戶在查詢時無法獲取實時更新的結果數據，也就難以在第一時間獲取市場、業務等數據，并根據這些數據為企業或業務發展做出精準決策。因此，雖然該方法及系統查詢效率較高，但因數據更新帶來的延遲導致查詢的結果并不能體現現實最新的實時動態變化，難以為企業級用戶的業務決策提供有效可靠精準的支撐，且高昂的建設成本很多用戶也難以承擔。

2、基于跨源異構連接技術的簡單SQL下推的數據查詢的方法及系統。

如圖2所示，基于跨源異構連接技術的簡單SQL下推的數據查詢的方法及系統，該方法及系統與本專利十分類似，同樣是基于多源異構數據源統一連接技術實現的方法及系統，即實現多個不同類型數據源的連接和查詢不需要構建本地數據庫系統，通過簡單的SQL下推功能即可完成多源異構數據的統一共享和查詢，且每次查詢都是從數據源獲取實時更新的結果數據，確保了查詢結果是實時更新的數據。但不同的是，該方法及系統在處理的過程中，系統在將用戶提交的SQL語句解析成查詢計劃后，直接將全部的查詢計劃同步下推至與該系統連接的每個數據源執行，這就意味無論數據源中是否存在與查詢條件相關的數據，或數據源中只存在滿足一部分查詢條件的數據，全部的查詢計劃都將在每個數據源中全部執行。