[發明專利]基于高頻數據處理進行數據并行查詢加速的方法和設備

在審

• 申請號: 202211295449.6
• 申請日: 2022-10-21
• 公開（公告）號: CN115809258A
• 公開（公告）日: 2023-03-17
• 發明（設計）人: 王碩;亢瑞卿;杜國超;蘇鵬;李達;亢志邦
• 申請（專利權）人: 北京開運聯合信息技術集團股份有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/248;G06F16/27
• 代理公司: 南京華恒專利代理事務所(普通合伙) 32335
• 代理人: 裴素艷

本發明涉及大數據處理相關領域，具體為基于高頻數據處理進行數據并行查詢加速的方法和設備，本發明通過設置接收模塊和判斷推送模塊，用于接收和處理用戶的發出的數據查詢請求，其中數據查詢請求生成執行計劃，并由判斷推送模塊完成執行計劃對第一從屬節點中高頻數據查詢，而數據調整模塊對原始數據進行實時調整分類，訪問頻率大于數據調整模塊中的預設頻率閾值的數據為高頻率數據，再由用戶查看模塊將第一主節點中查詢結果展示給用戶，以此實現對高頻數據并行查詢性能、響應速度和大數據處理能力的提升，同時減少數據規模增長對高頻數據處理性能的影響，進而提供良好的擴展性、穩定性、靈活性和結果準確性。

技術領域

本發明涉及大數據處理相關領域，具體為基于高頻數據處理進行數據并行查詢加速的方法和設備。

背景技術

大規模靜態數據是指數據達到一定量的數據集合，能夠為精準決策提供支撐，是互聯網、終端智能設備等興起和普及的產物，數據量級別也有不同劃分，如TB級、PB級或ZB級。在大數據時代，其數據量級仍在快速增加。為滿足這種大規模數據存儲和處理需求，目前行業中廣泛采用分布式系統，將數據分散存儲在多臺獨立的數據節點(服務器設備)上。同時在此基礎上，引入了全內存計算技術，實現了內存既能處理數據，也能存儲數據，并基于內存計算技術將最初分布式系統采用的物理介質由磁盤替換成內存，推出了面向大規模規模的分布式全內存數據庫管理系統。

現有技術中分布式全內存數據庫管理系統具備非常靈活的擴展性和高效的數據處理能力，通過靈活擴展及多臺服務器設備共同分擔存儲和計算負荷，滿足大規模數據存儲的要求，保障系統具備更好的可靠性、可用性和可擴展性；憑借內存計算，該系統提供了最快的數據存取效率。

分布式全內存數據庫管理系統運行通過部署分布式集群來支撐，集群中有多個數據存儲節點和至少一個負責任務調度和資源管理的主節點。在處理數據查詢請求時，主節點負責接收用戶請求，并將任務分解下推至各個數據存儲節點上獲取數據塊，然后將數據塊合并成結果數據反饋給用戶。盡管相比單機處理和基于磁盤分布式系統，該系統已經在擴展性、處理性能、響應速度等方面均已得到極大改善和提升，但在數據量越來越大且增長迅速的應用場景中，在數據超過一定規模，在大規模數據中找到符合查詢條件的數據仍然需要消耗較長的時間，使得系統的查詢性能受到較大影響，響應效率也愈加偏離實時性。

由此可見，如何最大化保證大數據并行處理和查詢效率不受數據增長的影響，進而提升大數據并行處理和查詢效率，成為本領域技術人員亟待解決的技術問題。

發明內容

本發明的目的在于提供基于高頻數據處理進行數據并行查詢加速的方法和設備，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：一種基于高頻數據處理進行數據并行查詢加速的方法，其特征在于，包括以下步驟：

步驟S1、基于云端服務器模塊搭建第一集群、第二集群和第三集群，其中第一集群包括一個第一主節點和若干個第一從屬節點，第二集群包括一個第二主節點和若干個第二從屬節點，第三集群包括一個第三主節點和若干個第三從屬節點；

步驟S2、對步驟S1中的第一從屬節點、第二從屬節點和第三從屬節點建立分布式數據庫，其中第一從屬節點用于儲存高頻數據，第二從屬節點用于儲存低頻率數據，第三從屬節點用于儲存大規模靜態數據；

步驟S3、用戶向接收模塊發送數據查詢請求，接收模塊將查詢請求發送給判斷推送模塊，判斷推送模塊將數據查詢請求發送給第一主節點，第一主節點中不存在匹配數據，判斷推送模塊將數據查詢請求推送給第二主節點，第二主節點中不存在匹配數據，判斷推送模塊將數據查詢請求推送給第三主節點，直至查詢結果反饋給用戶查看模塊；