[發明專利]基于高頻數據處理進行數據并行查詢加速的方法和設備

在審

• 申請號: 202211295449.6
• 申請日: 2022-10-21
• 公開（公告）號: CN115809258A
• 公開（公告）日: 2023-03-17
• 發明（設計）人: 王碩;亢瑞卿;杜國超;蘇鵬;李達;亢志邦
• 申請（專利權）人: 北京開運聯合信息技術集團股份有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/248;G06F16/27
• 代理公司: 南京華恒專利代理事務所(普通合伙) 32335
• 代理人: 裴素艷

1.一種基于高頻數據處理進行數據并行查詢加速的方法，其特征在于，包括以下步驟：

步驟S1、基于云端服務器模塊搭建第一集群、第二集群和第三集群，其中第一集群包括一個第一主節點和若干個第一從屬節點，第二集群包括一個第二主節點和若干個第二從屬節點，第三集群包括一個第三主節點和若干個第三從屬節點；

步驟S2、對步驟S1中的第一從屬節點、第二從屬節點和第三從屬節點建立分布式數據庫，其中第一從屬節點用于儲存高頻數據，第二從屬節點用于儲存低頻率數據，第三從屬節點用于儲存大規模靜態數據；

步驟S3、用戶向接收模塊發送數據查詢請求，接收模塊將查詢請求發送給判斷推送模塊，判斷推送模塊將數據查詢請求發送給第一主節點，第一主節點中不存在匹配數據，判斷推送模塊將數據查詢請求推送給第二主節點，第二主節點中不存在匹配數據，判斷推送模塊將數據查詢請求推送給第三主節點，直至查詢結果反饋給用戶查看模塊；

步驟S4、當步驟S3中第一主節點接收判斷推送模塊發送的數據查詢請求并生成執行計劃，同時執行計劃分成若干份，分別發送給不同的第一從屬節點進行查詢，然后將各個第一從屬節點將查詢結果匯總到第一主節點；當第一從屬節點沒有查詢到結果時，判斷推送模塊將數據查詢請求發送給第二主節點并生成執行計劃，同時執行計劃分成若干份，分別發送給不同的第二從屬節點進行查詢，然后將各個第二從屬節點將查詢結果匯總到第二主節點；當第二從屬節點沒有查詢到結果時，判斷推送模塊將數據查詢請求發送給第三主節點并生成執行計劃，同時執行計劃分成若干份，分別發送給不同的第三從屬節點進行查詢，然后將各個第三從屬節點將查詢結果匯總到第三主節點。

2.根據權利要求1所述的一種基于高頻數據處理進行數據并行查詢加速的方法，其特征在于：所述步驟S1中第三從屬節點按負載均衡均勻存儲存放原始數據。

3.根據權利要求1所述的一種基于高頻數據處理進行數據并行查詢加速的方法，其特征在于：所述步驟S2中高頻數據為訪問頻率大于數據調整模塊中的預設頻率閾值的數據，低頻率數據為訪問頻率大于零且小于數據調整模塊中的預設頻率閾值的數據，大規模靜態數據為訪問頻率為零的數據。

4.根據權利要求3所述的一種基于高頻數據處理進行數據并行查詢加速的方法，其特征在于：所述數據調整模塊根據原始數據訪問頻率，將相應的原始數據按負載均衡進行分組后自動分配調整到對應的第一從屬節點、第二從屬節點和第三從屬節點。

5.根據權利要求3所述的一種基于高頻數據處理進行數據并行查詢加速的方法，其特征在于：所述數據調整模塊中的預設頻率閥值通過用戶或員工進行認為設定。

6.根據權利要求1所述的一種基于高頻數據處理進行數據并行查詢加速的方法，其特征在于：所述判斷推送模塊的數據查詢請求利用RMI方法送至第一集群、第二集群和第三集群中的各個節點進行分布式查詢。

7.一種基于高頻數據處理進行數據并行查詢加速的設備，包括云端服務器模塊、接收模塊、判斷推送模塊、數據調整模塊和用戶查看模塊，其特征在于：所述云端服務器模塊用于搭建第一集群、第二集群和第三集群，且第一集群、第二集群和第三集群每個都包含一個主控節點和若干個從屬節點；

所述接收模塊用于接收用戶發送的數據查詢請求，其中查詢請求中攜帶查詢條件；

所述判斷推送模塊用于接收接收模塊中的數據查詢請求，并根據查詢請求生成執行計劃，再將執行計劃分成若干份，并依次判斷執行計劃在第一從屬節點、第二從屬節點和第三從屬節點中是否查詢到結果；

所述數據調整模塊用于對原始數據進行實時調整分類，其中訪問頻率大于數據調整模塊中的預設頻率閾值的數據為高頻率數據，訪問頻率大于零且小于預設頻率閾值的數據為低頻率數據，大規模靜態數據為訪問頻率為零的數據；

所述用戶查看模塊用于用戶查看第一主節點、第二主節點或第三主節點中滿足查詢條件的查詢結果。