[發明專利]用于多集群的數據匯集系統和方法

在審

• 申請號: 202110138793.3
• 申請日: 2021-02-01
• 公開（公告）號: CN112861188A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 徐浩
• 申請（專利權）人: 青島易來智能科技股份有限公司
• 主分類號: G06F21/64
• 分類號: G06F21/64;G06F16/27
• 代理公司: 青島清泰聯信知識產權代理有限公司 37256
• 代理人: 李祺

本發明提出一種用于多集群的數據匯集系統及方法，數據匯集系統包括：一主集群和至少一分集群，主集群輸出數據匯集請求至所述分集群，分集群根據數據匯集請求對原始數據文件進行處理后獲得壓縮文件和第一簽名文件并發送至主集群，主集群對第一簽名文件進行驗證，驗證成功后主集群裝載原始數據文件。本發明解決了現有多集群數據之間相互隔離，從而導致無法統一匯聚起來進行數據分析的問題。

技術領域

本發明涉及數據同步技術領域，具體地說，尤其涉及一種用于多集群的數據匯集系統和方法。

背景技術

集群(cluster)技術是一種較新的技術，通過集群技術，可以在付出較低成本的情況下獲得在性能、可靠性、靈活性方面的相對較高的收益，其任務調度則是集群系統中的核心技術。集群是一組相互獨立的、通過高速網絡互聯的計算機，它們構成了一個組，并以單一系統的模式加以管理。一個客戶與集群相互作用時，集群像是一個獨立的服務器。集群配置是用于提高可用性和可縮放性。

隨著互聯網服務的高速發展，企業組織在提供互聯網服務時，為了提高服務響應速度，或者為了部分敏感數據合規，通常采用集群技術會在多國家甚至多洲建立多個業務獨立的數據中心，即多集群架構。

但是在實際使用中發現，由于每一個數據中心都是獨立的，因而在企業組織需要進行統一數據分析時，這些多集群數據之間相互隔離，從而導致無法統一匯聚起來進行數據分析。例如，存在多個跨州或跨境的數據中心集群，每個集群日產生數據量達到幾個T，現有的多個數據中心數據匯集通常采用實時同步匯集，即分集群接收到一條消息，會通過跨州網絡同步給主集群，在數據同步過程中，因為距離遠，網絡抖動等原因經常出現數據不一致的情況，從而無法統一匯聚起來進行數據分析。

因此，亟需開發一種克服上述缺陷的用于多集群的數據匯集系統和方法，以解決現有數據匯集方法由于距離遠、網絡抖動等原因導致的分集群與主集群數據不一致，以及實時同步匯集未壓縮數據導致浪費帶寬和流量的技術問題。

發明內容

本申請實施例提供了一種用于多集群的數據匯集系統和方法，以至少解決現有數據匯集方法由于距離遠、網絡抖動等原因導致的分集群與主集群數據不一致，以及實時同步匯集未壓縮數據導致浪費帶寬和流量的技術問題。

第一方面，本申請實施例提供了一種用于多集群的數據匯集系統，其中，包括：一主集群和至少一分集群，所述主集群輸出數據匯集請求至所述分集群，所述分集群根據所述數據匯集請求對原始數據文件進行處理后獲得壓縮文件和第一簽名文件并發送至所述主集群，所述主集群對所述第一簽名文件進行驗證，驗證成功后所述主集群裝載所述原始數據文件。

上述的數據匯集系統，其中，每一所述分集群包括：

分集群數據中心，存儲所述原始數據文件；

分集群數據接口服務，根據所述數據匯集請求調取所述分集群數據中心存儲的所述原始數據文件，并對所述原始數據文件進行壓縮處理獲得所述壓縮文件，所述分集群數據接口服務還對所述原始數據文件進行MD5計算獲得所述第一簽名文件。

上述的數據匯集系統，其中，所述主集群包括：

主集群數據中心，輸出所述數據匯集請求至所述分集群數據接口服務；

主集群數據接口服務，對所述第一簽名文件進行驗證，驗證成功后所述主集群數據接口服務將所述原始數據文件裝載至所述主集群數據中心。

上述的數據匯集系統，其中，所述主集群數據接口服務對所述壓縮文件進行解壓處理獲得所述原始數據文件，所述主集群數據接口服務對所述原始數據文件進行MD5計算獲得第二簽名文件，所述主集群數據接口服務將所述第一簽名文件與所述第二簽名文件進行比對生成比對結果。