[發明專利]一種分布式云數據集中處理方法

在審

• 申請號: 202011122202.5
• 申請日: 2020-10-20
• 公開（公告）號: CN112231406A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 谷潤東
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/22;G06F16/28
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 孫晶偉

本發明公開一種分布式云數據集中處理方法，涉及數據處理技術領域；利用Mysql的縱向與橫向擴展的形式進行數據拆分存儲，使數據庫集群分別處理相關分類的數據，利用Canal將數據采集節點部署到分布式云，進行數據自動增量采集，并通過kafka進行數據實時傳輸，通過區分不同的數據類型實現數據自動分類，將自動分類處理后的數據異步通知分攤到分布式云的不同節點進行并行多線程數據計算。

技術領域

本發明公開一種處理方法，涉及數據處理技術領域，具體地說是一種分布式云數據集中處理方法。

背景技術

云計算業務支撐系統(Business Support Systems，簡稱BSS)，是一種業務中臺，它對內與IaaS、PaaS應用對接，對外為企業用戶、個人用戶、政府用戶服務。隨著近幾年云計算的高速發展，云系統從單一的私有云發展到公有云，最后發展到分布式云，規模不斷擴大，為了對所有節點的云服務提供業務支撐(包含私有云、公有云、工業互聯網等)，出現了集中性的中心節點管理系統(簡稱MBSS),負責統一的管理標準數據，收集業務數據，承擔著業務大腦的功能。

數據庫技術與消息通信技術是MBSS的核心技術，解決海量數據存儲與高效查詢的問題，并需要處理消息通信，還有數據容災與恢復等重要功能。在業務飛速增長的背景下，相關的數據表為TB級別，每日新增為千萬級別，對MBSS整體的數據集中處理需求非常大，然而現有的方法受數據壁壘、計算邏輯、網絡結構等多個方面的限制，在數據急劇增加的背景下不再適用，不能有效處理現有數據。

發明內容

本發明針對現有技術的問題，提供一種分布式云數據集中處理方法，結合mysql技術，為云計算支撐平臺提供最強大的數據支撐與極佳的速度體驗，使數據發揮更大的價值。

本發明提出的具體方案是：

一種分布式云數據集中處理方法：利用Mysql的縱向與橫向擴展的形式進行數據拆分存儲，使數據庫集群分別處理相關分類的數據，

利用Canal將數據采集節點部署到分布式云，進行數據自動增量采集，并通過kafka進行數據實時傳輸，通過區分不同的數據類型實現數據自動分類，

將自動分類處理后的數據異步通知分攤到分布式云的不同節點進行并行多線程數據計算。

優選地，所述的一種分布式云數據集中處理方法中利用Mysql進行數據的分表拆分存儲，包括垂直分表存儲和水平分表存儲，垂直分表存儲對同一個業務的數據列拆分存儲到多張表，水平分表存儲按照數據的字段的取值不同將數據劃分到不同的數據表中。

優選地，所述的一種分布式云數據集中處理方法中利用mycat代理中間件進行水平分表存儲。

優選地，所述的一種分布式云數據集中處理方法中通過rabbitmq技術對數據進行分發到分布式云的不同節點，通過java的ForkJoinThreadPool實現多線程業務數據的生產。

優選地，所述的一種分布式云數據集中處理方法中利用Mysql定時對數據庫進行增量備份，并在異常時進行數據恢復。

優選地，所述的一種分布式云數據集中處理方法中通過Mysql使用xtrabackup工具定時對數據庫進行增量備份，并根據數據恢復指令獲取發生誤操作的二進制日志的日志點在異常時進行數據恢復。

一種分布式云數據集中處理系統，包括拆分存儲模塊、采集分類模塊、分發模塊及計算模塊，

拆分存儲模塊利用Mysql的縱向與橫向擴展的形式進行數據拆分存儲，使數據庫集群分別處理相關分類的數據，

采集分類模塊利用Canal將數據采集節點部署到分布式云，進行數據自動增量采集，并通過kafka進行數據實時傳輸，通過區分不同的數據類型實現數據自動分類，