[發明專利]基于TeleDB和MySQL數據庫的分布式數據集成系統及方法

在審

• 申請號: 202110601919.6
• 申請日: 2021-05-31
• 公開（公告）號: CN113297034A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 陳知;吳宇星;林志強;鄭志浩;吳智元;葉海強;鄭國偉
• 申請（專利權）人: 中電福富信息科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/2458;G06F16/27
• 代理公司: 福州君誠知識產權代理有限公司 35211
• 代理人: 彭東

本發明公開基于TeleDB和MySQL數據庫的分布式數據集成系統及方法，系統包括設于管理平臺上的數據同步服務模塊、數據修復模塊、數據稽核模塊、數據遷移模塊和監控告警服務模塊，數據同步服務模塊負責實施的增量數據復制；數據修復模塊負責同步過程異常數據的修復和稽核數據的修復；數據稽核模塊負責檢查并保證數據的一致性；數據遷移模塊用于數據初始化和全量數據遷移以保證一致性；監控告警服務模塊負責監控系統的運行告警。本發明將分散、零亂、標準不統一的數據整合到一起進行集中管理和使用，具有資源集中管理，規范流程，統一操作，完善的監控體系，減少在這方面的人力投入和資源的投入，具體很好的經濟效應。

技術領域

本發明涉及分布式數據處理技術領域，尤其涉及基于TeleDB和MySQL數據庫的分布式數據集成系統及方法。

背景技術

目前同類的技術或者產品在底層的數據庫日志解析上技術上共通外，當涉及到業務方面，就不太適用于復雜的電信業務的分布式業務，數據庫集群多，數據量大，穩定性和實時性要求高，需適配電信集團自研組件，同時也存在監控運維等生產問題，這個在同類的技術或者產品上都不具備。

發明內容

本發明的目的在于提供基于TeleDB和MySQL數據庫的分布式數據集成系統及方法，用于解決TeleDB和MySQL的分布式數據庫集群，在多個應用中心間的復雜的數據交互和分享的問題。

本發明采用的技術方案是：

基于TeleDB和MySQL數據庫的分布式數據集成系統，系統包括設于管理平臺上的數據同步服務模塊、數據修復模塊、數據稽核模塊、數據遷移模塊和監控告警服務模塊，數據同步服務模塊負責實施的增量數據復制；數據修復模塊負責同步過程異常數據的修復和稽核數據的修復；數據稽核模塊負責檢查并保證數據的一致性；數據遷移模塊用于數據初始化和全量數據遷移以保證一致性；監控告警服務模塊負責監控系統的運行告警。

基于TeleDB和MySQL數據庫的分布式數據集成系統的控制方法，其包括以下步驟：

步驟1，管理平臺查詢應用數據庫的數據，并配置同步任務數據；

步驟2，管理平臺下發同步任務數據至數據同步服務模塊，并發起數據同步請求；

步驟3，數據同步服務模塊解析同步任務數據開始執行數據實時同步；

步驟4，判斷同步任務執行是否發生異常；是則，記錄異常數據，當觸發熔斷條件時下發任務熔斷指令并執行步驟5；否則，執行步驟6；

步驟5，監控告警服務模塊監控到同步異常數據，根據告警策略發出同步異常告警；

步驟6，通過數據稽核模塊進行稽核數據判斷同步數據是否發現數據差異；是則，向數據修復模塊發起數據修復并執行步驟7；否則，執行步驟8

步驟7，數據修復模塊收到修復任務后執行數據修復任務，完成數據修復后執行步驟6；

步驟8，結束完成數據集成應用。

進一步地，作為一種較優實施方式，步驟1中管理平臺通過主從切換變更對應的監控數據庫。

進一步地，作為一種較優實施方式，步驟1中管理平臺監控發現同步數據異常時，則通知監控告警服務模塊發出異常告警。

進一步地，作為一種較優實施方式，步驟5中通過短信通知服務發出短信告警。

本發明采用以上技術方案，通過Binlog應用,整合數據倉庫ETL思路，將分散、零亂、標準不統一的數據整合到一起進行集中管理和使用，具有資源集中管理，規范流程，統一操作，完善的監控體系，減少在這方面的人力投入和資源的投入，具有很好的經濟效應，并且支撐集成電信應用的特性，集成了中國電信集群研發組件等現有技術不具備的特性，能夠很好支撐電信應用系統。高可靠，高性能特性滿足了大批量億級別數據的應用，除了能支撐除了電信應用外的系統支撐，涵蓋和超越了現有技術的應用，是現有技術不具備有的能力。

附圖說明