[發明專利]一種數據實時同步方法及系統

在審

• 申請號: 201810103725.1
• 申請日: 2018-02-01
• 公開（公告）號: CN108763234A
• 公開（公告）日: 2018-11-06
• 發明（設計）人: 吳前東
• 申請（專利權）人: 寶付網絡科技（上海）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海海鈞知識產權代理事務所(特殊普通合伙) 31330
• 代理人: 張曉煜

1.一種數據實時同步方法，其特征在于，包括以下步驟：

S10：實時獲取原始數據所在數據庫的增量日志；

S20：對所述增量日志進行數據接入處理；

S30：對所述數據接入處理得到的數據進行數據提取處理；

S40：對所述數據提取處理得到的數據進行數據轉換處理；

S50：對所述數據轉換處理得到的數據進行數據載入處理，從而將所述原始數據實時同步至數據平臺、分布式數據庫以及分布式文件系統中的一種或多種。

2.如權利要求1所述的數據實時同步方法，其特征在于：

步驟S10中，將所述原始數據所在數據庫作為主數據庫，通過一從數據庫獲取所述主數據庫的增量日志。

3.如權利要求1所述的數據實時同步方法，其特征在于：

步驟S10中，通過一增量數據訂閱和消費中間件獲取所述原始數據所在數據庫的增量日志。

4.如權利要求1所述的數據實時同步方法，其特征在于：

步驟S20～步驟S50通過一同步任務調度中間件實現。

5.如權利要求4所述的數據實時同步方法，其特征在于：

所述同步任務調度中間件包括管理模塊和工作節點模塊，其中所述管理模塊推送同步配置到所述工作節點，所述工作節點將同步狀態反饋給所述管理模塊。

6.如權利要求5所述的數據實時同步方法，其特征在于：

所述工作節點模塊包括多個工作節點，所述同步任務調度中間件還包括分布式應用程序協調模塊，其協調多個工作節點之間的協同工作。

7.一種數據實時同步系統，其特征在于，包括從數據庫和同步任務調度中間件，所述同步任務調度中間件包括管理模塊和工作節點模塊，所述工作節點模塊包括數據接入模塊、數據提取模塊、數據轉換模塊以及數據載入模塊，其中：

所述管理模塊推送同步配置到所述工作節點，所述工作節點將同步狀態反饋給所述管理模塊；

所述原始數據所在數據庫作為主數據庫，所述從數據庫獲取所述主數據庫的增量日志；

所述數據接入模塊對所述增量日志進行數據接入處理；

所述數據提取模塊對所述數據接入處理得到的數據進行數據提取處理；

所述數據轉換模塊對所述數據提取處理得到的數據進行數據轉換處理；

所述數據載入模塊對所述數據轉換處理得到的數據進行數據載入處理，從而將所述原始數據實時同步至數據平臺、分布式數據庫以及分布式文件系統中的一種或多種。

8.如權利要求7所述的數據實時同步系統，其特征在于：

所述工作節點模塊包括多個工作節點，所述同步任務調度中間件還包括分布式應用程序協調模塊，其協調多個工作節點之間的協同工作。

9.一種數據實時同步系統，其特征在于，包括增量數據訂閱和消費中間件和同步任務調度中間件，所述同步任務調度中間件包括管理模塊和工作節點模塊，所述工作節點模塊包括數據接入模塊、數據提取模塊、數據轉換模塊以及數據載入模塊，其中：

所述管理模塊推送同步配置到所述工作節點，所述工作節點將同步狀態反饋給所述管理模塊；

所述增量數據訂閱和消費中間件獲取所述原始數據所在數據庫的增量日志；

所述數據接入模塊對所述增量日志進行數據接入處理；

所述數據提取模塊對所述數據接入處理得到的數據進行數據提取處理；

所述數據轉換模塊對所述數據提取處理得到的數據進行數據轉換處理；

所述數據載入模塊對所述數據轉換處理得到的數據進行數據載入處理，從而將所述原始數據實時同步至數據平臺、分布式數據庫以及分布式文件系統中的一種或多種。

10.如權利要求9所述的數據實時同步系統，其特征在于：

所述工作節點模塊包括多個工作節點，所述同步任務調度中間件還包括分布式應用程序協調模塊，其協調多個工作節點之間的協同工作。