[發明專利]可視化數據同步方法、系統、終端和計算機可讀存儲介質

有效

• 申請號: 201911347664.4
• 申請日: 2019-12-24
• 公開（公告）號: CN111125065B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: 宋麗娟;冷英英;樊士卜;王宇航
• 申請（專利權）人: 陽光人壽保險股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23;G06F16/26;G06F16/27
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 梁韜

1.一種可視化數據同步方法，其特征在于，包括：

根據用戶在可視化任務配置界面中配置的配置數據生成對應的數據同步任務并發送給執行器，所述配置數據包括源端信息、目標端信息和數據同步條件，所述數據同步條件包括設定的任務同步類型；

若所述任務同步類型為非實時同步，所述執行器根據所述源端信息確定及連接源數據庫，并按照所述數據同步條件將所述源數據庫中的數據發送至由所述目標端信息確定的目標數據表中，以完成所述數據同步任務；

若所述任務同步類型為實時同步，所述數據同步條件還包括指定的分發器，每一分發器預先關聯對應的消息處理器；

在所述執行器初次執行完所述數據同步任務后，對所述源數據庫中的數據變化進行實時消息監聽；

每當監聽到有數據變化的消息時，通知所述指定的分發器將包含更新數據的消息分發給對應的消息處理器，以使所述消息處理器將所述更新數據更新至所述目標數據表中。

2.根據權利要求1所述的可視化數據同步方法，其特征在于，還包括：

在所述消息處理器將所述更新數據更新至所述目標數據表中時，監控所述更新的結果是否為預設異常狀態；

若監控到預設異常狀態，則觸發對所述更新數據的逐條補處理操作。

3.根據權利要求1或2的可視化數據同步方法，其特征在于，所述數據同步條件還包括設定的并發任務數和拆分字段，若所述并發任務數大于1，所述方法還包括：

根據所述拆分字段生成所述并發任務數數量的數據同步任務并分別發送給對應數量的執行器以進行任務并發執行。

4.根據權利要求1或2的可視化數據同步方法，其特征在于，所述數據同步條件還包括設定的分區字段和分區策略，所述方法還包括：

根據所述分區字段和所述分區策略對目標數據表進行劃分，得到多個分區以用于存儲來自所述源數據庫中的數據。

5.根據權利要求1所述的可視化數據同步方法，其特征在于，所述可視化任務配置界面包括源端配置區域、目標端配置區域和數據同步配置區域；其中，

所述源端配置區域設有源庫IP待配置項、源庫類型待配置項、源庫實例名待配置項、源庫表名待配置項、源庫用戶名待配置項和源庫密碼待配置項；

所述目標端配置區域設有目標庫類型待配置項、目標庫名待配置項、目標庫表名待配置項、目標庫用戶名待配置項和目標庫密碼待配置項；

所述數據同步配置區域設有任務同步類型待配置項和并發任務數待配置項。

6.根據權利要求5所述的可視化數據同步方法，其特征在于，所述源端信息中包含的源庫類型為MySQL數據庫或Oracle數據庫；所述目標端信息中包含的目標庫類型為Hbase數據庫、Kudu數據庫或HDFS數據庫。

7.一種可視化數據同步系統，其特征在于，包括：

可視化任務配置模塊，用于根據用戶在可視化任務配置界面中配置的配置數據生成對應的數據同步任務并發送給執行器，所述配置數據包括源端信息、目標端信息和數據同步條件，所述數據同步條件包括設定的任務同步類型；

任務同步執行模塊，用于若所述任務同步類型為非實時同步，所述執行器根據所述源端信息確定及連接源數據庫，并按照所述數據同步條件將所述源數據庫中的數據發送至由所述目標端信息確定的目標數據表中，以完成所述數據同步任務；

任務同步執行模塊，還用于若所述任務同步類型為實時同步，所述數據同步條件還包括指定的分發器，每一分發器預先關聯對應的消息處理器；在所述執行器初次執行完所述數據同步任務后，對所述源數據庫中的數據變化進行實時消息監聽；每當監聽到有數據變化的消息時，通知所述指定的分發器將包含更新數據的消息分發給對應的消息處理器，以使所述消息處理器將所述更新數據更新至所述目標數據表中。

8.一種終端，其特征在于，所述終端包括處理器和存儲器，所述存儲器存儲有計算機程序，所述處理器用于執行所述計算機程序以實施權利要求1-6中任一項所述的可視化數據同步方法。

9.一種計算機可讀存儲介質，其特征在于，包括：其存儲有計算機程序，在所述計算機程序被執行時，實施根據權利要求1-6中任一項所述的可視化數據同步方法。