[發明專利]一種支持多數據源的數據同步方法、裝置及計算機設備

在審

• 申請號: 202111480115.1
• 申請日: 2021-12-06
• 公開（公告）號: CN114328722A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 張星亮;石昌義
• 申請（專利權）人: 深圳市六度人和科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 深圳盛德大業知識產權代理事務所(普通合伙) 44333
• 代理人: 張紅偉

本發明適用于數據處理技術領域，特別涉及一種支持多數據源的數據同步方法，包括如下步驟：獲取程序節點的負載值、作業的壓力指數和數據庫增量日志；根據所述負載值和所述壓力指數，將作業分配至對應的程序節點；根據所述數據庫增量日志，將分配好的所述作業放入對應的內存消息隊列進行并行解析；將并行解析出的增量數據寫入存儲消息隊列。本發明還提供一種支持多數據源的數據同步裝置、計算機設備及計算機可讀存儲介質。本發明實施例提供的支持多數據源的數據同步方法，可針對不同的業務，支持不同場景的安全配置和性能配置；同時，任務分配均勻，盡可能使每個節點的計算機資源既不浪費也不空閑。

技術領域

本發明屬于數據處理領域，尤其涉及一種支持多數據源的數據同步方法、裝置、計算機設備及計算機可讀存儲介質。

背景技術

數據處理是對數據的采集、傳輸、存儲和加工等。針對某些業務場景，有很多的mysql(一種關系型數據庫系統)數據需要同步到kafka(一種高吞吐量的分布式發布訂閱消息系統)，然后做實時的大數據分析、歸類和查詢。

現有的解決方案是采用輪詢方式去查詢數據庫，查看數據是否有改變；或者采用Canal(同步mysql增量數據)方案通過模擬mysql從庫，訂閱數據庫的binlog(mysql的二進制日志)方式，實時地從數據庫中抓取最新的實時數據。

在多數據源、多進程節點的情況下，現有技術的方法存在任務分配不均勻，不支持局部有序，無法攔截異常流量的問題。

發明內容

本發明實施例提供一種支持多數據源的數據同步方法，以解決現有技術中的方法在多數據源、多進程節點的情況下，存在任務分配不均勻，不支持局部有序，無法攔截異常流量的問題。

本發明實施例是這樣實現的，提出一種支持多數據源的數據同步方法，包括如下步驟：

獲取程序節點的負載值、作業的壓力指數和數據庫增量日志；

根據所述負載值和所述壓力指數，將作業分配至對應的程序節點；

根據所述數據庫增量日志，將分配好的所述作業放入對應的內存消息隊列進行并行解析；

將并行解析出的增量數據寫入存儲消息隊列。

本發明實施例還提供了一種支持多數據源的數據同步裝置，包括：

數據獲取單元，用于獲取程序節點的負載值、作業的壓力指數和數據庫增量日志；

作業分配單元，用于根據所述負載值和所述壓力指數，將作業分配至對應的程序節點；

并行解析單元，用于根據所述數據庫增量日志，將分配好的所述作業放入對應的內存消息隊列進行并行解析；

存儲單元，用于將并行解析出的增量數據寫入存儲消息隊列。

本發明實施例還提供了一種計算機設備，包括存儲器和處理器，所述存儲器中存儲有計算機程序，所述計算機程序可被所述處理器執行，所述處理器包括上述的裝置。

本發明實施例還提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時，使得所述處理器執行上述方法的步驟。

在本發明實施例中，先獲取程序節點的負載值、作業的壓力指數和數據庫增量日志，根據負載值和壓力指數，將作業分配至對應的程序節點；再根據數據庫增量日志，將分配好的作業放入對應的內存消息隊列進行并行解析；最后將并行解析出的增量數據寫入存儲消息隊列，可針對不同的業務，支持不同場景的安全配置和性能配置；同時，任務分配均勻，盡可能使每個節點的計算機資源既不浪費也不空閑。

附圖說明