[發明專利]一種支持多數據源的數據同步方法、裝置及計算機設備

在審

• 申請號: 202111480115.1
• 申請日: 2021-12-06
• 公開（公告）號: CN114328722A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 張星亮;石昌義
• 申請（專利權）人: 深圳市六度人和科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 深圳盛德大業知識產權代理事務所(普通合伙) 44333
• 代理人: 張紅偉

1.一種支持多數據源的數據同步方法，其特征在于，包括如下步驟：

獲取程序節點的負載值、作業的壓力指數和數據庫增量日志；

根據所述負載值和所述壓力指數，將作業分配至對應的程序節點；

根據所述數據庫增量日志，將分配好的所述作業放入對應的內存消息隊列進行并行解析；

將并行解析出的增量數據寫入存儲消息隊列。

2.根據權利要求1所述的支持多數據源的數據同步方法，其特征在于，所述根據所述負載值和所述壓力指數，將作業分配至對應的程序節點的步驟具體包括：

根據所述負載值確定出空閑程序節點；

根據所述壓力指數將所述作業分配至對應的所述空閑程序節點。

3.根據權利要求1所述的支持多數據源的數據同步方法，其特征在于，所述根據所述數據庫增量日志，將分配好的所述作業放入對應的內存消息隊列進行并行解析的步驟具體包括：

加載配置數據；

根據所述數據庫增量日志和配置數據，解析出哈希值；

根據所述哈希值，將分配好的所述作業放入對應的內存消息隊列進行并行解析。

4.根據權利要求1所述的支持多數據源的數據同步方法，其特征在于，所述方法還包括：

根據并行解析結果判斷是否有異常流量；

若有，則攔截所述異常流量；

將所述異常流量慢速寫入存儲消息隊列。

5.一種支持多數據源的數據同步裝置，其特征在于，包括：

數據獲取單元，用于獲取程序節點的負載值、作業的壓力指數和數據庫增量日志；

作業分配單元，用于根據所述負載值和所述壓力指數，將作業分配至對應的程序節點；

并行解析單元，用于根據所述數據庫增量日志，將分配好的所述作業放入對應的內存消息隊列進行并行解析；

存儲單元，用于將并行解析出的增量數據寫入存儲消息隊列。

6.根據權利要求5所述的支持多數據源的數據同步裝置，其特征在于，所述作業分配單元具體包括：

空閑節點確定模塊，用于根據所述負載值確定出空閑程序節點；

作業分配模塊，用于根據所述壓力指數將所述作業分配至對應的所述空閑程序節點。

7.根據權利要求5所述的支持多數據源的數據同步裝置，其特征在于，所述并行解析單元具體包括：

配置數據加載模塊，用于加載配置數據；

解析模塊，用于根據所述數據庫增量日志和配置數據，解析出哈希值；

并行解析模塊，用于根據所述哈希值，將分配好的所述作業放入對應的內存消息隊列進行并行解析。

8.根據權利要求5所述的支持多數據源的數據同步裝置，其特征在于，所述裝置還包括：

異常流量判斷單元，用于根據并行解析結果判斷是否有異常流量；

異常流量攔截單元，用于攔截所述異常流量；

異常流量存儲單元，用于將所述異常流量慢速寫入存儲消息隊列。

9.一種計算機設備，其特征在于，包括存儲器和處理器，所述存儲器中存儲有計算機程序，所述計算機程序可被所述處理器執行，所述處理器包括如權利要求5-8任一項所述的裝置。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時，使得所述處理器執行如權利要求1-4任一項所述的方法的步驟。