[發明專利]日志數據同步方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 201811522747.8
• 申請日: 2018-12-12
• 公開（公告）號: CN109857802A
• 公開（公告）日: 2019-06-07
• 發明（設計）人: 鄧康華
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國;魏蘭

1.一種日志數據同步方法，其特征在于，所述日志數據同步方法包括以下步驟：

在日志數據的同步過程中，每采集到一條日志數據，則獲取所述日志數據的全局事務標識符GTID，并生成所述日志數據的原子標識符AID；

將所述日志數據、所述GTID和所述AID同步寫入至緩存數據庫Redis和分布式發布訂閱消息系統Kafka；

當監測到日志數據的當前采集節點出現異常時，確定日志數據的目標采集節點，并從所述Redis中獲取采集時間距離當前時間點最近的日志數據的目標GTID和目標AID；

通過所述目標采集節點，基于所述目標GTID和所述目標AID繼續采集日志數據。

2.如權利要求1所述的日志數據同步方法，其特征在于，生成所述日志數據的原子標識符AID的步驟包括：

每采集到一條日志數據，則獲取上一條日志數據的AID，并在所述AID中基礎上自增1，得到所述日志數據的AID。

3.如權利要求1所述的日志數據同步方法，其特征在于，所述當監測到日志數據的當前采集節點出現異常時，確定日志數據的目標采集節點的步驟包括：

當監測到日志數據的當前采集節點出現異常時，獲取日志數據的各采集節點，并獲取各采集節點各自對應注冊的子節點的注冊順序；

依據各采集節點各自對應注冊的子節點的注冊順序，確定日志數據的目標采集節點。

4.如權利要求1所述的日志數據同步方法，其特征在于，所述日志數據同步方法還包括：

在日志數據的同步過程中，定時監測當前連接的數據庫是否為主數據庫；

若監測到當前連接的數據庫為主數據庫，則斷開與所述主數據庫的連接，并獲取備數據庫地址，且依據所述備數據庫地址連接對應的備數據庫。

5.如權利要求4所述的日志數據同步方法，其特征在于，所述日志數據同步方法還包括：

在日志數據的同步過程中，定時監測當前連接的備數據庫是否出現異常；

若當前連接的備數據庫出現異常，則獲取新的備數據庫地址，并依據新的備數據庫地址連接對應的備數據庫。

6.如權利要求1-5中任一項所述的日志數據同步方法，其特征在于，所述日志數據同步方法還包括：

在日志數據的同步過程中，每采集到一條日志數據，則獲取所述日志數據的第一GTID，并從所述Redis中獲取上一條日志數據的第二GTID；

判斷所述第一GTID與所述第二GTID是否相鄰；

若所述第一GTID和所述第二GTID相鄰，則生成所述日志數據的AID，并將所述日志數據、所述第一GTID和所述AID同步寫入至所述Redis和所述Kafka；

若所述第一GTID與所述第二GTID不相鄰，則依據所述第二GTID繼續采集日志數據。

7.一種日志數據同步裝置，其特征在于，所述日志數據同步裝置包括：

數據采集模塊，用于在日志數據的同步過程中，每采集到一條日志數據，則獲取所述日志數據的全局事務標識符GTID，并生成所述日志數據的原子標識符AID；

數據同步模塊，用于將所述日志數據、所述GTID和所述AID同步寫入至緩存數據庫Redis和分布式發布訂閱消息系統Kafka；

確定模塊，用于當監測到日志數據的當前采集節點出現異常時，確定日志數據的目標采集節點，并從所述Redis中獲取采集時間距離當前時間點最近的日志數據的目標GTID和目標AID；

所述數據采集模塊，還用于通過所述目標采集節點，基于所述目標GTID和所述目標AID繼續采集日志數據。