[發(fā)明專利]日志數(shù)據(jù)同步方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811522747.8
• 申請(qǐng)日: 2018-12-12
• 公開（公告）號(hào): CN109857802A
• 公開（公告）日: 2019-06-07
• 發(fā)明（設(shè)計(jì)）人: 鄧康華
• 申請(qǐng)（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國(guó);魏蘭

本發(fā)明公開了一種日志數(shù)據(jù)同步方法，包括：在日志數(shù)據(jù)的同步過程中，每采集到一條日志數(shù)據(jù)，則獲取所述日志數(shù)據(jù)的GTID，并生成所述日志數(shù)據(jù)的AID；將所述日志數(shù)據(jù)、所述GTID和所述AID同步寫入至緩存數(shù)據(jù)庫Redis和分布式發(fā)布訂閱消息系統(tǒng)Kafka；當(dāng)監(jiān)測(cè)到日志數(shù)據(jù)的當(dāng)前采集節(jié)點(diǎn)出現(xiàn)異常時(shí)，確定日志數(shù)據(jù)的目標(biāo)采集節(jié)點(diǎn)，并從所述Redis中獲取采集時(shí)間距離當(dāng)前時(shí)間點(diǎn)最近的日志數(shù)據(jù)的目標(biāo)GTID和目標(biāo)AID；通過所述目標(biāo)采集節(jié)點(diǎn)，基于所述目標(biāo)GTID和所述目標(biāo)AID繼續(xù)采集日志數(shù)據(jù)。本發(fā)明還公開了一種日志數(shù)據(jù)同步裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。本發(fā)明能夠保證日志數(shù)據(jù)的連續(xù)性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)采集的技術(shù)領(lǐng)域，尤其涉及一種日志數(shù)據(jù)同步方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

數(shù)據(jù)庫在運(yùn)行過程中，需要采集數(shù)據(jù)庫的日志數(shù)據(jù)，目前數(shù)據(jù)庫的日志數(shù)據(jù)的采集方式包括基于Maxwell工具的日志數(shù)據(jù)采集和基于Canal工具的日志數(shù)據(jù)采集，上述兩種方式均是通過偽裝成MySQL Server的從庫實(shí)現(xiàn)日志數(shù)據(jù)的采集。然而，在日志數(shù)據(jù)的采集過程中，當(dāng)采集的工具出現(xiàn)異常時(shí)，容易出現(xiàn)采集到的日志數(shù)據(jù)存在不連續(xù)的問題，因此，如何保證日志數(shù)據(jù)的連續(xù)性是目前亟待解決的問題。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種日志數(shù)據(jù)同步方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，旨在保證日志數(shù)據(jù)的連續(xù)性。

為實(shí)現(xiàn)上述目的，本發(fā)明提供一種日志數(shù)據(jù)同步方法，所述日志數(shù)據(jù)同步方法包括以下步驟：

在日志數(shù)據(jù)的同步過程中，每采集到一條日志數(shù)據(jù)，則獲取所述日志數(shù)據(jù)的全局事務(wù)標(biāo)識(shí)符GTID，并生成所述日志數(shù)據(jù)的原子標(biāo)識(shí)符AID；

將所述日志數(shù)據(jù)、所述GTID和所述AID同步寫入至緩存數(shù)據(jù)庫Redis和分布式發(fā)布訂閱消息系統(tǒng)Kafka；

當(dāng)監(jiān)測(cè)到日志數(shù)據(jù)的當(dāng)前采集節(jié)點(diǎn)出現(xiàn)異常時(shí)，確定日志數(shù)據(jù)的目標(biāo)采集節(jié)點(diǎn)，并從所述Redis中獲取采集時(shí)間距離當(dāng)前時(shí)間點(diǎn)最近的日志數(shù)據(jù)的目標(biāo)GTID和目標(biāo)AID；

通過所述目標(biāo)采集節(jié)點(diǎn)，基于所述目標(biāo)GTID和所述目標(biāo)AID繼續(xù)采集日志數(shù)據(jù)。

進(jìn)一步地，生成所述日志數(shù)據(jù)的原子標(biāo)識(shí)符AID的步驟包括：

每采集到一條日志數(shù)據(jù)，則獲取上一條日志數(shù)據(jù)的AID，并在所述AID中基礎(chǔ)上自增1，得到所述日志數(shù)據(jù)的AID。

進(jìn)一步地，所述當(dāng)監(jiān)測(cè)到日志數(shù)據(jù)的當(dāng)前采集節(jié)點(diǎn)出現(xiàn)異常時(shí)，確定日志數(shù)據(jù)的目標(biāo)采集節(jié)點(diǎn)的步驟包括：

當(dāng)監(jiān)測(cè)到日志數(shù)據(jù)的當(dāng)前采集節(jié)點(diǎn)出現(xiàn)異常時(shí)，獲取日志數(shù)據(jù)的各采集節(jié)點(diǎn)，并獲取各采集節(jié)點(diǎn)各自對(duì)應(yīng)注冊(cè)的子節(jié)點(diǎn)的注冊(cè)順序；

依據(jù)各采集節(jié)點(diǎn)各自對(duì)應(yīng)注冊(cè)的子節(jié)點(diǎn)的注冊(cè)順序，確定日志數(shù)據(jù)的目標(biāo)采集節(jié)點(diǎn)。

進(jìn)一步地，所述日志數(shù)據(jù)同步方法還包括：

在日志數(shù)據(jù)的同步過程中，定時(shí)監(jiān)測(cè)當(dāng)前連接的數(shù)據(jù)庫是否為主數(shù)據(jù)庫；

若監(jiān)測(cè)到當(dāng)前連接的數(shù)據(jù)庫為主數(shù)據(jù)庫，則斷開與所述主數(shù)據(jù)庫的連接，并獲取備數(shù)據(jù)庫地址，且依據(jù)所述備數(shù)據(jù)庫地址連接對(duì)應(yīng)的備數(shù)據(jù)庫。

進(jìn)一步地，所述日志數(shù)據(jù)同步方法還包括：

在日志數(shù)據(jù)的同步過程中，定時(shí)監(jiān)測(cè)當(dāng)前連接的備數(shù)據(jù)庫是否出現(xiàn)異常；

若當(dāng)前連接的備數(shù)據(jù)庫出現(xiàn)異常，則獲取新的備數(shù)據(jù)庫地址，并依據(jù)新的備數(shù)據(jù)庫地址連接對(duì)應(yīng)的備數(shù)據(jù)庫。

進(jìn)一步地，所述日志數(shù)據(jù)同步方法還包括：