[發(fā)明專利]基于數(shù)據(jù)庫(kù)Binlog的分布式緩存更新方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110788368.9
• 申請(qǐng)日: 2021-07-13
• 公開(kāi)（公告）號(hào): CN113448977A
• 公開(kāi)（公告）日: 2021-09-28
• 發(fā)明（設(shè)計(jì)）人: 張鵬鵬;張順;鄭小虎;鄭澤奇
• 申請(qǐng)（專利權(quán)）人: 中國(guó)銀行股份有限公司
• 主分類(lèi)號(hào): G06F16/23
• 分類(lèi)號(hào): G06F16/23;G06F16/2455
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 谷敬麗;薛平

本發(fā)明公開(kāi)了一種基于數(shù)據(jù)庫(kù)Binlog的分布式緩存更新方法及裝置，涉及分布式系統(tǒng)技術(shù)領(lǐng)域，其中該方法包括：監(jiān)聽(tīng)Binlog日志文件并讀取日志文件內(nèi)容；所述日志文件內(nèi)容中包括數(shù)據(jù)庫(kù)中間件在數(shù)據(jù)發(fā)生變更時(shí)記錄到Binlog日志文件的內(nèi)容；從日志文件內(nèi)容中檢測(cè)出發(fā)生變更的數(shù)據(jù)；從發(fā)生變更的數(shù)據(jù)中篩選出變更的熱點(diǎn)數(shù)據(jù)，將變更的熱點(diǎn)數(shù)據(jù)寫(xiě)入到分布式緩存中。本發(fā)明可以實(shí)現(xiàn)數(shù)據(jù)庫(kù)中間件存儲(chǔ)的熱點(diǎn)數(shù)據(jù)與分布式緩存存儲(chǔ)的熱點(diǎn)數(shù)據(jù)一致，提升了分布式緩存數(shù)據(jù)更新的時(shí)效性。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式系統(tǒng)技術(shù)領(lǐng)域，尤其涉及一種基于數(shù)據(jù)庫(kù)Binlog的分布式緩存更新方法及裝置。

背景技術(shù)

本部分旨在為權(quán)利要求書(shū)中陳述的本發(fā)明實(shí)施例提供背景或上下文。此處的描述不因?yàn)榘ㄔ诒静糠种芯统姓J(rèn)是現(xiàn)有技術(shù)。

熱點(diǎn)數(shù)據(jù)通常保存在數(shù)據(jù)庫(kù)中間件中，避免數(shù)據(jù)丟失，但因數(shù)據(jù)庫(kù)中間件性能無(wú)法滿足熱點(diǎn)數(shù)據(jù)高并發(fā)讀寫(xiě)的需求，業(yè)內(nèi)常規(guī)做法是將熱點(diǎn)數(shù)據(jù)從數(shù)據(jù)庫(kù)中間件同步到分布式緩存中，熱點(diǎn)數(shù)據(jù)讀寫(xiě)過(guò)程如下：

1)在獲取熱點(diǎn)數(shù)據(jù)時(shí)，優(yōu)先從分布式緩存中獲取，如果獲取到熱點(diǎn)數(shù)據(jù)時(shí)則結(jié)束，否則進(jìn)行下一步；

2)從數(shù)據(jù)庫(kù)中間件中獲取熱點(diǎn)數(shù)據(jù)；

3)將數(shù)據(jù)庫(kù)中獲取的熱點(diǎn)數(shù)據(jù)寫(xiě)到分布式緩存中，同時(shí)設(shè)置一個(gè)過(guò)期時(shí)間，在過(guò)期時(shí)間之前熱點(diǎn)數(shù)據(jù)獲取均從分布式緩存中獲取，過(guò)期時(shí)間之后再重復(fù)1-3步驟。

從上面獲取熱點(diǎn)數(shù)據(jù)的流程可以看出，分布式緩存不具備自動(dòng)更新數(shù)據(jù)的能力，即無(wú)法感知數(shù)據(jù)庫(kù)中間件數(shù)據(jù)的變更，導(dǎo)致數(shù)據(jù)庫(kù)中間件存儲(chǔ)的熱點(diǎn)數(shù)據(jù)與分布式緩存存儲(chǔ)的熱點(diǎn)數(shù)據(jù)不一致。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種基于數(shù)據(jù)庫(kù)Binlog的分布式緩存更新方法，用以實(shí)現(xiàn)數(shù)據(jù)庫(kù)中間件存儲(chǔ)的熱點(diǎn)數(shù)據(jù)與分布式緩存存儲(chǔ)的熱點(diǎn)數(shù)據(jù)一致，該方法包括：

監(jiān)聽(tīng)Binlog日志文件并讀取日志文件內(nèi)容；所述日志文件內(nèi)容中包括數(shù)據(jù)庫(kù)中間件在數(shù)據(jù)發(fā)生變更時(shí)記錄到Binlog日志文件的內(nèi)容；

從日志文件內(nèi)容中檢測(cè)出發(fā)生變更的數(shù)據(jù)；

從發(fā)生變更的數(shù)據(jù)中篩選出變更的熱點(diǎn)數(shù)據(jù)，將變更的熱點(diǎn)數(shù)據(jù)寫(xiě)入到分布式緩存中。

本發(fā)明實(shí)施例還提供一種基于數(shù)據(jù)庫(kù)Binlog的分布式緩存更新裝置，用以實(shí)現(xiàn)數(shù)據(jù)庫(kù)中間件存儲(chǔ)的熱點(diǎn)數(shù)據(jù)與分布式緩存存儲(chǔ)的熱點(diǎn)數(shù)據(jù)一致，該裝置包括：

數(shù)據(jù)庫(kù)中間件Binlog監(jiān)聽(tīng)單元，用于監(jiān)聽(tīng)Binlog日志文件并讀取日志文件內(nèi)容；所述日志文件內(nèi)容中包括數(shù)據(jù)庫(kù)中間件在數(shù)據(jù)發(fā)生變更時(shí)記錄到Binlog日志文件的內(nèi)容；

日志文件解析單元，用于從日志文件內(nèi)容中檢測(cè)出發(fā)生變更的數(shù)據(jù)；

分布式緩存數(shù)據(jù)寫(xiě)入單元，用于從發(fā)生變更的數(shù)據(jù)中篩選出變更的熱點(diǎn)數(shù)據(jù)，將變更的熱點(diǎn)數(shù)據(jù)寫(xiě)入到分布式緩存中。

本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述基于數(shù)據(jù)庫(kù)Binlog的分布式緩存更新方法。

本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有執(zhí)行上述基于數(shù)據(jù)庫(kù)Binlog的分布式緩存更新方法的計(jì)算機(jī)程序。

本發(fā)明實(shí)施例中，基于數(shù)據(jù)庫(kù)Binlog的分布式緩存更新方案，通過(guò)：監(jiān)聽(tīng)Binlog日志文件并讀取日志文件內(nèi)容；所述日志文件內(nèi)容中包括數(shù)據(jù)庫(kù)中間件在數(shù)據(jù)發(fā)生變更時(shí)記錄到Binlog日志文件的內(nèi)容；從日志文件內(nèi)容中檢測(cè)出發(fā)生變更的數(shù)據(jù)；從發(fā)生變更的數(shù)據(jù)中篩選出變更的熱點(diǎn)數(shù)據(jù)，將變更的熱點(diǎn)數(shù)據(jù)寫(xiě)入到分布式緩存中，可以實(shí)現(xiàn)數(shù)據(jù)庫(kù)中間件存儲(chǔ)的熱點(diǎn)數(shù)據(jù)與分布式緩存存儲(chǔ)的熱點(diǎn)數(shù)據(jù)一致，提升了分布式緩存數(shù)據(jù)更新的時(shí)效性。

附圖說(shuō)明