[發(fā)明專利]異構(gòu)數(shù)據(jù)庫(kù)同步方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810921222.5
• 申請(qǐng)日: 2018-08-14
• 公開（公告）號(hào): CN109101627B
• 公開（公告）日: 2022-03-22
• 發(fā)明（設(shè)計(jì)）人: 何毓錕;趙瓊;郭志軍;龐天澤;馬海欣;李淵飛;葛翰翔
• 申請(qǐng)（專利權(quán)）人: 交通銀行股份有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 王濤;任默聞

本發(fā)明提供一種異構(gòu)數(shù)據(jù)庫(kù)同步方法及裝置，異構(gòu)數(shù)據(jù)庫(kù)同步方法包括：獲取源數(shù)據(jù)庫(kù)的重做Redo日志所對(duì)應(yīng)的屬于數(shù)據(jù)更新類型的事務(wù)報(bào)文，以及，該事務(wù)報(bào)文分別對(duì)應(yīng)在源數(shù)據(jù)庫(kù)的主服務(wù)器中的第一校驗(yàn)碼和源數(shù)據(jù)庫(kù)的備用服務(wù)器中的第二校驗(yàn)碼；判斷第一校驗(yàn)碼與第二校驗(yàn)碼是否相同；若是，則根據(jù)事務(wù)報(bào)文在事務(wù)文件添加各個(gè)事務(wù)；以及，自事務(wù)文件中讀取至少一個(gè)新增的事務(wù)，并將事務(wù)及對(duì)應(yīng)的回放指令發(fā)送至目標(biāo)數(shù)據(jù)庫(kù)，使得目標(biāo)數(shù)據(jù)庫(kù)根據(jù)該回放指令對(duì)事務(wù)進(jìn)行同步回放處理。本發(fā)明能夠在避免與源端應(yīng)用爭(zhēng)搶數(shù)據(jù)庫(kù)資源的基礎(chǔ)上，有效實(shí)現(xiàn)異構(gòu)數(shù)據(jù)庫(kù)數(shù)據(jù)的同步傳輸，并能夠?qū)?shù)據(jù)進(jìn)行一致性監(jiān)測(cè)，進(jìn)而有效提高異構(gòu)數(shù)據(jù)庫(kù)之間的數(shù)據(jù)同步的可靠性。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種異構(gòu)數(shù)據(jù)庫(kù)同步方法及裝置。

背景技術(shù)

隨著當(dāng)今數(shù)字化技術(shù)的飛速發(fā)展，以及其在金融及科研等領(lǐng)域中促使的客戶、產(chǎn)品、渠道、技術(shù)、競(jìng)爭(zhēng)等方面的快速變化，數(shù)據(jù)的核心資產(chǎn)地位也越發(fā)的被凸顯出來。以金融領(lǐng)域舉例，商業(yè)銀行的業(yè)務(wù)發(fā)展帶來了服務(wù)產(chǎn)品的多樣化，數(shù)字化經(jīng)營(yíng)所帶來的金融數(shù)據(jù)類型也從傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，延伸到實(shí)時(shí)流數(shù)據(jù)，以及各類非結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)庫(kù)單一模式包打天下的模式無法再適應(yīng)復(fù)雜多變的海量數(shù)據(jù)處理需求，從而出現(xiàn)了新型可擴(kuò)展/高性能數(shù)據(jù)庫(kù)NewSQL和非關(guān)系型的數(shù)據(jù)庫(kù)NoSQL技術(shù)，形成了以不同的技術(shù)解決不同場(chǎng)景應(yīng)用的局面。基于此，數(shù)據(jù)合并或遷移、動(dòng)態(tài)數(shù)據(jù)映射和數(shù)據(jù)融合管理等問題都迫切地需要一個(gè)跨平臺(tái)的實(shí)現(xiàn)異構(gòu)數(shù)據(jù)庫(kù)實(shí)時(shí)同步的解決方案。

現(xiàn)有技術(shù)中，異構(gòu)數(shù)據(jù)庫(kù)同步的傳統(tǒng)方式為基于數(shù)據(jù)庫(kù)自身的同構(gòu)復(fù)制技術(shù)實(shí)現(xiàn)的，各數(shù)據(jù)庫(kù)開發(fā)商在各自的數(shù)據(jù)庫(kù)同構(gòu)復(fù)制的基礎(chǔ)上提出了異構(gòu)數(shù)據(jù)庫(kù)的復(fù)制方案，例如關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)SQL server提出的出版者及預(yù)訂者同步方案，關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)Oracle中采用多主復(fù)制和物化視圖的方案實(shí)現(xiàn)數(shù)據(jù)同步功能，但盡管各廠商研發(fā)出的異構(gòu)數(shù)據(jù)庫(kù)輔助工具完善了異構(gòu)數(shù)據(jù)庫(kù)同步復(fù)制的功能，但復(fù)制依然方案依賴于數(shù)據(jù)庫(kù)管理系統(tǒng)的核心技術(shù)。基于此，異構(gòu)數(shù)據(jù)庫(kù)同步的另一種方式舉例為基于關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)MySQL中二進(jìn)制日志Binlog的增量訂閱/消費(fèi)，通過數(shù)據(jù)庫(kù)的日志解析，獲取增量變更進(jìn)行同步。實(shí)現(xiàn)原理是模擬MySQL中從盤slave的交互協(xié)議，向MySQL中主盤master發(fā)送去除無用信息dump協(xié)議，在收到master推送的二進(jìn)制日志Binlog后解析字節(jié)byte流，通過過濾和路由處理EventSink模塊的過濾、歸并、加工等將數(shù)據(jù)從來源端經(jīng)過抽取(extract)、交互轉(zhuǎn)換(transform)、加載(load)至目的端的ETL(Extract-Transform-Load)過程路由分發(fā)給目標(biāo)數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)，通過開源項(xiàng)目canal自身實(shí)現(xiàn)高可用HA(High Availability)來解決傳統(tǒng)方式存在的問題。

然后，上述現(xiàn)有技術(shù)存在由于異構(gòu)數(shù)據(jù)庫(kù)之間的數(shù)據(jù)同步的可靠性低的問題，即由于未考慮源MySQL數(shù)據(jù)庫(kù)的可用性因素，使得一旦源數(shù)據(jù)庫(kù)出現(xiàn)宕機(jī)或在主從式操作系統(tǒng)master-slave部署時(shí)出現(xiàn)主備切換時(shí)，異構(gòu)數(shù)據(jù)庫(kù)之間的同步服務(wù)即會(huì)中斷。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的問題，本發(fā)明提供一種異構(gòu)數(shù)據(jù)庫(kù)同步方法及裝置，能夠在避免與源端應(yīng)用爭(zhēng)搶數(shù)據(jù)庫(kù)資源的基礎(chǔ)上，有效實(shí)現(xiàn)異構(gòu)數(shù)據(jù)庫(kù)數(shù)據(jù)的同步傳輸，同時(shí)能夠?qū)?shù)據(jù)進(jìn)行一致性監(jiān)測(cè)，進(jìn)而有效提高異構(gòu)數(shù)據(jù)庫(kù)之間的數(shù)據(jù)同步的可靠性。

為解決上述技術(shù)問題，本發(fā)明提供以下技術(shù)方案：

第一方面，本發(fā)明提供一種異構(gòu)數(shù)據(jù)庫(kù)同步方法，包括：

獲取源數(shù)據(jù)庫(kù)的重做Redo日志所對(duì)應(yīng)的屬于數(shù)據(jù)更新類型的事務(wù)報(bào)文，以及，該事務(wù)報(bào)文分別對(duì)應(yīng)在所述源數(shù)據(jù)庫(kù)的主服務(wù)器中的第一校驗(yàn)碼和所述源數(shù)據(jù)庫(kù)的備用服務(wù)器中的第二校驗(yàn)碼；

判斷所述第一校驗(yàn)碼與第二校驗(yàn)碼是否相同；

若是，則根據(jù)所述事務(wù)報(bào)文在事務(wù)文件添加各個(gè)事務(wù)；