[發(fā)明專利]一種異構(gòu)數(shù)據(jù)庫同步數(shù)據(jù)一致性校驗(yàn)方法及裝置

有效

• 申請?zhí)枺?/td>: 201910510663.0
• 申請日: 2019-06-13
• 公開（公告）號: CN110347746B
• 公開（公告）日: 2020-06-26
• 發(fā)明（設(shè)計(jì)）人: 付銓;孫峰;余院蘭;趙家威
• 申請（專利權(quán)）人: 武漢達(dá)夢數(shù)據(jù)庫有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23
• 代理公司: 武漢智嘉聯(lián)合知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 42231
• 代理人: 黃君軍

本發(fā)明涉及數(shù)據(jù)庫同步技術(shù)領(lǐng)域，公開了一種異構(gòu)數(shù)據(jù)庫同步數(shù)據(jù)一致性校驗(yàn)方法及裝置，其中，校驗(yàn)方法包括以下步驟：在目標(biāo)端數(shù)據(jù)庫建立提交事務(wù)表，在所述提交事務(wù)表中記錄同步的源庫事務(wù)信息；捕獲并解析源端數(shù)據(jù)庫的源端事務(wù)日志；捕獲并解析目標(biāo)端數(shù)據(jù)庫的目標(biāo)端事務(wù)日志；將所述目標(biāo)端事務(wù)日志發(fā)送至源端數(shù)據(jù)同步校驗(yàn)服務(wù)；根據(jù)所述同步的源庫事務(wù)信息對比所述源端事務(wù)日志與所述目標(biāo)端事務(wù)日志，校驗(yàn)同步數(shù)據(jù)的一致性。本發(fā)明對異構(gòu)數(shù)據(jù)庫同步數(shù)據(jù)進(jìn)行一致性校驗(yàn)時(shí)，不會影響源端數(shù)據(jù)庫的正常工作、不會影響數(shù)據(jù)實(shí)時(shí)同步過程的穩(wěn)定性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫同步技術(shù)領(lǐng)域，具體涉及一種異構(gòu)數(shù)據(jù)庫同步數(shù)據(jù)一致性校驗(yàn)方法及裝置。

背景技術(shù)

在異構(gòu)數(shù)據(jù)庫同步系統(tǒng)同步數(shù)據(jù)的過程中，需要提供校驗(yàn)源端數(shù)據(jù)庫和目標(biāo)端數(shù)據(jù)庫同步表的數(shù)據(jù)一致性，以驗(yàn)證數(shù)據(jù)同步的正確性。以下簡稱源端數(shù)據(jù)庫為源端，目標(biāo)端數(shù)據(jù)庫為目標(biāo)端。由于源端數(shù)據(jù)庫一直處在生產(chǎn)環(huán)境中，因此源端數(shù)據(jù)表中的數(shù)據(jù)處在時(shí)刻變化的狀態(tài)中。另一方面，由于異構(gòu)數(shù)據(jù)庫同步系統(tǒng)的同步性能問題，源端數(shù)據(jù)表的變化同步到目標(biāo)端時(shí)可能存在一定時(shí)間的同步延時(shí)，導(dǎo)致某一時(shí)刻源端和目標(biāo)端的數(shù)據(jù)表校驗(yàn)不一致。為了進(jìn)行有效的動態(tài)數(shù)據(jù)對比，傳統(tǒng)方法中，通常基于數(shù)據(jù)庫系統(tǒng)的系統(tǒng)改變號，即SCN，構(gòu)造源端和目標(biāo)端數(shù)據(jù)對比的基準(zhǔn)點(diǎn)，然后在此基準(zhǔn)點(diǎn)下查詢出源端和目標(biāo)端數(shù)據(jù)表中的數(shù)據(jù)。對于含主鍵的數(shù)據(jù)表，則使用主鍵查詢出表記錄后直接進(jìn)行比對；對于無主鍵表，則通過計(jì)算行記錄的MD5值來進(jìn)行比對。

上述數(shù)據(jù)庫系統(tǒng)的系統(tǒng)改變號SCN是反映數(shù)據(jù)庫系統(tǒng)的一種一致性狀態(tài)的版本，每一個(gè)數(shù)據(jù)庫狀態(tài)的改變，數(shù)據(jù)庫系統(tǒng)都會通過SCN進(jìn)行記錄，且該值不斷遞增，由數(shù)據(jù)庫系統(tǒng)自身進(jìn)行維護(hù)。上述基于SCN構(gòu)造對比基準(zhǔn)點(diǎn)的方法，在進(jìn)行數(shù)據(jù)對比時(shí)，源端首先需要對數(shù)據(jù)表進(jìn)行上S鎖操作，然后查詢數(shù)據(jù)庫當(dāng)前的SCN，并將其發(fā)送至目標(biāo)端，再查詢源端表數(shù)據(jù)；目標(biāo)端需同步至該SCN后暫停同步操作，然后查詢當(dāng)前狀態(tài)的表數(shù)據(jù)，進(jìn)行對比；

上述同步數(shù)據(jù)一致性校驗(yàn)方法存在一定的不足，首先在數(shù)據(jù)對比時(shí)，對于源端業(yè)務(wù)壓力較大的數(shù)據(jù)庫系統(tǒng)，對數(shù)據(jù)表進(jìn)行上S鎖操作，有可能存在上鎖失敗的情況，另外上鎖成功后，會影響源端數(shù)據(jù)庫系統(tǒng)使用該表，造成一定的性能損失。另一方面，目標(biāo)端在進(jìn)行數(shù)據(jù)比對過程中，需要同步至比對基準(zhǔn)點(diǎn)后暫停同步操作，數(shù)據(jù)一致性校驗(yàn)操作與數(shù)據(jù)實(shí)時(shí)同步操作深度耦合，影響數(shù)據(jù)同步系統(tǒng)的穩(wěn)定性。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服上述技術(shù)不足，提供一種異構(gòu)數(shù)據(jù)庫同步數(shù)據(jù)一致性校驗(yàn)方法及裝置，解決現(xiàn)有技術(shù)中異構(gòu)數(shù)據(jù)庫同步數(shù)據(jù)校驗(yàn)影響源端數(shù)據(jù)庫的正常工作、影響同步系統(tǒng)穩(wěn)定性的技術(shù)問題。

為達(dá)到上述技術(shù)目的，本發(fā)明的技術(shù)方案提供一種異構(gòu)數(shù)據(jù)庫同步數(shù)據(jù)一致性校驗(yàn)方法，包括以下步驟：

在目標(biāo)端數(shù)據(jù)庫建立提交事務(wù)表，在所述提交事務(wù)表中記錄同步的源庫事務(wù)信息；

捕獲并解析源端數(shù)據(jù)庫的源端事務(wù)日志；

捕獲并解析目標(biāo)端數(shù)據(jù)庫的目標(biāo)端事務(wù)日志；

將所述目標(biāo)端事務(wù)日志發(fā)送至源端數(shù)據(jù)同步校驗(yàn)服務(wù)；

根據(jù)所述同步的源庫事務(wù)信息對比所述源端事務(wù)日志與所述目標(biāo)端事務(wù)日志，校驗(yàn)同步數(shù)據(jù)的一致性。

本發(fā)明還提供一種異構(gòu)數(shù)據(jù)庫同步數(shù)據(jù)一致性校驗(yàn)裝置，包括源端服務(wù)器和目標(biāo)端服務(wù)器；所述源端服務(wù)器內(nèi)部署有源端對比程序，所述目標(biāo)端服務(wù)器內(nèi)部署有目標(biāo)端對比程序；

所述目標(biāo)端服務(wù)器用于建立提交事務(wù)表，在所述提交事務(wù)表中記錄同步的源庫事務(wù)信息；

所述源端對比程序用于捕獲并解析源端數(shù)據(jù)庫的源端事務(wù)日志；

所述目標(biāo)端對比程序用于捕獲并解析目標(biāo)端數(shù)據(jù)庫的目標(biāo)端事務(wù)日志；將所述目標(biāo)端事務(wù)日志發(fā)送至源端數(shù)據(jù)同步校驗(yàn)服務(wù)；