[發(fā)明專利]一種基于日志邏輯解析的關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)復(fù)制方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201911211529.7
• 申請(qǐng)日: 2019-12-02
• 公開（公告）號(hào): CN111061594A
• 公開（公告）日: 2020-04-24
• 發(fā)明（設(shè)計(jì)）人: 李慶銀
• 申請(qǐng)（專利權(quán)）人: 上海浪擎信息科技有限公司
• 主分類號(hào): G06F11/14
• 分類號(hào): G06F11/14;G06F11/20;G06F16/28
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開了一種基于日志邏輯解析的關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)復(fù)制方法，所述復(fù)制方法主要依托數(shù)據(jù)庫(kù)實(shí)時(shí)捕獲引擎ACA和數(shù)據(jù)組裝實(shí)現(xiàn)，具體包括如下步驟：復(fù)制數(shù)據(jù)庫(kù)全量文件，包括數(shù)據(jù)文件、控制文件和在此期間的數(shù)據(jù)庫(kù)動(dòng)態(tài)數(shù)據(jù)；采用增量復(fù)制的方法，實(shí)時(shí)捕獲生產(chǎn)庫(kù)redo日志文件的變化，傳輸線程將捕獲到的增量數(shù)據(jù)傳輸?shù)饺轂?zāi)服務(wù)器；容災(zāi)端接受線程將接受到的增量數(shù)據(jù)以logdata的形式寫到磁盤；容災(zāi)端拼裝線程將增量數(shù)據(jù)拼裝成歸檔日志；容災(zāi)端恢復(fù)線程將歸檔日志注冊(cè)到容災(zāi)庫(kù)，從而將事務(wù)日志塊反解成SQL語(yǔ)句集從而保證生產(chǎn)端和容災(zāi)端數(shù)據(jù)的一致性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，具體涉及一種基于日志邏輯解析的關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)復(fù)制方法。

背景技術(shù)

隨著信息科技的快速發(fā)展，在科學(xué)研究、互聯(lián)網(wǎng)應(yīng)用等諸多應(yīng)用領(lǐng)域，由于數(shù)據(jù)的快速增長(zhǎng)，以及越來(lái)越多復(fù)雜的數(shù)據(jù)分析算法被用于挖掘數(shù)據(jù)中蘊(yùn)含的科研價(jià)值和商業(yè)價(jià)值，新興的大數(shù)據(jù)平臺(tái)應(yīng)運(yùn)而生，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)在大數(shù)據(jù)分析性能上已落后于這些專門用于大數(shù)據(jù)分析的大數(shù)據(jù)平臺(tái)。但是關(guān)系型數(shù)據(jù)庫(kù)作為較早提出的數(shù)據(jù)存儲(chǔ)系統(tǒng)，發(fā)展成熟、操作方便、而且易于維護(hù)，在數(shù)據(jù)的增長(zhǎng)過(guò)程中形成了強(qiáng)大的生態(tài)系統(tǒng)，而大數(shù)據(jù)分析平臺(tái)不僅要求用戶掌握相關(guān)的平臺(tái)使用技能，且不兼容以關(guān)系型數(shù)據(jù)庫(kù)為存儲(chǔ)模塊的系統(tǒng)。但系統(tǒng)主要依賴DataGaurd、LogMinor、DBCC LOG等數(shù)據(jù)庫(kù)自帶的日志工具來(lái)實(shí)現(xiàn)數(shù)據(jù)復(fù)制，容易出現(xiàn)數(shù)據(jù)丟失、復(fù)制過(guò)程中出現(xiàn)卡頓等問(wèn)題

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于日志邏輯解析的關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)復(fù)制方法，以解決上述背景技術(shù)中提出的問(wèn)題。為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于日志邏輯解析的關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)復(fù)制方法，所述復(fù)制方法主要依托數(shù)據(jù)庫(kù)實(shí)時(shí)捕獲引擎ACA和數(shù)據(jù)組裝實(shí)現(xiàn)，具備以下功能：追逐式全量復(fù)制功能，在第一次部署時(shí)，且在不停止生產(chǎn)業(yè)務(wù)的要求下，自動(dòng)的將生產(chǎn)端業(yè)務(wù)系統(tǒng)的存量數(shù)據(jù)和活動(dòng)數(shù)據(jù)全部復(fù)制到備用端的數(shù)據(jù)庫(kù)；實(shí)時(shí)增量復(fù)制功能，實(shí)時(shí)的將業(yè)務(wù)數(shù)據(jù)復(fù)制到容災(zāi)端的備用系統(tǒng)；CDP數(shù)據(jù)容錯(cuò)功能，將數(shù)據(jù)庫(kù)恢復(fù)到符合要求的某一歷史狀態(tài)。容災(zāi)端容錯(cuò)進(jìn)程采用循環(huán)寫機(jī)制一一保存生產(chǎn)端傳輸來(lái)的數(shù)據(jù)。當(dāng)需要容錯(cuò)時(shí)，容錯(cuò)代理接收用戶選定的恢復(fù)時(shí)間或事務(wù)條件，容錯(cuò)進(jìn)程將符合條件的一段日志數(shù)據(jù)恢復(fù)到容錯(cuò)數(shù)據(jù)庫(kù)；故障切換功能，當(dāng)生產(chǎn)端發(fā)生故障時(shí)，可手動(dòng)或自動(dòng)切換至容災(zāi)端備用系統(tǒng)。可以提供監(jiān)控、報(bào)警、切換、回切等功能，可提供完整的業(yè)務(wù)容災(zāi)解決方案；構(gòu)建生產(chǎn)、查詢相分離的業(yè)務(wù)應(yīng)用功能，實(shí)現(xiàn)查詢統(tǒng)計(jì)功能，分流生產(chǎn)數(shù)據(jù)庫(kù)的性能壓力；所述復(fù)制方法具體包括如下步驟：

步驟1、復(fù)制數(shù)據(jù)庫(kù)全量文件，包括數(shù)據(jù)文件、控制文件和在此期間的數(shù)據(jù)庫(kù)動(dòng)態(tài)數(shù)據(jù)；

步驟2、采用增量復(fù)制的方法，實(shí)時(shí)捕獲生產(chǎn)庫(kù)redo日志文件的變化，傳輸線程將捕獲到的增量數(shù)據(jù)傳輸?shù)饺轂?zāi)服務(wù)器；

步驟3、容災(zāi)端接受線程將接受到的增量數(shù)據(jù)以logdata的形式寫到磁盤；

步驟4、容災(zāi)端拼裝線程將增量數(shù)據(jù)拼裝成歸檔日志；

步驟5、容災(zāi)端恢復(fù)線程將歸檔日志注冊(cè)到容災(zāi)庫(kù)，從而將事務(wù)日志塊反解成SQL語(yǔ)句集從而保證生產(chǎn)端和容災(zāi)端數(shù)據(jù)的一致性。

優(yōu)選地，所述實(shí)時(shí)增量復(fù)制功能具體實(shí)現(xiàn)步驟包括：生產(chǎn)端的事務(wù)日志實(shí)時(shí)捕獲模塊實(shí)時(shí)監(jiān)控生產(chǎn)Oracle數(shù)據(jù)庫(kù)的redo事務(wù)日志文件或歸檔日志文件，捕獲其變化數(shù)據(jù)；傳輸控制模塊從變化數(shù)據(jù)緩存池中取出數(shù)據(jù)傳輸至容災(zāi)服務(wù)器；容災(zāi)服務(wù)器將變化數(shù)據(jù)保存至容災(zāi)端的緩沖池中；組裝模塊根據(jù)Oracle數(shù)據(jù)庫(kù)的特性將變化數(shù)據(jù)拼裝成可恢復(fù)事務(wù)；裝載線程將組裝好的事務(wù)恢復(fù)到容災(zāi)數(shù)據(jù)庫(kù)。

優(yōu)選地，所述實(shí)時(shí)增量復(fù)制功能實(shí)時(shí)前需要保障生產(chǎn)、容災(zāi)數(shù)據(jù)庫(kù)之間的數(shù)據(jù)相同。

優(yōu)選地，所述追逐式全量復(fù)制功能具體實(shí)現(xiàn)步驟包括：逐式復(fù)制原理∑＝∑存量+∑變化：復(fù)制存量數(shù)據(jù)與數(shù)據(jù)庫(kù)對(duì)象到容災(zāi)數(shù)據(jù)庫(kù)；復(fù)制在第一步復(fù)制期間變化的事務(wù)；將第二步的復(fù)制結(jié)果保存到容災(zāi)數(shù)據(jù)庫(kù)。