[發(fā)明專(zhuān)利]一種基于容錯(cuò)時(shí)間日志的數(shù)據(jù)遷移的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810401982.3
• 申請(qǐng)日: 2018-04-28
• 公開(kāi)（公告）號(hào): CN108647270A
• 公開(kāi)（公告）日: 2018-10-12
• 發(fā)明（設(shè)計(jì)）人: 張淑成;張之強(qiáng);于延峰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 尚谷科技（天津）有限公司;張淑成;張之強(qiáng);于延峰
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 天津市尚文知識(shí)產(chǎn)權(quán)代理有限公司 12222
• 代理人: 張東浩

本發(fā)明提供的基于容錯(cuò)時(shí)間日志的數(shù)據(jù)遷移的方法，檢測(cè)系統(tǒng)時(shí)間是否不早于數(shù)據(jù)時(shí)刻加容錯(cuò)時(shí)長(zhǎng)；假使是，就進(jìn)入步驟B；假使不是，則等待規(guī)定時(shí)長(zhǎng)之后，再次進(jìn)行系統(tǒng)時(shí)間的檢測(cè)；將待遷移DB的數(shù)據(jù)遷移到遷移DB的相對(duì)映射空間；數(shù)據(jù)遷移完成后，基于當(dāng)前完成所需的準(zhǔn)備時(shí)長(zhǎng)檢測(cè)當(dāng)前數(shù)據(jù)遷移的數(shù)據(jù)重復(fù)率，對(duì)遷移的數(shù)據(jù)質(zhì)量進(jìn)行數(shù)據(jù)查重處理，保證遷移的數(shù)據(jù)質(zhì)量；按照本回信息遷移記錄的遷移數(shù)據(jù)數(shù)目，再次計(jì)算得出所述歷史參照數(shù)目和容錯(cuò)時(shí)長(zhǎng)其優(yōu)選的實(shí)施方式，還允許按照日志記錄的二維表結(jié)構(gòu)檢測(cè)二維表的完整性，然后據(jù)此對(duì)遷移DB的日志屬性值將二維表修補(bǔ)完整；適應(yīng)多種情況的數(shù)據(jù)遷移，并且可以自動(dòng)且可靠地進(jìn)行周期性的數(shù)據(jù)遷移。

技術(shù)領(lǐng)域

本發(fā)明數(shù)據(jù)存儲(chǔ)技術(shù)，具體是一種基于容錯(cuò)時(shí)間日志的基于容錯(cuò)時(shí)間日志的數(shù)據(jù)遷移的方法。

背景技術(shù)

隨著我國(guó)信息化建設(shè)的飛速發(fā)展，政府和企事業(yè)單位都已相繼部署了數(shù)據(jù)庫(kù)DB信息管理系統(tǒng)，將滿(mǎn)足日益增長(zhǎng)的信息存儲(chǔ)將及數(shù)據(jù)處理等需求。相關(guān)的業(yè)務(wù)數(shù)據(jù)對(duì)于使用者而言至關(guān)重要，是支撐其運(yùn)營(yíng)管理的寶貴資產(chǎn)，是關(guān)乎其生存與發(fā)展的關(guān)鍵問(wèn)題。

進(jìn)行DB之間的海量數(shù)據(jù)遷移，首先需要解決的主要問(wèn)題還是如何高效地捕獲增量數(shù)據(jù)將及如何從增量數(shù)據(jù)內(nèi)提取用戶(hù)的操作語(yǔ)句問(wèn)題。這跟靜態(tài)數(shù)據(jù)備份技術(shù)不一樣，那種備份技術(shù)適合集內(nèi)數(shù)據(jù)下的批量連續(xù)處理，效率很低，可控性差。

DB容災(zāi)，可將將數(shù)據(jù)遷移的手段，即在分布式網(wǎng)絡(luò)節(jié)點(diǎn)內(nèi)，實(shí)現(xiàn)主DB與冗余節(jié)點(diǎn)之間的遷移更新的方法。較為常見(jiàn)的DB遷移方法有：表復(fù)制和事務(wù)復(fù)制。前者是將源DB內(nèi)二維表某一個(gè)時(shí)刻的內(nèi)容復(fù)制到目標(biāo)DB，反映了源表最近內(nèi)容的一致?tīng)顟B(tài)，源表遷移到目標(biāo)表的頻率需要根據(jù)具體的環(huán)境和需求做出調(diào)整。這種遷移技術(shù)將表內(nèi)容遷移為基礎(chǔ)，雖然實(shí)現(xiàn)起來(lái)較為簡(jiǎn)單，但是無(wú)法保證表結(jié)構(gòu)之間關(guān)系完整性的遷移，然后且不適用于異構(gòu)DB之間的遷移，異構(gòu)DB是指擁有不同二維表結(jié)構(gòu)的DB。

然而由于事務(wù)執(zhí)行的連續(xù)性，事務(wù)復(fù)制也需要連續(xù)進(jìn)行，這導(dǎo)致事務(wù)復(fù)制不能針對(duì)某一局部時(shí)間段或局部數(shù)據(jù)進(jìn)行數(shù)據(jù)遷移，同時(shí)它也無(wú)法完美實(shí)現(xiàn)異構(gòu)DB之間的數(shù)據(jù)遷移。

在DB的使用階段內(nèi)，經(jīng)常需要進(jìn)行數(shù)據(jù)遷移，其原因可能是服 務(wù)器資源不足、網(wǎng)絡(luò)隔離、數(shù)據(jù)容災(zāi)等等。另一方面，隨著云計(jì)算技術(shù) 的發(fā)展，DB上云也變得越來(lái)越普遍，在此階段內(nèi)首先要做的就是將 DB數(shù)據(jù)遷移到云端。在DB遷移階段內(nèi)，通常對(duì)被遷移的二維表創(chuàng)建快照，將保證DB遷移前后，被遷移的 二維表一致步驟較為快速，但逐個(gè)解析被遷移的二維表，根據(jù)配置的遷移參數(shù)將被遷移的二維表拆分成多份然后封裝步驟所需的時(shí)間 受多個(gè)因素影響，包括DB服務(wù)器的IO能力，二維表的數(shù)量，二維表 的記錄數(shù)和拆分粒度等。從在生產(chǎn)環(huán)境內(nèi)的實(shí)踐來(lái)看，對(duì)類(lèi)似博客應(yīng)用 的數(shù)百GB大庫(kù)，有時(shí)需要分鐘級(jí)的處理時(shí)間。假使存在較大的非事務(wù)性二維表，導(dǎo)出非事務(wù)性二維表，例如MyISAM(MySQLDB原生的存 儲(chǔ)引擎步驟也需要耗費(fèi)不少時(shí)間。

發(fā)明內(nèi)容

為了解決相關(guān)技術(shù)內(nèi)存在的對(duì)數(shù)據(jù)遷移的遷移效率差的問(wèn)題，本公開(kāi)提供了另一種基于容錯(cuò)時(shí)間日志的數(shù)據(jù)遷移的方法，將提高遷移的準(zhǔn)確性

本發(fā)明提供一種基于容錯(cuò)時(shí)間日志的數(shù)據(jù)遷移的方法，該基于容錯(cuò)時(shí)間日志的數(shù)據(jù)遷移的方法允許高效地完成頻率性的數(shù)據(jù)遷移。

一種基于容錯(cuò)時(shí)間日志的數(shù)據(jù)遷移的方法，可將從待遷移DB內(nèi)把數(shù)據(jù)遷移到遷移DB內(nèi)，其特征在于，有下列步驟組成：

檢測(cè)系統(tǒng)時(shí)間是否不早于數(shù)據(jù)時(shí)刻加容錯(cuò)時(shí)長(zhǎng)；假使是，就進(jìn)入步驟B；假使不是，則等待規(guī)定時(shí)長(zhǎng)之后，再次進(jìn)行系統(tǒng)時(shí)間的檢測(cè)；

數(shù)據(jù)遷移，將待遷移DB的數(shù)據(jù)遷移到遷移DB的相對(duì)映射空間；同時(shí)，記錄所遷移的數(shù)據(jù)的數(shù)目；

檢測(cè)比較數(shù)據(jù)遷移的數(shù)目值是與當(dāng)前的歷史參照數(shù)目與預(yù)先設(shè)定的不大于1且大于0.8的系數(shù)的乘積值的大小關(guān)系；假使大于，則遷移完成；假使不大于，等待規(guī)定的準(zhǔn)備時(shí)長(zhǎng)，之后返回步驟B；同時(shí)，疊加準(zhǔn)備時(shí)長(zhǎng)；