[發(fā)明專(zhuān)利]一種數(shù)據(jù)恢復(fù)和遷移的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710326159.6
• 申請(qǐng)日: 2017-05-10
• 公開(kāi)（公告）號(hào): CN108874811B
• 公開(kāi)（公告）日: 2021-01-26
• 發(fā)明（設(shè)計(jì)）人: 周振華
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類(lèi)號(hào): G06F16/21
• 分類(lèi)號(hào): G06F16/21;G06F11/14
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 張一軍;姜?jiǎng)?/td>

本發(fā)明提供一種數(shù)據(jù)恢復(fù)和遷移的方法和裝置。所述方法包括：配置步驟，配置數(shù)據(jù)恢復(fù)和遷移任務(wù)，對(duì)與所述任務(wù)相關(guān)聯(lián)的參數(shù)加以設(shè)置；讀數(shù)據(jù)步驟，根據(jù)所述參數(shù)，按照批次依次讀取歷史數(shù)據(jù)，為每批讀取的歷史數(shù)據(jù)單獨(dú)生成一個(gè)數(shù)據(jù)文件并加以緩沖存儲(chǔ)，并且將每個(gè)數(shù)據(jù)文件的數(shù)據(jù)范圍和讀數(shù)據(jù)標(biāo)記存入Redis；以及寫(xiě)數(shù)據(jù)步驟，根據(jù)所述參數(shù)，從Redis中獲取每批要恢復(fù)的數(shù)據(jù)范圍以及讀數(shù)據(jù)標(biāo)記，如果讀數(shù)據(jù)標(biāo)記為失敗，則終止，否則根據(jù)所述數(shù)據(jù)范圍按照批次依次將緩沖存儲(chǔ)的歷史數(shù)據(jù)恢復(fù)到源數(shù)據(jù)庫(kù)或遷移到目標(biāo)數(shù)據(jù)庫(kù)，并且將每個(gè)數(shù)據(jù)文件的數(shù)據(jù)范圍和寫(xiě)數(shù)據(jù)標(biāo)記存入Redis。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)及軟件領(lǐng)域，尤其涉及一種數(shù)據(jù)恢復(fù)和遷移的方法和裝置。

背景技術(shù)

隨著訪問(wèn)量的增長(zhǎng)，線上數(shù)據(jù)量增長(zhǎng)速度越來(lái)越快，運(yùn)營(yíng)人員需要定期地將關(guān)閉狀態(tài)的業(yè)務(wù)數(shù)據(jù)結(jié)轉(zhuǎn)到歷史庫(kù)或云存儲(chǔ)，結(jié)轉(zhuǎn)后的數(shù)據(jù)稱(chēng)為歷史數(shù)據(jù)。而歷史數(shù)據(jù)并非永久封存，可以說(shuō)它后續(xù)的生存意義更為重大，比如做數(shù)據(jù)分析、恢復(fù)到性能測(cè)試環(huán)境用來(lái)做壓測(cè)等。另外，針對(duì)大數(shù)據(jù)分析或線下測(cè)試，需要將關(guān)閉狀態(tài)的業(yè)務(wù)數(shù)據(jù)遷移到大數(shù)據(jù)平臺(tái)或測(cè)試數(shù)據(jù)庫(kù)。因此，就需要一種對(duì)歷史數(shù)據(jù)做恢復(fù)或遷移的方法和裝置。

當(dāng)前要將數(shù)據(jù)恢復(fù)到源數(shù)據(jù)庫(kù)或遷移到其他作用的數(shù)據(jù)庫(kù)，有如下幾種方式：

1)如果數(shù)據(jù)結(jié)轉(zhuǎn)到了云存儲(chǔ)，則可以按照當(dāng)時(shí)生成的外鏈下載數(shù)據(jù)文件，轉(zhuǎn)為SQL腳本，挑選出待恢復(fù)或遷移的數(shù)據(jù)，找到數(shù)據(jù)庫(kù)管理員，或提交到相關(guān)平臺(tái)，再由數(shù)據(jù)庫(kù)管理員處理。

2)如果結(jié)轉(zhuǎn)到某歷史庫(kù)，則需要找數(shù)據(jù)庫(kù)管理員或通過(guò)平臺(tái)提交提數(shù)申請(qǐng)，然后在將取到的數(shù)據(jù)文件通過(guò)數(shù)據(jù)庫(kù)管理員或某些平臺(tái)導(dǎo)入到目標(biāo)數(shù)據(jù)庫(kù)。

因此現(xiàn)有技術(shù)中的數(shù)據(jù)恢復(fù)或遷移存在如下的缺點(diǎn)：

1)對(duì)正常生產(chǎn)庫(kù)影響較大，操作起來(lái)不方便；

2)效率低，遷移數(shù)據(jù)時(shí)間較長(zhǎng)；

3)需要數(shù)據(jù)庫(kù)管理員密切配合，溝通成本較高；

4)出現(xiàn)問(wèn)題后處理成本高。中斷后想在中斷點(diǎn)續(xù)接比較麻煩，需要人工過(guò)多干預(yù)，人力成本高。

如下列出與本發(fā)明相關(guān)聯(lián)的一些術(shù)語(yǔ)：

歷史庫(kù)：保存結(jié)轉(zhuǎn)數(shù)據(jù)的數(shù)據(jù)庫(kù)，為一種關(guān)系型數(shù)據(jù)庫(kù)；

源數(shù)據(jù)庫(kù)：線上生成使用的數(shù)據(jù)庫(kù)；

LevelDB：一種非常高效的K-V數(shù)據(jù)庫(kù)；

JDBC(Java Data Base Connectivity，Java數(shù)據(jù)庫(kù)連接)：一種用于執(zhí)行SQL語(yǔ)句的Java API，可以為多種關(guān)系數(shù)據(jù)庫(kù)提供統(tǒng)一訪問(wèn)，它由一組用Java語(yǔ)言編寫(xiě)的類(lèi)和接口組成；

Redis：一個(gè)開(kāi)源的使用ANSI C語(yǔ)言編寫(xiě)、支持網(wǎng)絡(luò)、可基于內(nèi)存亦可持久化的日志型、Key-Value數(shù)據(jù)庫(kù)，并提供多種語(yǔ)言的API。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種數(shù)據(jù)恢復(fù)和遷移的方法和裝置，將結(jié)轉(zhuǎn)后的數(shù)據(jù)恢復(fù)到線上源數(shù)據(jù)庫(kù)或遷移到其他目的數(shù)據(jù)庫(kù)。將歷史數(shù)據(jù)靈活的恢復(fù)到源生產(chǎn)庫(kù)、靈活的遷移到目標(biāo)庫(kù)。利用Redis緩存保證數(shù)據(jù)安全續(xù)接并且利用LevelDB高速讀寫(xiě)提高效率。根據(jù)本發(fā)明的數(shù)據(jù)恢復(fù)和遷移效率高，操作簡(jiǎn)便靈活，不影響正常生產(chǎn)，并且出現(xiàn)問(wèn)題或中斷時(shí)可以輕松續(xù)接提高了安全和可靠性。同時(shí)，也節(jié)省了人力成本。

為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種數(shù)據(jù)恢復(fù)和遷移的方法。