[發(fā)明專利]一種海量數(shù)據(jù)遷移的方法及裝置

在審

• 申請?zhí)枺?/td>: 201210592673.1
• 申請日: 2012-12-29
• 公開（公告）號: CN103914458A
• 公開（公告）日: 2014-07-09
• 發(fā)明（設(shè)計）人: 蘆薇
• 申請（專利權(quán)）人: 中國移動通信集團河北有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京中譽威圣知識產(chǎn)權(quán)代理有限公司 11279
• 代理人: 郭振興;叢芳

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫技術(shù)領(lǐng)域，尤其涉及一種海量數(shù)據(jù)遷移的方法及裝置。

背景技術(shù)

隨著業(yè)務(wù)發(fā)展對系統(tǒng)的硬件進行擴容、系統(tǒng)架構(gòu)的變更、平臺轉(zhuǎn)換等等原因都會需要對系統(tǒng)的數(shù)據(jù)進行遷移。其中針對海量數(shù)據(jù)數(shù)據(jù)的遷移的技術(shù)方案有以下三種：

一、使用數(shù)據(jù)庫自帶的邏輯導(dǎo)入、導(dǎo)出工具，如oracle的export、import。

使用該方案進行遷移，可以實現(xiàn)跨平臺遷移。為了保證遷移數(shù)據(jù)的一致性，業(yè)務(wù)服務(wù)必須中斷，針對海量數(shù)據(jù)、中斷時間長。導(dǎo)出導(dǎo)入時可以使用全庫，用戶模式，或者表模式。

二、使用數(shù)據(jù)庫自帶的物理備份工具進行恢復(fù)，如oracle的rman。

使用該方案，將平時的備份數(shù)據(jù)進行恢復(fù)，為了保證遷移數(shù)據(jù)的一致性，業(yè)務(wù)服務(wù)必須中斷，中斷時間較短。如果源數(shù)據(jù)庫為非歸檔模式，該恢復(fù)方法無法使用，因為恢復(fù)的是全庫備份時間點的數(shù)據(jù)。

三、使用存貯廠家提供的底層同步工具。

使用該方案，遷移前開始實時同步，到割接時，短暫業(yè)務(wù)中斷后，同步完成即可。

現(xiàn)有的技術(shù)存在如下缺陷：

方案一的業(yè)務(wù)中斷時間過長。為了保證遷移數(shù)據(jù)的完整，首先中斷業(yè)務(wù)，然后開始把數(shù)據(jù)使用邏輯導(dǎo)出工具把數(shù)據(jù)導(dǎo)出，然后再使用邏輯導(dǎo)入工具導(dǎo)入數(shù)據(jù)。使用該方法，數(shù)據(jù)遷移的時間是實施備份的時間加上實施恢復(fù)的時間。

方案二的業(yè)務(wù)中斷時間比起方案一要少，因為直接從日常的磁帶備份恢復(fù)，數(shù)據(jù)遷移的時間是實施恢復(fù)的時間。但是該種方法無法應(yīng)用于跨平臺的數(shù)據(jù)遷移，同時要求源端為歸檔模式。

方案三業(yè)務(wù)中斷時間最短，但是對源端、目的端的要求最苛刻、必須是同平臺、同時要求是相同存貯、數(shù)據(jù)庫為相同數(shù)據(jù)庫文件結(jié)構(gòu)。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中海量數(shù)據(jù)遷移時間過長、對于數(shù)據(jù)庫種類要求多、數(shù)據(jù)遷移時需要長時間中斷業(yè)務(wù)的技術(shù)問題，本發(fā)明提出一種海量數(shù)據(jù)遷移的方法及裝置，能夠大大減少數(shù)據(jù)遷移時間、業(yè)務(wù)中斷時間以及對于數(shù)據(jù)庫種類的要求。

本發(fā)明的一個方面，提供一種海量數(shù)據(jù)遷移的方法，包括以下步驟：創(chuàng)建遷移配置表；根據(jù)預(yù)設(shè)時間周期內(nèi)所述海量數(shù)據(jù)是否發(fā)生變化判斷遷移數(shù)據(jù)類型；根據(jù)所述遷移數(shù)據(jù)類型修改所述遷移配置表；根據(jù)所述遷移配置表遷移所述海量數(shù)據(jù)。

本發(fā)明的另一個方面，提供一種海量數(shù)據(jù)遷移的裝置，包括遷移配置表創(chuàng)建模塊、遷移數(shù)據(jù)類型判斷模塊、遷移配置表修改模塊和數(shù)據(jù)遷移模塊，其中，所述遷移配置表創(chuàng)建模塊，用于創(chuàng)建遷移配置表；所述遷移數(shù)據(jù)類型判斷模塊，用于根據(jù)預(yù)設(shè)時間周期內(nèi)所述海量數(shù)據(jù)是否發(fā)生變化判斷遷移數(shù)據(jù)類型；所述遷移配置表修改模塊，用于根據(jù)所述遷移數(shù)據(jù)類型修改所述遷移配置表；所述數(shù)據(jù)遷移模塊，用于根據(jù)所述遷移配置表遷移所述海量數(shù)據(jù)。

本發(fā)明的海量數(shù)據(jù)遷移的方法及裝置，通過對需要遷移的數(shù)據(jù)進行分析把數(shù)據(jù)分類，使用遷移配置表對各種類型的數(shù)據(jù)進行相應(yīng)的數(shù)據(jù)遷移，能夠支持多種平臺，大大減少業(yè)務(wù)中斷時間，使得整個遷移過程可控。

附圖說明

圖1是本發(fā)明實施例海量數(shù)據(jù)遷移的方法的流程圖；

圖2是本發(fā)明實施例優(yōu)選的海量數(shù)據(jù)遷移方法的流程圖；

圖3是本發(fā)明實施例中通過自動處理腳本程序遷移所述動態(tài)數(shù)據(jù)的流程圖；

圖4是本發(fā)明實施例中割接當(dāng)晚數(shù)據(jù)遷移流程示意圖；

圖5是本發(fā)明實施例海量數(shù)據(jù)遷移的裝置的結(jié)構(gòu)示意圖。

具體實施方式

圖1為本發(fā)明實施例海量數(shù)據(jù)遷移的方法的流程圖。如圖1所示，包括以下步驟：

步驟101、創(chuàng)建遷移配置表；

步驟102、根據(jù)預(yù)設(shè)時間周期內(nèi)所述海量數(shù)據(jù)是否發(fā)生變化判斷遷移數(shù)據(jù)類型；

步驟103、根據(jù)所述遷移數(shù)據(jù)類型修改所述遷移配置表；

步驟104、根據(jù)所述遷移配置表遷移所述海量數(shù)據(jù)。

該實施例對需要遷移的數(shù)據(jù)進行分析，將需要遷移的數(shù)據(jù)分為無變化數(shù)據(jù)、變化頻繁的大表數(shù)據(jù)、小表數(shù)據(jù)。使用配置表對各類表進行標志、并標志目前狀態(tài)，正在復(fù)制，還是復(fù)制結(jié)束。通過大型數(shù)據(jù)庫提供的內(nèi)部表監(jiān)控，如ORACLE的表監(jiān)控功能，可以監(jiān)控表的DML操作次數(shù)，分析出近一月沒有變化的數(shù)據(jù)，此類數(shù)據(jù)位靜態(tài)遷移數(shù)據(jù)。對此類數(shù)據(jù)，使用oracle的export、import工具提前進行導(dǎo)入、導(dǎo)出。