[發明專利]一種實現斷點續傳的增量式數據遷移方法

在審

• 申請號: 201110436695.4
• 申請日: 2011-12-23
• 公開（公告）號: CN102495906A
• 公開（公告）日: 2012-06-13
• 發明（設計）人: 周宇;張熠;蔣志勇;何清法;馮柯;顧云蘇;郭一兵;關剛;李陽;孟勃榮
• 申請（專利權）人: 天津神舟通用數據技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及數據庫系統數據遷移技術，尤其是涉及一種實現斷點續傳機制的增量式數據遷移方法。

背景技術

隨著企業信息化的發展，原有的數據庫系統可能不能滿足企業當前的需要，舊的數據庫系統需要轉換到新的數據庫系統，通常是異構的數據庫系統。為了有效地利用舊系統的歷史數據，舊數據庫中的各種對象，尤其是表對象和數據需要移植到另外一種目標數據庫中。這就必不可少的涉及到數據庫系統的數據遷移問題。數據遷移是指在不同數據庫之間將源數據庫中的數據遷移到目標數據庫中。遷移的質量和效率往往是新系統成功上線的重要前提，也是新系統今后穩定運行的有力保障。

現有的數據遷移工具和方法一般先制定好本次遷移的任務，視整個的遷移任務為一個整體，對遷移中斷的情況不做考慮。雖然商業上的遷移工具一般都提供遷移日志，會給用戶提供哪些數據庫對象遷移成功，哪些遷移失敗的信息，但是不會在遷移的機制中考慮和利用這些信息。

已有的遷移工具和方法存在著如下兩個問題：

1、未能考慮到遷移中斷的情況。

用戶的業務涉及的數據量往往是巨大的，尤其對于海量數據庫，其中的表可能會有幾萬張，每張表的記錄數可能達到上億條。這就導致遷移的過程耗時會很長，過程中出現網絡中斷、系統或應用程序崩潰等異常情況的可能性因素大大增加，而萬一發生這些異常情況而導致遷移中斷，用戶或者整體重新遷移一遍，覆蓋掉以前的遷移成果，導致上一次的遷移前功盡棄；或者用戶手工篩選出還未完成遷移的任務，改變下次遷移任務的范圍，而對于海量數據庫，手工篩選任務費時費力，出錯幾率增加，正確性難以保證。

2、個別方法和工具考慮到了遷移中斷和斷點續傳的情況，但是方案過于簡單，局限性較大。

文獻“異構數據庫遷移的設計和實現，計算機應用研究，2006年第12期”給出了一種簡單的斷點續傳的數據遷移方法，如果遷移中斷，目的表中的數據肯定比源端表的數據少，當再次遷移時，該方法從源端數據庫中取得源端表的結果集，以目的端的行數為基準，移動源端結果集的游標到一位置A，則從游標位置A到結果集末尾的所有記錄即是本次需要繼續遷移的對象。

該方法的局限性體現在：

第一：該方法以源端表和目的端表的記錄數為依據，斷點續傳的遷移只能作用于表的內部，而未能考慮到表對象級別的續傳。如果遷移發生中斷，該方法不能直接判斷出是哪張表發生了遷移中斷，此次遷移任務中，哪些表已經成功遷移，哪些表未能遷移，需要從哪里開始。當然也可將該方法作用于所有表的遷移，但是已經成功遷移的表也需要做大量判斷，遷移效率將大大降低。

第二：該方法嚴格要求在被中斷的遷移和和下一次的斷點續傳的遷移之間，遷移任務涉及的目的端的表對象的記錄數必須保持不變。萬一發生變化，比如在被中斷的遷移和斷點續傳的遷移之間，用戶在目的端表插入了新的一行記錄，則該方法不再適用。

第三：未能考慮和不適用于索引、序列等其它數據庫對象。例如，對于數據量較大的表，索引的建立也可能耗費相當長的時間，如果遷移發生中斷，則該方法不能判斷出哪些索引已經建立，哪些還未建立，如果要得到答案，可能需要人工查找目標庫或者遷移日志，費時費力，降低了遷移效率。

發明內容

針對上述遷移中斷時重復遷移數據和簡單的基于行數的表內部的斷點續傳的問題，本發明提供了一種全新的實現斷點續傳的數據遷移方法，該方法能夠實現表對象、索引、序列的斷點續遷；對于記錄級別的斷點續遷，也有較高的可靠性和效率。

本發明所述的數據遷移的斷點續傳不同于文件傳輸的斷點續傳，文件傳輸往往以字節為單位進行操作的，因此，它的傳輸可以從每個字節重新傳輸。而本發明所涉及的數據庫遷移的斷點續傳是以如表對象、記錄、索引為單位的。重新執行遷移任務時，從中斷點繼續遷移，只遷移未完成的表、記錄和索引。本發明所涉及的斷點續傳的遷移方法主要包括兩方面：基于遷移任務的遷移中斷狀態保存和遷移中斷狀態恢復。該方法所實現的數據遷移采用下列步驟：

A、建立和保存遷移項目：包括遷移的項目名稱和本次的遷移任務(或稱遷移計劃)。具體的操作為：連接源數據庫和目的數據庫，選擇要遷移的表對象、索引。遷移任務的內容包括：源數據庫、目的數據庫、遷移狀態、表對象、索引。其中表對象是按表名排序保存的。保存遷移項目的狀態設置為“未完成”。