[發明專利]數據遷移系統和方法

有效

• 申請號: 201610102852.0
• 申請日: 2016-02-24
• 公開（公告）號: CN107122361B
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 付大超
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/27
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許志勇;劉戈

1.一種數據遷移系統，其特征在于，包括：入口模塊，應用程序編程接口模塊、結構遷移模塊和全量遷移模塊；

所述入口模塊用于提供管理遷移任務的入口，接收由客戶端創建的遷移任務、指定的第一數據庫、指定的第二數據庫和所述第一數據庫的待遷移數據，所述遷移任務包括全量遷移；

所述應用程序編程接口模塊用于向所述客戶端提供服務接口，以根據所述遷移任務中的遷移類型調用全量遷移模塊；

所述結構遷移模塊，用于在全量遷移任務中的待遷移數據的數量超過預設門限時，將所述待遷移數據所使用的庫表列和對象遷移到所述第二數據庫；

所述全量遷移模塊，用于將所述待遷移數據從所述第一數據庫遷移到所述第二數據庫，當所述第一數據庫與第二數據庫異構時，通過預設的中間格式將所述待遷移數據的數據類型轉換為所述第二數據庫的數據類型，按照轉換后的數據類型將所述待遷移數據寫入所述第二數據庫。

2.如權利要求1所述的數據遷移系統，其特征在于，所述系統進一步包括第一遷移評估單元，

當所述遷移任務包括遷移評估時，所述第一遷移評估單元，接受所述應用程序編程接口模塊的調用，用于在所述全量遷移模塊對所述待遷移數據的進行遷移之前，根據所述第一數據庫和所述第二數據庫輸出評估報告，其中，所述評估報告包括所述第一數據庫的空間占用信息，庫表列和對象信息，執行的SQL以及處理性能信息，所述評估報告還包括所述第二數據庫的不兼容特性信息以及改造成本信息。

3.如權利要求1所述的數據遷移系統，其特征在于，所述結構遷移模塊，接受所述應用程序編程接口模塊的調用，用于當所述第一數據庫與所述第二數據庫異構時，通過預設的類型映射關系確定所述庫表列和對象在所述第二數據庫中的類型，在所述第二數據庫創建與所述類型相對應的庫表列和對象。

4.如權利要求3所述的數據遷移系統，其特征在于，所述系統進一步包括第二遷移評估單元，

當所述遷移任務包括遷移評估時，所述第二遷移評估單元，接受所述應用程序編程接口模塊的調用，用于在所述結構遷移模塊對所述待遷移數據所使用的庫表列和對象進行遷移之前，根據所述第一數據庫和所述第二數據庫輸出評估報告，其中，所述評估報告包括所述第一數據庫的空間占用信息，庫表列和對象信息，執行的SQL以及處理性能信息，所述評估報告還包括所述第二數據庫的不兼容特性信息以及改造成本信息。

5.如權利要求2-4任一項所述的數據遷移系統，其特征在于，所述系統進一步包括分布式調度模塊；

所述分布式調度模塊，用于監控遷移任務的執行狀態，并根據參與執行所述遷移任務的模塊的當前負載對所述遷移任務進行調度。

6.如權利要求5所述的數據遷移系統，其特征在于，所述分布式調度模塊通過統計數據遷移系統內參與執行所述遷移任務的模塊上執行的單元化的數量及內存占用率來進行所述遷移任務的調度。

7.如權利要求1所述的數據遷移系統，其特征在于，

所述全量遷移模塊在向所述第二數據庫寫入數據時，記錄已寫入數據的位點信息，用于斷點續傳。

8.如權利要求1所述的數據遷移系統，其特征在于，所述全量遷移模塊進一步用于，

當所述第一數據庫與所述第二數據庫同構時，將所述待遷移數據按照庫表列的當前結構進行遷移。

9.如權利要求1所述的數據遷移系統，其特征在于，所述全量遷移模塊進一步用于，

當所述第一數據庫與所述第二數據庫異構時，根據預設的中間格式來完成所述第一數據庫與所述第二數據庫之間數據類型的轉換。

10.如權利要求1所述的數據遷移系統，其特征在于，所述全量遷移模塊進一步用于，

在全量遷移過程中，若所述第一數據庫的庫名、表名、列名與所述第二數據庫的庫名、表名、列名不一致，則依據預設的庫表列的映射規則進行映射，將所述第一數據庫的庫表列的數據寫入到所述第二數據庫對應的庫表列。