[發明專利]數據遷移系統和方法

有效

• 申請號: 201610101890.4
• 申請日: 2016-02-24
• 公開（公告）號: CN107122355B
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 付大超
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/27
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許志勇;劉戈

本申請公開了一種數據遷移系統和方法，提供了一種支持同構及異構數據庫之間通用的數據遷移系統，能夠在停機和非停機狀態下進行全量遷移的完整的數據遷移系統；提供了全量遷移之后進行的全量校驗功能，使用戶及時發現遷移過程中的不一致性問題；提供了在非停機狀態下的增量遷移和增量校驗功能，使新增數據得到及時同步，并且對增量進行實時校驗，及時發現增量數據的不一致性問題。

技術領域

本申請屬于互聯網技術領域，具體地說，涉及一種數據遷移系統和方法。

背景技術

目前典型的數據遷移系統是通過全量遷移或者增量遷移完成數據遷移。例如Oracle的GoldenGate，GoldenGate是一種基于日志的結構化數據復制軟件，它通過解析源數據庫在線日志或歸檔日志獲得數據的增量變化，再將這些變化應用到目標數據庫，從而實現源數據庫與目標數據庫同步。GoldenGate可以在異構的IT基礎結構(包括幾乎所有常用操作系統平臺和數據庫平臺)之間實現大量數據亞秒一級的實時復制，從而在可以在應急系統、在線報表、實時數據倉庫供應、交易跟蹤、數據同步、集中/分發、容災等多個場景下應用。GoldenGate的數據集成技術實施主要包括三個進程(數據抽取進程、傳輸進程和應用進程)。

利用數據抽取進程在源數據庫讀取在線日志或歸檔日志，然后進行解析，只提取其中數據的變化如增、刪、改操作，并將相關信息轉換為自定義的中間格式存放在隊列文件中，再利用傳輸進程將隊列文件通過TCP/IP傳送到目標數據庫。數據抽取進程在每次讀完日志中的數據變化并在數據傳送到目標系統后，會寫檢查點，記錄當前完成抽取的日志的位置，檢查點的存在可以使數據抽取進程在中止并恢復后可從檢查點位置繼續復制日志。目標數據庫接收數據變化并緩存到隊列中，隊列為一系列臨時存儲數據變化的文件，等待應用進程讀取數據。應用進程從隊列中讀取數據變化并創建對應的SQL語句，通過數據庫的本地接口執行，提交到數據庫成功后更新自己的檢查點，記錄已經完成復制的位置。

還有一些類似的數據庫，如微軟的SQL Server Migration Assistant(簡稱SSMA)是由微軟發布的幫助客戶更容易地從Oracle/Sybase/MySQL/Access遷移到SQL Server以及SQL Azure的一個工具集。

微軟的SQL Server Migration Assistant不是一種通用的數據遷移系統，而Oracle的GoldenGate也只有增量遷移，而沒有全量遷移，

發明內容

有鑒于此，本申請所要解決的技術問題是提供了一種數據遷移系統和方法，以解決現有技術中缺少支持各種同構和異構數據庫之間進行全量遷移的通用的數據遷移系統的技術問題。

為了解決上述技術問題，本申請公開了一種數據遷移系統，包括：入口(Portal)模塊，應用程序編程接口(API)模塊，分布式調度模塊，全量遷移模塊，增量遷移模塊，全量校驗模塊，增量校驗模塊；

所述入口模塊用于提供管理遷移任務的入口，接收由客戶端創建的遷移任務和指定的第一數據庫、第二數據庫和所述第一數據庫的待遷移數據，所述遷移任務包括全量遷移、增量遷移、全量校驗、增量校驗；

所述應用程序編程接口模塊用于向所述客戶端提供服務接口，以根據所述遷移任務中的遷移類型調用對應的全量遷移模塊，增量遷移模塊，全量校驗模塊，增量校驗模塊；

所述分布式調度模塊用于監控各遷移任務的執行狀態，并根據各個設備的當前負載對遷移任務進行調度，以實現各個設備的負載均衡；

所述全量遷移模塊，用于將所述待遷移數據從所述第一數據庫遷移到所述第二數據庫，當所述第一數據庫與第二數據庫異構時，通過預設的中間格式將所述待遷移數據的數據類型轉換為所述第二數據庫的數據類型，按照轉換后的數據類型將所述待遷移數據寫入所述第二數據庫；