[發明專利]數據庫數據遷移方法及系統

在審

• 申請號: 201410583273.3
• 申請日: 2014-10-27
• 公開（公告）號: CN105528381A
• 公開（公告）日: 2016-04-27
• 發明（設計）人: 李東
• 申請（專利權）人: 青島金訊網絡工程有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種數據庫數據遷移方法，應用在分布式系統集群環境中，用于在第一數據 庫和第二數據庫之間遷移數據，其特征在于，該方法包括：配置數據庫遷移任 務的被批量調度的多個表任務對應的表任務信息，所述每個表任務將第一數據庫 中與該表任務對應的源數據表進行數據遷移；從第一數據庫讀出該表任務中需 遷移的源數據表的數據；并對該源數據表的數據進行分庫得到多個分庫數據表， 再將該多個分庫數據表導入到分布式文件系統中；及從所述分布式文件系統中將 該多個分庫數據表導出到第二數據庫中。

2.如權利要求1所述的數據庫數據遷移方法，其特征在于，通過表配置文件 來配置多個表任務對應的表任務信息。

3.如權利要求2所述的數據庫數據遷移方法，其特征在于，對應每個表任務， 所述表配置文件包括源配置和目標配置，所述源配置給出了第一數據庫中需 要遷移的源數據表的信息，所述目標配置給出了要把需要遷移的源數據表遷往 的第二數據庫中的目標數據表的信息。

4.如權利要求1所述的數據庫數據遷移方法，其特征在于，將第一數據庫中 數據導入到分布式文件系統中的過程包括：獲取并加載所調度的表任務的表任 務信息，所述表任務信息中包括該表任務對應需要遷移的源數據表的切分字段 及分庫字段信息；根據所述表任務信息中的切分字段將需要遷移的源數據表分 成第一數量的多個切片，并請求分布式系統集群對應每個切片形成一個第一映 射任務，所述每個第一映射任務都與第一數據庫連接并讀取源數據表的一個切 片；進一步請求分布式系統集群在所述每個第一映射任務中，根據所述表任 務信息中的分庫字段對該第一映射任務讀取的每個切片進行分庫得到第二數 量的分庫數據表，進一步請求分布式系統集群根據所述分庫后得到的每個分庫 數據表對應形成一個第一化簡任務；及由每個第一化簡任務將分庫后得到的每 個分庫數據表的數據寫入到分布式文件系統中。