[發明專利]一種數據遷移方法和數據遷移服務器

在審

• 申請號: 201810002213.6
• 申請日: 2018-01-02
• 公開（公告）號: CN108280148A
• 公開（公告）日: 2018-07-13
• 發明（設計）人: 尹家彬;李曉群;陳深龍;趙泊瑄
• 申請（專利權）人: 中國民生銀行股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

本發明實施例公開了一種數據遷移方法及數據遷移服務器。所述數據遷移方法包括：接收數據遷移任務集合；所述數據遷移任務集合攜帶源數據庫標識、多個目標數據庫標識和數據分布信息；根據所述數據分布信息，在所述多個目標數據庫標識中確定待寫入目標數據庫標識；從所述源數據庫標識對應的源數據庫中讀取待遷移數據，并將所述待遷移數據寫入所述待寫入目標數據庫標識對應的目標數據庫中。根據本發明實施例，在實現數據分庫分表遷移的同時，無須設置大量復雜的遷移規則，減少了用戶的開發工作和維護工作，降低了數據遷移的成本。

技術領域

本發明實施例數據遷移領域，特別是一種數據遷移方法，以及，一種數據遷移服務器。

背景技術

由于互聯網行業的興起，帶動了分布式技術的興起和快速發展，越來越多的傳統行業采用分布式系統架構進行數據存儲。在分布式系統架構中，一個最基本技術，就是對數據進行水平拆分，即分庫分表技術。所謂分庫分表技術，就是將一張數據表中的數據，通過一定的規則分置在不同的數據庫或不同的數據表中。

在實現分庫分表時，需要對大量的數據進行遷移，尤其是一些核心的歷史數據的遷移。目前，通常是利用一些現有的數據抽取工具實現數據遷移，例如Kettle、Datastage和Informatica等數據處理軟件。

然而，在利用上述的數據處理軟件進行數據遷移時，因為要將源數據庫的數據寫入至多個數據庫的數據表中，因此，需要設置大量復雜的遷移規則，導致進行數據遷移時需要進行大量的開發工作和維護工作，增加了數據遷移的成本。

因此，現有技術的數據遷移方法存在著數據遷移成本較高的問題。

發明內容

本發明提供了一種數據遷移方法，以及，一種數據遷移服務器，以解決現有技術的數據遷移方法存在著數據遷移成本較高的問題。

為了解決上述技術問題，本發明實施例公開了一種數據遷移方法，應用于數據遷移服務器，所述方法包括：

接收數據遷移任務集合；所述數據遷移任務集合攜帶源數據庫標識、多個目標數據庫標識和數據分布信息；

根據所述數據分布信息，在所述多個目標數據庫標識中確定待寫入目標數據庫標識；

從所述源數據庫標識對應的源數據庫中讀取待遷移數據，并將所述待遷移數據寫入所述待寫入目標數據庫標識對應的目標數據庫中。

可選地，所述方法還包括：

當所述數據遷移任務集合對應的遷移數據量小于預設閾值時，針對所述數據遷移任務集合配置單個處理線程；

所述從所述源數據庫標識對應的源數據庫中讀取待遷移數據，并將所述待遷移數據寫入所述待寫入目標數據庫標識對應的目標數據庫中的步驟，包括：

調用所述單個處理線程從所述源數據庫標識對應的源數據庫中讀取待遷移數據，并將所述待遷移數據寫入所述待寫入目標數據庫標識對應的目標數據庫中。

可選地，所述數據遷移任務集合具有對應的數據分布特征，所述方法還包括：

當所述數據遷移任務集合對應的遷移數據量大于所述預設閾值、且所述數據遷移任務集合對應的數據分布特征符合預設分布特征時，針對所述數據遷移任務集合配置單個處理線程作為讀取線程，以及，配置單個處理線程為隊列分配線程，以及，配置至少一個處理線程為寫入線程；

所述從所述源數據庫標識對應的源數據庫中讀取待遷移數據，并將所述待遷移數據寫入所述待寫入目標數據庫標識對應的目標數據庫中的步驟，包括：

調用所述讀取線程從所述源數據庫標識對應的源數據庫中讀取待遷移數據，以及，調用所述隊列分配線程將讀取的待遷移數據形成多個數據隊列，調用所述寫入線程將所述多個數據隊列中的待遷移數據依次寫入所述待寫入目標數據庫標識對應的目標數據庫中。