[發明專利]數據轉移系統及方法

有效

• 申請號: 200910195025.0
• 申請日: 2009-09-02
• 公開（公告）號: CN102004745A
• 公開（公告）日: 2011-04-06
• 發明（設計）人: 陳林;茅毓銘;莊曉;魯志軍;楊燕明;白玫
• 申請（專利權）人: 中國銀聯股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 譚佐晞;李家麟

技術領域

本發明涉及數據轉移系統和方法，更具體地，涉及多平臺數據庫的數據轉移系統和方法。

背景技術

目前，隨著數據庫系統應用的不斷增加和日益普及，多個數據庫之間的數據轉移變得越來越常見和重要，并且，在同一數據庫應用系統中往往包含有多種平臺的數據庫，因此，同/異構數據庫之間的數據平滑轉移技術也是市場迫切需要的。商用數據庫具備一定的復制能力，但是必須在諸多限制的理想情況下工作，因而具有較大的局限性。獨立的數據復制軟件具有點對點復制數據庫的體系結構，因而不能靈活地解決具有復雜拓撲結構的多個同/異構數據庫間的數據轉移。此外還有針對特定應用系統而專門開發的數據轉移軟件，然而此種數據轉移軟件缺乏通用性。綜上所述，已有的數據庫間的數據轉移技術存在如下缺點：成本較高；對數據庫或數據表的影響較大，偶合度高(即適應于A類數據庫或數據表的數據轉移軟件不適應B類數據庫或數據表)，甚至需要在源數據庫上建立觸發器或依賴于特定數據庫產品的特定功能的支持，因而缺乏通用性和擴展性；功能單一，無法同時支持準實時(即分鐘級轉移)和實時(即秒級轉移)兩種模式的轉移；較難甚至無法實現異構數據庫間的數據轉移，即較難甚至無法實現數據的過濾、變形，從而數據庫系統的容災和恢復能力較差。

另外，隨著數據庫技術的迅速發展，大型數據庫系統為了滿足越來越多的應用需求，都支持并發操作。同時，為了進一步提高數據庫的插入性能，很多數據庫產品開始支持批量插入技術。已有的將大量待插入的動態數據迅速插入指定目標庫中的方法有如下幾種：(1)將待插入的動態數據保存成數據庫文件，通過數據庫備份或者通過數據庫提供的加載工具批量導入；(2)通過多進程并發，將數據通過多個鏈接插入到數據庫中；(3)通過批量插入，即一次提交多條數據。然而，上述方法存在如下缺點：方法(1)需要額外的磁盤空間，并且保存文件時的輸入/輸入操作比較耗時；在方法(2)中，雖然多進程并發執行，但是每個進程一次僅提交一條記錄，因而效率很低；在方法(3)中，如果一次提交大量數據，則需要較大的日志空間，因而一旦提交失敗，會造成整體失敗。因此，可以最大限度地發揮數據庫性能的批量插入技術也是市場迫切需要的。

發明內容

為了解決上述現有技術方案所存在的缺陷，本發明提出了一種可在數據庫間(包括同構和異構)進行數據轉移的數據轉移系統和方法，并且該數據轉移系統和方法同時支持準實時(即分鐘級轉移)和實時(即秒級轉移)兩種模式的數據轉移。

本發明的目的是通過以下技術方案實現的：

一種數據轉移系統，所述數據轉移系統包括至少一個主機、至少一個源數據庫、至少一個目標數據庫、參數配置數據庫以及控制數據庫；其中，所述參數配置數據庫與所述至少一個主機相連接，用于存儲配置參數并響應所述至少一個主機的請求而將所述配置參數提供給所述至少一個主機。所述控制數據庫與所述至少一個主機相連接，用于存儲控制信息并響應所述至少一個主機的請求而將所述控制信息提供給所述至少一個主機，所述至少一個源數據庫分別與所述至少一個主機相連接，用于提供待轉移的源數據，所述至少一個目標數據庫分別與所述至少一個主機相連接，用于接收待轉移的目標數據；并且，每個所述主機均包括總控模塊、源數據獲取服務模塊、目標表更新服務模塊，所述總控模塊用于總體調控轉移任務并裝載所述配置參數；其特征在于，所述源數據獲取服務模塊接受所述總控模塊的調度從而獲取源數據、生成目標數據、并調用目標表更新服務模塊，所述源數據獲取服務模塊分為主體和附件兩部分，所述主體部分用于讀取轉移任務的參數，加載附件，并調用所述轉移任務對應的子處理，所述附件部分為動態函數庫，所述動態函數庫封裝源數據獲取、數據形變子處理。

在上面公開的方案中，優選地，所述目標表更新服務模塊接受所述源數據獲取服務模塊的調度而將所述目標數據插入或更新到目標表中，并且所述目標表更新服務模塊分為主體和附件兩部分，所述主體部分用于讀取轉移任務的參數，加載附件，調用所述轉移任務對應的子處理，附件部分為動態函數庫，所述動態函數庫封裝目標數據的插入和更新子處理。

在上面公開的方案中，優選地，所述總控模塊為分鐘級轉移總控模塊或秒級轉移總控模塊，其中，所述分鐘級轉移總控模塊用于完成準實時數據轉移任務，所述秒級轉移總控模塊用于完成實時數據轉移任務。

在上面公開的方案中，優選地，所述目標表更新服務模塊進一步包括批量數據庫更新子模塊，所述批量數據庫更新子模塊以如下方式進行插入和/或更新過程：

(C1)將待插入的數據分割成塊，每塊可存放多條所述數據；