[發(fā)明專利]數(shù)據(jù)轉(zhuǎn)移系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 200910195025.0
• 申請日: 2009-09-02
• 公開（公告）號: CN102004745A
• 公開（公告）日: 2011-04-06
• 發(fā)明（設(shè)計）人: 陳林;茅毓銘;莊曉;魯志軍;楊燕明;白玫
• 申請（專利權(quán)）人: 中國銀聯(lián)股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 譚佐晞;李家麟

1.一種數(shù)據(jù)轉(zhuǎn)移系統(tǒng)，所述數(shù)據(jù)轉(zhuǎn)移系統(tǒng)包括至少一個主機、至少一個源數(shù)據(jù)庫、至少一個目標數(shù)據(jù)庫、參數(shù)配置數(shù)據(jù)庫以及控制數(shù)據(jù)庫；其中，所述參數(shù)配置數(shù)據(jù)庫與所述至少一個主機相連接，用于存儲配置參數(shù)并響應(yīng)所述至少一個主機的請求而將所述配置參數(shù)提供給所述至少一個主機；所述控制數(shù)據(jù)庫與所述至少一個主機相連接，用于存儲控制信息并響應(yīng)所述至少一個主機的請求而將所述控制信息提供給所述至少一個主機，所述至少一個源數(shù)據(jù)庫分別與所述至少一個主機相連接，用于提供待轉(zhuǎn)移的源數(shù)據(jù)，所述至少一個目標數(shù)據(jù)庫分別與所述至少一個主機相連接，用于接收待轉(zhuǎn)移的目標數(shù)據(jù)；并且，每個所述主機均包括總控模塊、源數(shù)據(jù)獲取服務(wù)模塊、目標表更新服務(wù)模塊，所述總控模塊用于總體調(diào)控轉(zhuǎn)移任務(wù)并裝載所述配置參數(shù)；

其特征在于，所述源數(shù)據(jù)獲取服務(wù)模塊接受所述總控模塊的調(diào)度從而獲取源數(shù)據(jù)、生成目標數(shù)據(jù)、并調(diào)用目標表更新服務(wù)模塊，所述源數(shù)據(jù)獲取服務(wù)模塊分為主體和附件兩部分，所述主體部分用于讀取轉(zhuǎn)移任務(wù)的參數(shù)，加載附件，并調(diào)用所述轉(zhuǎn)移任務(wù)對應(yīng)的子處理，所述附件部分為動態(tài)函數(shù)庫，所述動態(tài)函數(shù)庫封裝源數(shù)據(jù)獲取、數(shù)據(jù)形變子處理。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)轉(zhuǎn)移系統(tǒng)，其特征在于，所述目標表更新服務(wù)模塊接受所述源數(shù)據(jù)獲取服務(wù)模塊的調(diào)度而將所述目標數(shù)據(jù)插入或更新到目標表中，并且所述目標表更新服務(wù)模塊分為主體和附件兩部分，所述主體部分用于讀取轉(zhuǎn)移任務(wù)的參數(shù)，加載附件，調(diào)用所述轉(zhuǎn)移任務(wù)對應(yīng)的子處理，附件部分為動態(tài)函數(shù)庫，所述動態(tài)函數(shù)庫封裝目標數(shù)據(jù)的插入和更新子處理。

3.根據(jù)權(quán)利要求1-2中任一個權(quán)利要求所述的數(shù)據(jù)轉(zhuǎn)移系統(tǒng)，其特征在于，所述總控模塊為分鐘級轉(zhuǎn)移總控模塊或秒級轉(zhuǎn)移總控模塊，其中，所述分鐘級轉(zhuǎn)移總控模塊用于完成準實時數(shù)據(jù)轉(zhuǎn)移任務(wù)，所述秒級轉(zhuǎn)移總控模塊用于完成實時數(shù)據(jù)轉(zhuǎn)移任務(wù)。

4.根據(jù)權(quán)利要求1-3中任一個權(quán)利要求所述的數(shù)據(jù)轉(zhuǎn)移系統(tǒng)，其特征在于，所述目標表更新服務(wù)模塊進一步包括批量數(shù)據(jù)庫更新子模塊，所述批量數(shù)據(jù)庫更新子模塊以如下方式進行插入和/或更新過程：

(C1)將待插入的數(shù)據(jù)分割成塊，每塊可存放多條所述數(shù)據(jù)；

(C2)多個數(shù)據(jù)庫操作進程中的每個進程每次以排他的方式讀取一塊數(shù)據(jù)，然后采用批量插入或批量更新的方式將所述數(shù)據(jù)插入或更新到所述目標數(shù)據(jù)庫中；

(C3)如果步驟(C2)成功，則所述進程可以繼續(xù)處理其他數(shù)據(jù)塊，如果步驟(C2)失敗，則采用單個插入或更新的方式將所述數(shù)據(jù)插入或更新到所述目標數(shù)據(jù)庫中，記錄操作失敗記錄對應(yīng)的錯誤日志并繼續(xù)處理其他數(shù)據(jù)塊。

5.根據(jù)權(quán)利要求1-4中任一個權(quán)利要求所述的數(shù)據(jù)轉(zhuǎn)移系統(tǒng)，其特征在于，所述總控模塊部署于每個所述主機上，其中，所述至少一個主機中只有一個主機具有任務(wù)調(diào)度功能。

6.根據(jù)權(quán)利要求1-5中任一個權(quán)利要求所述的數(shù)據(jù)轉(zhuǎn)移系統(tǒng)，其特征在于，所述源數(shù)據(jù)獲取服務(wù)模塊包括形變處理子模塊，所述形變處理子模塊通過調(diào)用動態(tài)形變函數(shù)而完成對源數(shù)據(jù)的形變處理，從而生成目標數(shù)據(jù)。

7.根據(jù)權(quán)利要求1-6中任一個權(quán)利要求所述的數(shù)據(jù)轉(zhuǎn)移系統(tǒng)，其特征在于，所述至少一個源數(shù)據(jù)庫和所述至少一個目標數(shù)據(jù)庫是異構(gòu)的。

8.根據(jù)權(quán)利要求1-7中任一個權(quán)利要求所述的數(shù)據(jù)轉(zhuǎn)移系統(tǒng)，其特征在于，所述參數(shù)配置數(shù)據(jù)庫和所述控制數(shù)據(jù)庫共存于一個數(shù)據(jù)庫中。