[發(fā)明專利]對全量源數(shù)據(jù)進行抽取轉換加載的裝置及方法

有效

• 申請?zhí)枺?/td>: 200910080065.0
• 申請日: 2009-03-18
• 公開（公告）號: CN101504664A
• 公開（公告）日: 2009-08-12
• 發(fā)明（設計）人: 陳慧;俞斌;趙亞華;張海軍
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中科專利商標代理有限責任公司
• 代理人: 周國城

1.一種對全量源數(shù)據(jù)進行抽取轉換加載的裝置，該裝置包括數(shù)據(jù)接收單元、數(shù)據(jù)處理單元、數(shù)據(jù)導出單元和數(shù)據(jù)庫，該數(shù)據(jù)庫具有一臨時工作區(qū)和一基礎區(qū)，且在該數(shù)據(jù)庫的基礎區(qū)中具有一目標表，其中，

數(shù)據(jù)接收單元，連接于數(shù)據(jù)庫，用于接收來自于源系統(tǒng)的全量源數(shù)據(jù)文件，并將該全量源數(shù)據(jù)文件加載到數(shù)據(jù)庫中的臨時工作區(qū)；

數(shù)據(jù)處理單元，連接于數(shù)據(jù)庫，用于對加載到數(shù)據(jù)庫臨時工作區(qū)中的全量源數(shù)據(jù)文件進行抽取轉換加載處理，并以歷史拉鏈形式將處理后的全量源數(shù)據(jù)保存到數(shù)據(jù)庫中；

數(shù)據(jù)導出單元，連接于數(shù)據(jù)庫，用于將保存到數(shù)據(jù)庫中的全量源數(shù)據(jù)導出，供其他系統(tǒng)使用；

所述數(shù)據(jù)庫具有的臨時工作區(qū)，能夠為所述數(shù)據(jù)處理單元創(chuàng)建臨時表提供空間；所述數(shù)據(jù)處理單元創(chuàng)建的臨時表包括：臨時表CUR、臨時表PRE、臨時表INS和臨時表UPD，所述臨時表CUR、臨時表PRE、臨時表INS、臨時表UPD的結構與目標表的結構一致，且臨時表CUR、臨時表PRE、臨時表INS和臨時表UPD是可變臨時表，僅存在于會話期間，當會話結束時將自動被刪除；在所述目標表中，結束日期等于最大日期的數(shù)據(jù)，是當前有效的數(shù)據(jù)；結束日期不等于最大日期的數(shù)據(jù)，是當前已經(jīng)無效的數(shù)據(jù)；對于所述目標表中無效的數(shù)據(jù)，需要將其進行“關鏈”，具體過程如下：將對應記錄的“結束日期”字段置為當前批量日期，則該記錄的有效期是截止到當前的批量日期；采用臨時表UPD中的記錄和目標表中的記錄進行比對，能夠查找目標表中哪些數(shù)據(jù)是“過期”、“作廢”的無效數(shù)據(jù)；采用目標表中的記錄和臨時表UPD中的記錄作逐條比對，若匹配成功，則將該條記錄的“結束日期”更改為當前批量日期，否則不變。

2.根據(jù)權利要求1所述的對全量源數(shù)據(jù)進行抽取轉換加載的裝置，其特征在于，在所述臨時表CUR中，具有標志歷史拉鏈的字段“開始日期”和“結束日期”，在處理臨時表CUR表時，“開始日期”字段統(tǒng)一為當前批量處理的工作日期，“結束日期”則統(tǒng)一成默認設置的最大日期。

3.根據(jù)權利要求1所述的對全量源數(shù)據(jù)進行抽取轉換加載的裝置，其特征在于，在所述臨時表CUR中存在、但在臨時表PRE中不存在的數(shù)據(jù)，是新增或更新過的數(shù)據(jù)，臨時表CUR中存放的數(shù)據(jù)是從數(shù)據(jù)庫臨時區(qū)中抽取而來的一份當日全量源數(shù)據(jù)，而臨時表PRE中存放的數(shù)據(jù)是目標表中當前有效的數(shù)據(jù)，采用臨時表CUR減去臨時表PRE能夠得到當日全量源數(shù)據(jù)中新增或修改的當日增量源數(shù)據(jù)；

在所述臨時表PRE中存在的數(shù)據(jù)，在目標表中目前仍然是有效的；但在臨時表CUR中不存在的數(shù)據(jù)，在全量源數(shù)據(jù)中已經(jīng)被刪除，屬于“過期”、“作廢”的數(shù)據(jù)。