[發明專利]一種基于數據倉庫自動化的數據遷移系統及方法

有效

• 申請號: 201410832607.6
• 申請日: 2014-12-29
• 公開（公告）號: CN104462562B
• 公開（公告）日: 2018-05-18
• 發明（設計）人: 郭鳳;楊培強;王永軍
• 申請（專利權）人: 浪潮軟件集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F21/62;H04L29/06
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

1.一種基于數據倉庫自動化的數據遷移方法，其特征在于包括以下步驟：

A：數據源端ETL任務將接口表中數據生成數據文件，并將接口表生成數據文件信息進行Md5加密，生成控制文件；

B：將數據文件組及控制文件作為一個接口單元上傳至ftp服務器；

C：目標主機ETL任務調起shell腳本，檢測ftp服務器中接口單元控制文件是否存在，如存在則表明接口單元中數據文件已全部接收，將接收到的數據文件信息進行Md5解密，與控制文件中信息進行比對，避免網絡傳輸過程中丟包導致的文件缺失，保證接收文件的完整性，進而保證數據的完整性；

D：數據文件校驗通過后進行入庫操作，ETL任務依次將數據文件入庫，入庫完成后調用稽核腳本，進行業務數據質量稽核；

所述數據源端ETL任務將接口表中數據生成數據文件，并將接口表生成數據文件信息進行Md5加密，生成控制文件的步驟包括：

A1：數據源端數據開始傳輸；

A2：在接口單元生成數據文件，數據文件根據其大小形成分卷形式的數據文件；

A3：在接口單元生成控制文件，對控制文件進行MD5加密，給控制文件標記識別碼以保證數據文件的完整性，識別碼包括數據文件記錄的條數以及密文信息；

A4：采用FTP傳輸模式將生成的數據文件、控制文件進行上傳，傳輸過程中可以采用串行傳輸或并行傳輸；

A5：在傳輸的過程中接口單元向入庫模塊發送郵件通知；

A6：完成傳輸。

2.根據權利要求1所述基于數據倉庫自動化的數據遷移方法，其特征在于：所述數據文件校驗通過后進行入庫操作，ETL任務依次將數據文件入庫，入庫完成后調用稽核腳本，進行業務數據質量稽核的步驟包括：

D1：入庫模塊開始接手數據文件入庫；

D2：入庫模塊檢驗控制文件是否存在，如果存在就進入下一步，如果不存在則繼續等待；

D3：在入庫模塊中對控制文件進行對比以檢驗文件是否符合要求，如果不符合要求就放棄入庫，如果符合要求就進入下一步；

D4：入庫模塊將數據文件入庫，并生成入庫日志；

D5：稽核數據文件腳本形成數據質量報告；

D6：向接口模塊發送郵件通知；

D7：完成數據入庫。