[發明專利]一種基于數據倉庫自動化的數據遷移系統及方法

有效

• 申請號: 201410832607.6
• 申請日: 2014-12-29
• 公開（公告）號: CN104462562B
• 公開（公告）日: 2018-05-18
• 發明（設計）人: 郭鳳;楊培強;王永軍
• 申請（專利權）人: 浪潮軟件集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F21/62;H04L29/06
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

本發明一種基于數據倉庫自動化的數據遷移系統及方法，包括觸發模塊、接口單元、入庫模塊、服務器模塊，其中觸發單元跟接口單元相互連接，接口單元跟入庫單元相互連接，觸發模塊、接口單元、入庫模塊均與服務器模塊相互連接。分發明通過ETL（將數據從來源端經過萃取（extract）、轉置（transform）、加載（load）至目的端的過程）定時任務自動化執行，采用主流網絡傳輸協議ftp傳輸數據文件，全程無需人工干預，真正實現了安全、可靠、有效的自動化數據遷移。

技術領域

本發明涉及數出處理技術領域，特別是一種采用主流網絡傳輸協議(ftp)傳輸數據文件的數據遷移系統及方法。

背景技術

隨著大數據時代的到來，數據倉庫技術的迅速發展，人們將越來越多的意識到數據對企業的重要性。而系統之間的數據交互需求也越來越多。數據庫之間的數據遷移一直以來都是一個難題。傳統的數據遷移方案過多的依賴于數據庫，如：通過dblink方式打通數據庫連接。缺點如下：1、過分的依賴于數據庫，若連接中斷不能自動恢復2、長時間的數據交互增加了數據庫的負載，影響數據庫性能3、需要人工干預，工作量大。4、數據庫之間耦合度太高，安全性得不到保障。

發明內容

本發明的目的在于提供一種全程無需人工干預，真正實現安全、可靠、有效的自動化數據遷移系統及方法。

為達到上述目的，本發明采用如下技術方案：

一種基于數據倉庫自動化的數據遷移系統，包括觸發模塊、接口單元、入庫模塊、服務器模塊，其中觸發單元跟接口單元相互連接，接口單元跟入庫單元相互連接，觸發模塊、接口單元、入庫模塊均與服務器模塊相互連接。

在其中一個實施例中，所述觸發模塊是通過ETL定時任務自動化執行來觸發數據遷移。

在其中一個實施例中，所述接口單元包括數據文件和控制文件。

在其中一個實施例中，所述入庫模塊包括入庫日志和數據質量報告。

在其中一個實施例中，所述服務器模塊包括接口服務器、目標服務器、FTP服務器。

在其中一個實施例中，所述數據文件采用分卷傳輸，傳輸方式為FTP傳輸，傳輸模式包括并行傳輸或串行傳輸。

在其中一個實施例中，所述控制文件通過FTP傳輸方式傳輸，所述控制文件采用MD5加密，具有識別碼，所述識別碼包括記錄條數和密文信息。

本發明另一技術方案為：

一種數據遷移方法，包括以下步驟：

A：數據源端ETL任務將接口表中數據生成數據文件，并將接口表生成數據文件信息進行Md5加密，生成控制文件；

B：將數據文件組及控制文件作為一個接口單元上傳至ftp服務器；

C：目標主機ETL任務調起shell腳本，檢測ftp服務器中接口單元控制文件是否存在，如存在則表明接口單元中數據文件已全部接收，將接收到的數據文件信息進行Md5解密，與控制文件中信息進行比對，避免網絡傳輸過程中丟包導致的文件缺失，保證接收文件的完整性，進而保證數據的完整性；

D：數據文件校驗通過后進行入庫操作，ETL任務依次將數據文件入庫，入庫完成后調用稽核腳本，進行業務數據質量稽核。

步驟A中：數據源端ETL任務將接口表中數據生成數據文件，并將接口表生成數據文件信息進行Md5加密，生成控制文件包括：

A1：數據源端數據開始傳輸；

A2：在接口單元生成數據文件，數據文件根據其大小形成分卷形式的數據文件；