[發明專利]數據提取、轉化和加載的方法及系統

無效

• 申請號: 201110359782.4
• 申請日: 2011-11-09
• 公開（公告）號: CN102508912A
• 公開（公告）日: 2012-06-20
• 發明（設計）人: 朱海全
• 申請（專利權）人: 深圳市同洲電子股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 牛崢;王麗琴

技術領域

本發明涉及數據處理技術，尤其涉及數據提取、轉換和加載(ETL，Extraction-Transformation-Loading)的方法及系統。

背景技術

現代企業在信息化建設過程中，逐漸面臨如何有效地利用企業中大量數據的問題，通過研究，目標數據倉庫可以提供一個集成的數據平臺，為數據分析和決策提供有效的支持。但數據源進入目標數據倉庫之前須對其進行異構集成，因數據源常常是異構的，所謂異構也就是各條數據的構架、數據規范等存在差異，就需要對數據進行異構集成處理，使數據達到一致性。數據ETL方案就是為目標數據倉庫提供一致性數據的方案。

目前，常用的數據ETL方案包括：

ETL系統接收來自業務處理系統的數據源后，調用預先設置好的抽取規則，對調用的抽取規則進行解析；采用解析的抽取規則從待抽取數據源中抽取數據；對抽取的數據進行轉換，將轉換后的數據加載到目標數據倉庫中。加載到目標數據庫的數據為具有一致性的統一目標數據，可作為聯機分析處理、數據挖掘的基礎。

圖1為現有ETL系統的結構示意圖，該系統包括抽取單元、轉換單元和加載單元；抽取單元調用并解析預先配置的抽取規則，從待抽取數據源中抽取數據，將抽取的數據發送給所述轉換單元；轉換單元對抽取的數據進行轉換，將轉換后的數據發送給所述加載單元；加載單元將轉換后的數據加載到所述目標數據倉庫中。

來自各業務處理系統的數據源類型不一，現有方案中，針對不同類型的數據源，采用對應的不同ETL系統進行處理。具體地，由于數據源類型不同，需要采用不同的抽取規則從待抽取數據源中抽取數據；然后，再對抽取的進行轉換和加載。

對每種不同類型的數據源，都需要采用相應的ETL系統進行處理，其成本較高。

發明內容

本發明提供了一種數據ETL的方法，該方法能夠節省成本。

本發明提供了一種數據ETL的系統，該系統能夠節省成本。

一種數據ETL的方法，該方法包括：

為不同類型的數據源配置不同的抽取規則；

獲取待抽取數據源的類型，由獲取的類型調用并解析對應的抽取規則；

采用解析的抽取規則從待抽取數據源中抽取數據；

對抽取的數據進行轉換，將轉換后的數據加載到目標數據倉庫中。

一種數據ETL的系統，該系統包括規則配置單元、抽取單元、轉換單元和加載單元；

所述規則配置單元，用于為不同類型的數據源配置不同的抽取規則；

所述抽取單元，用于獲取待抽取數據源的類型，由獲取的類型從所述規則配置單元中調用并解析對應的抽取規則，采用解析的抽取規則從待抽取數據源中抽取數據，將抽取的數據發送給所述轉換單元；

所述轉換單元，用于對抽取的數據進行轉換，將轉換后的數據發送給所述加載單元；

所述加載單元，用于將轉換后的數據加載到所述目標數據倉庫中。

從上述方案可以看出，本發明預先為不同類型的數據源配置不同的抽取規則，進行數據的ETL時，根據數據源類型的不同調用預先配置的相應抽取規則，解析調用的抽取規則，再由解析的抽取規則對數據源進行抽取，而后進行轉換和加載。采用本發明方案，通過一套方案便可完成對不同類型的數據源進行ETL處理，無需像現有技術針對不同類型的數據源采用不同的ETL方案進行處理，從而，節省了成本。

附圖說明

圖1為現有技術數據ETL的系統結構示意圖。

圖2為本發明數據ETL的方法示意性流程圖；

圖3為本發明數據ETL的系統結構示意圖。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚明白，下面結合實施例和附圖，對本發明進一步詳細說明。

本發明中，預先為不同類型的數據源配置不同的抽取規則，進行數據的ETL時，根據數據源類型的不同調用預先配置的相應抽取規則，解析調用的抽取規則，再由解析的抽取規則對數據源進行抽取，而后進行轉換和加載。參見圖2，為本發明數據ETL的方法示意性流程圖，該方法預先為不同類型的數據源配置不同的抽取規則，圖2的流程包括以下步驟：

步驟201，獲取待抽取數據源的類型，由獲取的類型調用并解析對應的抽取規則。

本步驟可采用多種方式觸發，例如，可隨機觸發，可周期性地觸發，也可在需要時觸發。以周期性觸發進行說明，該方式需設置定時器，在本步驟之前，啟動定時器，判斷定時時刻是否到來，如果是，則執行所述獲取待抽取數據源的類型的步驟，并重新啟動定時器；否則，繼續等待定時時刻的到來。