[發明專利]數據提取、轉化和加載的方法及系統

無效

• 申請號: 201110359782.4
• 申請日: 2011-11-09
• 公開（公告）號: CN102508912A
• 公開（公告）日: 2012-06-20
• 發明（設計）人: 朱海全
• 申請（專利權）人: 深圳市同洲電子股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 牛崢;王麗琴

1.一種數據提取、轉換和加載的方法，其特征在于，為不同類型的數據源配置不同的抽取規則，該方法包括：

獲取待抽取數據源的類型，由獲取的類型調用并解析對應的抽取規則；

采用解析的抽取規則從待抽取數據源中抽取數據；

對抽取的數據進行轉換，將轉換后的數據加載到目標數據倉庫中。

2.如權利要求1所述的方法，其特征在于，所述獲取待抽取數據源的類型之前，該方法還包括：

啟動定時器，判斷定時時刻是否到來，如果是，則執行所述獲取待抽取數據源的類型的步驟，并重新啟動定時器；否則，繼續等待定時時刻的到來。

3.如權利要求1所述的方法，其特征在于，所述從待抽取數據源中抽取數據時，該方法還包括：

判斷待抽取數據源是否為空，如果是，則生成并上傳監測結果；否則，不生成監測結果。

4.如權利要求1所述的方法，其特征在于，所述將轉換后的數據加載到目標數據倉庫中包括：

采用批量處理方式，將轉換后的數據加載到目標數據倉庫中。

5.如權利要求1至4中任一項所述的方法，其特征在于，所述類型包括關系型和文件型。

6.一種數據提取、轉換和加載的系統，其特征在于，該系統包括規則配置單元、抽取單元、轉換單元和加載單元；

所述規則配置單元，用于為不同類型的數據源配置不同的抽取規則；

所述抽取單元，用于獲取待抽取數據源的類型，由獲取的類型從所述規則配置單元中調用并解析對應的抽取規則，采用解析的抽取規則從待抽取數據源中抽取數據，將抽取的數據發送給所述轉換單元；

所述轉換單元，用于對抽取的數據進行轉換，將轉換后的數據發送給所述加載單元；

所述加載單元，用于將轉換后的數據加載到所述目標數據倉庫中。

7.如權利要求6所述的系統，其特征在于，該系統還包括定時判斷單元，用于啟動定時器，判斷定時時刻是否到來，如果是，則向所述抽取單元發送執行命令，并重新啟動定時器；否則，繼續等待定時時刻的到來；所述抽取單元，還用于接收所述執行命令，然后執行所述獲取待抽取數據源的類型的步驟。

8.如權利要求6所述的系統，其特征在于，該系統還包括監測單元，用于在所述抽取單元從待抽取數據源中抽取數據時判斷待抽取數據源是否為空，如果是，則生成并上傳監測結果，否則，不生成監測結果。

9.如權利要求6所述的系統，其特征在于，所述加載單元采用批量處理的方式，將轉換后的數據加載到所述目標數據倉庫中。

10.如權利要求6至9中任一項所述的系統，其特征在于，所述類型包括關系型和文件型。