[發明專利]一種基于Excel的大數據ETL全過程定義的方法

在審

• 申請號: 201710566324.5
• 申請日: 2017-07-12
• 公開（公告）號: CN107315726A
• 公開（公告）日: 2017-11-03
• 發明（設計）人: 陳濤;黃卓凡;張志聰;李筍;林志廣
• 申請（專利權）人: 廣東奡風科技股份有限公司
• 主分類號: G06F17/22
• 分類號: G06F17/22;G06F17/24
• 代理公司: 東莞市神州眾達專利商標事務所(普通合伙)44251
• 代理人: 皮發泉

1. 一種基于Excel的大數據ETL全過程定義的方法，其特征在于：該方法包括ETL作業定制和元數據管理，通過Excel模板進行ETL 作業定制和元數據管理； ETL 作業定制包括參數設置、ETL 階段定制和數據加工流程定制, ETL作業是指一個獨立完整的數據加工過程；ETL 階段則是ETL 作業內部的數據加工階段；元數據管理包括元數據定義、元數據檢查和元數據導出。

2.根據權利要求1所述的基于Excel的大數據ETL全過程定義的方法，其特征在于：ETL作業定制中的參數設置在參數設置模板中進行，其中參數包括輸入參數、ETL作業參數、ETL階段參數，其中輸入參數是指ETL作業運行時的外部輸入參數，ETL作業參數是指ETL 作業內部參數，ETL階段參數是指ETL 階段之間傳遞的參數。

3.根據權利要求1所述的基于Excel的大數據ETL全過程定義的方法，其特征在于：ETL階段定制采用的模板分為兩大類, 一類是文件處理類模板，另一類是數據處理類模板。

4.根據權利要求3所述的基于Excel的大數據ETL全過程定義的方法，其特征在于：ETL階段定制模板的界面要素包括ETL階段屬性、處理邏輯、調試設置三部分內容。

5.根據權利要求4所述的基于Excel的大數據ETL全過程定義的方法，其特征在于：ETL 階段屬性包含如下屬性：

ID：用于唯一標識ETL 作業中的每一個ETL 階段；

TYPE：選擇本ETL 階段所屬的類別，不同類型的ETL 階段，對應的處理邏輯不同;

FROM：源ETL 階段 ID，支持多個源ETL 階段 ID作為本ETL 階段的輸入；

TO：目標ETL 階段 ID，支持多個目標ETL 階段 ID作為本ETL 階段的輸出；

DESCRIPTION：對本ETL 階段的文字說明。

6.根據權利要求5所述的基于Excel的大數據ETL全過程定義的方法，其特征在于：在每個ETL階段模板中定義“FROM”和“TO”，分別設置數據來源的ETL 階段 ID和數據輸出目標的ETL 階段 ID；ETL 作業根據“FROM”和“TO”的定義來連接ETL 階段，并組合成ETL 作業的內部數據加工處理流程；“FROM”和“TO”能將前后連接的ETL 階段設置為多對一或者一對多關系。

7.根據權利要求6所述的基于Excel的大數據ETL全過程定義的方法，其特征在于：元數據檢查是根據元數據規范對元數據進行檢查，元數據包括：數據來源、數據字段、字段數據類型、字段長度、字段數據格式、數據轉換規則、表達式、ETL算子的數據處理邏輯、設置ETL 作業ID的“FROM”和“TO”串接而成的數據加工處理流程，以及ETL 作業 ID和Excel 工作表名稱的對應關系；元數據檢查過程中還將檢查結果輸出元數據檢查報告。

8.根據權利要求7所述的基于Excel的大數據ETL全過程定義的方法，其特征在于：元數據導出是將Excel模板中的元數據導出為元數據控制文件，作為ETL系統的元數據輸入；元數據控制文件采用XML文件保存元數據。

9.根據權利要求1所述的基于Excel的大數據ETL全過程定義的方法, 其特征在于：一個Excel工作簿模板對應一個ETL 作業模板，一個Excel工作簿含有多個Excel工作表，其中一個Excel工作表用于在ETL作業中設置參數，其它Excel工作表對應ETL 階段模板。

10.根據權利要求9所述的基于Excel的大數據ETL全過程定義的方法, 其特征在于：每個Excel工作表模板分為左右兩邊，左邊是注釋，右邊是具體設置內容。