[發明專利]ETL文件拆分方法及裝置

在審

• 申請號: 202110515461.2
• 申請日: 2021-05-12
• 公開（公告）號: CN113157793A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 丁鵬里
• 申請（專利權）人: 中國建設銀行股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/17;G06F16/14;G06F16/16
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 賈磊;李輝

本發明公開了一種ETL文件拆分方法及裝置，涉及自動程序設計的技術領域，其中該方法包括：根據ETL文件的內容，分別提取ETL文件中多個ETL作業的系統設置信息；根據ETL文件的內容，分別提取ETL文件中多個ETL作業的加工配置信息；將每個ETL作業的系統設置信息與加工配置信息拼接為單獨的ETL文件。本發明涉及自動程序設計的技術領域，本發明實施例分別提取ETL文件中多個ETL作業的系統設置信息和加工配置信息，將每個ETL作業的系統設置信息與加工配置信息拼接為單獨的ETL文件，從而有效實現對ETL文件的拆分，便于使用者操作及運維。

技術領域

本發明涉及自動程序設計的技術領域，尤其涉及一種ETL文件拆分方法及裝置。

背景技術

本部分旨在為權利要求書中陳述的本發明實施例提供背景或上下文。此處的描述不因為包括在本部分中就承認是現有技術。

ETL是英文Extract-Transform-Load的縮寫，用來描述將數據從來源端經過抽取(extract)、轉換(transform)、加載(load)至目的端的過程。目的是將企業中的分散、零亂、標準不統一的數據整合到一起，為企業的決策提供分析依據，ETL是BI(商業智能)項目一個重要的環節。

ETL的流程可以用任何的編程語言去開發完成，由于ETL是極為復雜的過程，而手寫程序不易管理，有愈來愈多的企業采用工具協助ETL的開發，并運用其內置的metadata功能來存儲來源與目的的對應(mapping)以及轉換規則。例如，DataStage就是IBM公司的一種數據集成軟件平臺，幫助進行ETL加工，DSJOB是DataStage軟件生成的ETL作業JOB。在實際應用中，會對不同的場景及應用進行多個不同的ETL加工。但是在集中導出這些ETL加工時，所有的ETL作業都會生成在同一個ETL文件下，這不便于使用者操作及運維。

現有技術提供一種配置文件的合并、拆分處理方法，該方法包括：通過預先根據軟件系統中各個主機角色的主機角色標識，對各個主機角色對應的配置項進行標注，當需要將配置文件寫入生產環境的時候，將軟件系統中各個主機角色對應的配置文件中包含的配置項進行合并處理，生成主機對應的配置文件；當需要從生產環境采集會配置文件的時候，根據主機的角色列表，對主機的配置文件中包含的配置項進行拆分處理，生成各個主機角色對應的配置文件。該方法在將軟件系統中不同主機角色部署于同一臺主機的情況下，能夠根據生產環境的主機角色劃分實時合并多個主機角色的配置文件，或根據生產環境的主機角色劃分實時拆分出不同主機角色各自的配置項。然而，該方法只適用于簡單的配置文件拆分，且只是對不同主機的配置文件進行拆分，不適用于對復雜的ETL文件的拆分。

發明內容

本發明實施例提供一種ETL文件拆分方法，用以有效實現對ETL文件的拆分，該方法包括：

根據ETL文件的內容，分別提取ETL文件中多個ETL作業的系統設置信息；

根據ETL文件的內容，分別提取ETL文件中多個ETL作業的加工配置信息；

將每個ETL作業的系統設置信息與加工配置信息拼接為單獨的ETL文件。

實施例中，根據ETL文件的內容，分別提取ETL文件中多個ETL作業的系統設置信息，包括：采用Python腳本的形式，根據ETL文件的內容，識別出ETL文件中多個ETL作業的系統設置信息；

和/或，根據ETL文件的內容，分別提取ETL文件中多個ETL作業的加工配置信息，包括：采用Python腳本的形式，根據ETL文件的內容，識別出ETL文件中多個ETL作業的加工配置信息。

實施例中，分別提取ETL文件中多個ETL作業的系統設置信息和加工配置信息之前，還包括：

判斷ETL文件的格式是否正確；

在ETL文件的格式不正確時，重新讀取ETL文件。