[發明專利]一種ETL中基于規則配置的數據處理的系統和方法

在審

• 申請號: 202011539491.9
• 申請日: 2020-12-23
• 公開（公告）號: CN112527885A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 李振;魯賓賓;曾琦凱;王云端;陳楓
• 申請（專利權）人: 民生科技有限責任公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 巴曉艷

本發明屬于數據加工處理領域，尤其涉及一種ETL中基于規則配置的數據處理的系統和方法。該系統包括：用于從配置中心加載配置信息的配置加載模塊，用于將加載的配置信息轉化的配置解析模塊，用于構建各個處理子單元按照的數據處理鏈路順序，對各個處理子單元和執行引擎完成初始化和抽取待處理數據，按照所述構建數據處理鏈模塊確認的順序對待處理數據進行加工，將加工生成的數據存儲在加工數據緩存區，并輸出加工后數據的數據模塊。本發明的方法將數據加工處理抽象為獨立的數據處理單元，基于配置約定處理流程自動完成數據處理。基于配置可避免硬編碼帶來的冗長開發、測試周期，同時也可避免業務變更帶來的整體系統重構升級的風險。

技術領域

本發明屬于數據加工處理領域，尤其涉及一種ETL中基于規則配置的數據處理的系統和方法。

背景技術

數據分析及數倉建設場景中，需要將業務系統的數據經過抽取、清洗轉換之后加載到數據倉庫，即ETL過程(清洗、轉換、集成Extract-Transform-Load)。ETL負責將分布的、異構數據源中的數據抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數據倉庫中，成為聯機分析處理、數據挖掘的基礎。

金融行業基于經營績效和風險控制的需求,已廣泛建立了數據倉庫系統。建立銀行數據倉庫系統的過程中ETL是非常重要的一個環節。ETL過程涵蓋了銀行不同業務系統異構數據庫中數據的抽取、轉換和加載的一系列流程,使整個ETL過程具有多樣性和復雜性的特點。雖然ETL整體流程大致相同，但在金融復雜的業務場景下，不同的業務對數據的理解和使用存在一定的差異，對應的數據抽取和清洗規則也會不同。并且在當前復雜多變的市場環境下，業務規則、數據理解等都會不斷的發生改變，這些情況都影響到ETL的設計和開發難度和復雜度。

基于以上場景，為應對復雜的ETL邏輯，現有主流的ETL設計上都是將業務規則硬編碼在程序代碼中。但金融行業的產品眾多、業務復雜，單個業務的ETL規則就可能有上百條,而且隨著業務發展或監管要求，這些規則需要及時調整，整體維護和升級成本較高，且不利于ETL版本管理。因此，本專利基于規則配置的方法，提出一種更為便捷有效的方法和裝置。

發明內容

本發明公開了一種ETL中基于規則配置的數據處理的系統和方法，以解決現有技術的上述技術問題以及其他潛在問題中的任一問題。

為了解決上述技術問題，本發明的技術方案是：一種ETL中基于規則配置的數據處理的系統，所述系統包括：配置信息生成模塊、配置加載模塊、配置解析模塊、構建數據處理鏈模塊和數據處理模塊；

其中，配置信息生成模塊、配置加載模塊、配置解析模塊、構建數據處理鏈模塊和數據處理模塊；

其中，所述配置信息生成模塊，用于基于實際數據的處理場景確認自定義子模塊的配置信息；

所述配置加載模塊，用于將所述配置信息生成模塊的配置信息進行加載；

所述配置解析模塊，用于將加載的配置信息轉化；

所述構建數據處理鏈模塊，用于根據轉化后配置信息構建需調用自定義子單元的的數據處理鏈路順序，完成各個處理子單元和執行引擎完成初始化；

所述數據模塊，抽取待處理數據，按照所述構建數據處理鏈模塊確認的順序對待處理數據進行加工，將加工生成的數據存儲在加工數據緩存區，并輸出加工后數據。

進一步，所述處理子單元包括：

源數據分析(SOURCE)子單元，用于定義源數據格式及基本信息的描述，

處理鏈(CHAIN)子單元，用于使用數組的數據結構進行組織調用順序，

轉化(CONVERT)子單元，用于對數據進行數據類型轉化；

設置(SET)子單元，用于設置字段的值，重置字段值或新增字段。