[發明專利]一種數據處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 201810570841.4
• 申請日: 2018-06-05
• 公開（公告）號: CN110569090A
• 公開（公告）日: 2019-12-13
• 發明（設計）人: 胡國靖
• 申請（專利權）人: 中移(蘇州)軟件技術有限公司;中國移動通信集團有限公司
• 主分類號: G06F9/448
• 分類號: G06F9/448
• 代理公司: 11291 北京同達信恒知識產權代理有限公司
• 代理人: 郭潤湘

本發明公開了一種數據處理方法、裝置、電子設備及存儲介質，所述方法包括：接收選擇指令及包含數據源信息的配置指令，其中所述選擇指令中包含待執行的抽取?轉換?裝載ETL組件的標識信息；根據所述選擇指令，確定目標ETL組件組；并執行所述目標ETL組件組對所述數據源中的數據進行處理。由于在本發明實施例中，用戶可以根據自身對數據處理的需求，下發包含待執行的ETL組件的標識信息的選擇指令及包含數據源信息的配置指令，電子設備可以根據選擇指令，確定目標ETL組件組并執行，對數據源中的數據進行處理。能夠實現通過同一數據處理客戶端滿足用戶不同的數據處理需求，提高了數據處理客戶端的通用性與易用性。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據處理方法、裝置、電子設備及存儲介質。

背景技術

數據處理技術是當前各行各業爭相推動和依賴的技術領域，尤其是在互聯網、電子商務、消費金融等行業，日常需要運行數以萬記的數據，抽取-轉換-加載(Extract-Transform-Load，ETL)作為構建數據倉庫的一種重要工具，為數據分析、業務決策提供了重要的支撐。

然而現有技術中，往往采用定制化的方式開發進行數據處理的數據處理客戶端，數據處理客戶端中進行數據處理的組件是固定的，一種數據客戶端只能支持一種方式的數據處理，因此用戶在對數據進行處理時，只能根據自身的需求選擇對應的數據處理客戶端，數據處理客戶端易用性低，并且在用戶存在多種數據處理需求時，往往需要使用多種數據處理客戶端，數據處理客戶端的開發與管理復雜，給用戶帶來了負擔和不便，影響了用戶的體驗。

發明內容

本發明提供了一種數據處理方法、裝置、電子設備及存儲介質，用以解決現有技術中數據處理客戶端易用性低、開發與管理復雜，給用戶帶來不便和負擔的問題。

第一方面，本發明公開了一種數據處理方法，所述方法包括：

接收選擇指令及包含數據源信息的配置指令，其中所述選擇指令中包含待執行的抽取-轉換-裝載ETL組件的標識信息；

根據所述選擇指令，確定目標ETL組件組；并執行所述目標ETL組件組對所述數據源中的數據進行處理。

采用本發明的數據處理方法，用戶可以根據自身對數據處理的需求，下發包含待執行的ETL組件的標識信息的選擇指令及包含數據源信息的配置指令，電子設備根據選擇指令，確定并執行目標ETL組件組，對數據源中的數據進行處理。實現了通過同一數據處理客戶端滿足用戶不同的數據處理需求，提高了數據處理客戶端的通用性與易用性。避免了針對用戶不同的數據處理需求開發不同的數據處理客戶端，簡化了數據處理客戶端的開發與管理，減輕了用戶的負擔，提高了用戶的體驗。

可選的，所述目標ETL組件組包括：

實時處理的抽取E組件和加載L組件；或，

實時處理的E組件、轉換T組件和L組件；或，

批處理的E組件和L組件；或，

批處理的E組件、T組件和L組件。

通過上述可選的方式，用戶可以根據自身對數據處理的需求，選擇進行處理的ETL組件，進一步提高了數據處理的靈活性。

可選的，如果目標ETL組件組為實時處理的E組件和L組件或批處理的E組件和L組件，所述執行所述目標ETL組件組對所述數據源中的數據進行處理包括：

通過數據同步Crossdata引擎執行所述E組件和L組件對所述數據源中的數據進行處理；

如果目標ETL組件組為實時處理的E組件、T組件和L組件或批處理的E組件、T組件和L組件，所述執行所述目標ETL組件對所述數據源中的數據進行處理包括：