[發明專利]一種數據處理方法、裝置、設備以及存儲介質

在審

• 申請號: 202111385357.2
• 申請日: 2021-11-22
• 公開（公告）號: CN114116865A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 田未峰;謝永恒;火一莽
• 申請（專利權）人: 北京銳安科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 李彩玲

本發明公開了一種數據處理方法、裝置、設備以及存儲介質，屬于計算機技術領域和大數據處理技術領域。該方法包括：獲取數據發送方的原始數據，并將所述原始數據轉換為分布式數據；根據數據提取規則和質量校驗規則，對所述分布式數據進行處理，得到目標數據。通過上述技術方案，將原始數據轉換為分布式數據，提高了數據的處理效率。

技術領域

本發明實施例涉及計算機技術領域和大數據處理技術領域，尤其涉及一種數據處理方法、裝置、設備以及存儲介質。

背景技術

由于企業數據量的增加，單機多線程進行數據抽取、轉換和加載(ExtractTransform Load，ETL)變得越來越困難?，F有技術采用多線程任務進行ETL處理，對內存消耗大，因此，一套快速靈活的具備大規模數據處理能力的ETL系統對于大數據分析系統尤為重要。

發明內容

本發明提供一種數據處理方法、裝置、設備以及存儲介質，以實現數據的快速處理。

第一方面，本發明實施例提供了一種數據處理方法，該方法包括：

獲取數據發送方的原始數據，并將所述原始數據轉換為分布式數據；

根據數據提取規則和質量校驗規則，對所述分布式數據進行處理，得到目標數據。

第二方面，本發明實施例還提供了一種數據處理裝置，該裝置包括：

分布式數據確定模塊，用于獲取數據發送方的原始數據，并將所述原始數據轉換為分布式數據；

目標數據確定模塊，用于根據數據提取規則和質量校驗規則，對所述分布式數據進行處理，得到目標數據。

第三方面，本發明實施例還提供了一種電子設備，該電子設備包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序；

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如本發明任一實施例所提供的數據處理方法。

第四方面，本發明實施例還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如本發明任一實施例所提供的數據處理方法。

本發明實施例的技術方案，通過獲取數據發送方的原始數據，并將原始數據轉換為分布式數據，之后根據數據提取規則和質量校驗規則，對分布式數據進行處理，得到目標數據。上述技術方案，相比于傳統通過多線程對原始數據進行處理，本發明將原始數據轉換為分布式數據，提高了數據的處理效率。

附圖說明

圖1是本發明實施例一提供的一種數據處理方法的流程圖；

圖2是本發明實施例二提供的一種數據處理方法的流程圖；

圖3是本發明實施例三提供的一種數據處理方法的流程圖；

圖4是本發明實施例四提供的一種數據處理裝置的結構示意圖；

圖5是本發明實施例五提供的一種電子設備的結構示意圖。

具體實施方式

下面結合附圖和實施例對本發明作進一步的詳細說明?？梢岳斫獾氖?，此處所描述的具體實施例僅僅用于解釋本發明，而非對本發明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發明相關的部分而非全部結構。

實施例一