[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置、設備以及存儲介質

在審

• 申請?zhí)枺?/td>: 202111385357.2
• 申請日: 2021-11-22
• 公開（公告）號: CN114116865A
• 公開（公告）日: 2022-03-01
• 發(fā)明（設計）人: 田未峰;謝永恒;火一莽
• 申請（專利權）人: 北京銳安科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 李彩玲

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

獲取數(shù)據(jù)發(fā)送方的原始數(shù)據(jù)，并將所述原始數(shù)據(jù)轉換為分布式數(shù)據(jù)；

根據(jù)數(shù)據(jù)提取規(guī)則和質量校驗規(guī)則，對所述分布式數(shù)據(jù)進行處理，得到目標數(shù)據(jù)。

2.根據(jù)權利要求1所述的方法，其特征在于，在所述獲取原始數(shù)據(jù)，并將所述原始數(shù)據(jù)轉換為分布式數(shù)據(jù)之前，還包括：

根據(jù)所述數(shù)據(jù)發(fā)送方和/或數(shù)據(jù)接收方的數(shù)據(jù)提取需求，確定數(shù)據(jù)提取策略和質量校驗策略；其中，所述數(shù)據(jù)提取策略和所述質量校驗策略以XML格式存儲；

對所述數(shù)據(jù)提取策略和所述質量校驗策略進行解析，得到數(shù)據(jù)提取規(guī)則和質量校驗規(guī)則。

3.根據(jù)權利要求1所述的方法，其特征在于，所述根據(jù)數(shù)據(jù)提取規(guī)則和質量校驗規(guī)則，對所述分布式數(shù)據(jù)進行處理，得到目標數(shù)據(jù)，包括：

根據(jù)數(shù)據(jù)提取規(guī)則，對所述分布式數(shù)據(jù)進行提取，得到中間數(shù)據(jù)；

根據(jù)質量校驗規(guī)則，對所述中間數(shù)據(jù)進行校驗，得到目標數(shù)據(jù)。

4.根據(jù)權利要求3所述的方法，其特征在于，還包括：

在對所述中間數(shù)據(jù)進行校驗的過程中，若所述中間數(shù)據(jù)中存在超過設定值的數(shù)據(jù)錯誤，則生成包含數(shù)據(jù)提取失敗的告警信息。

5.根據(jù)權利要求1所述的方法，其特征在于，還包括：

記錄得到所述目標數(shù)據(jù)的日志信息；其中，所述日志信息包括開始時間、結束時間、以及報錯信息。

6.根據(jù)權利要求1所述的方法，其特征在于，所述獲取發(fā)送方的原始數(shù)據(jù)之后，還包括：

接收數(shù)據(jù)發(fā)送方發(fā)送的第一數(shù)據(jù)賬單；

根據(jù)所獲取的原始數(shù)據(jù)生成第二數(shù)據(jù)賬單；

比對所述第一數(shù)據(jù)賬單和所述第二數(shù)據(jù)賬單中的數(shù)據(jù)內容是否一致；

若不一致，則觸發(fā)重新獲取數(shù)據(jù)機制，重新獲取數(shù)據(jù)發(fā)送方的原始數(shù)據(jù)。

7.根據(jù)權利要求1所述的方法，其特征在于，還包括：

對所述目標數(shù)據(jù)、以及所述目標數(shù)據(jù)的提取過程和校驗過程進行可視化。

8.一種數(shù)據(jù)處理裝置，其特征在于，包括：

分布式數(shù)據(jù)確定模塊，用于獲取數(shù)據(jù)發(fā)送方的原始數(shù)據(jù)，并將所述原始數(shù)據(jù)轉換為分布式數(shù)據(jù)；

目標數(shù)據(jù)確定模塊，用于根據(jù)數(shù)據(jù)提取規(guī)則和質量校驗規(guī)則，對所述分布式數(shù)據(jù)進行處理，得到目標數(shù)據(jù)。

9.一種電子設備，其特征在于，包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序；

當所述一個或多個程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現(xiàn)如權利要求1-7中任一項所述的數(shù)據(jù)處理方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執(zhí)行時實現(xiàn)如權利要求1-7中任一項所述的數(shù)據(jù)處理方法。