[發明專利]一種數據處理方法、設備和計算機可讀存儲介質

在審

• 申請號: 202111093094.8
• 申請日: 2021-09-17
• 公開（公告）號: CN114020851A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 陳世賓;陳艷霞
• 申請（專利權）人: 遠光軟件股份有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/2458
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

1.一種數據處理方法，其特征在于，所述方法包括：

從數據倉庫的明細層獲取待處理數據；

依據應用層的應用數據項確定原始數據項、統計數據項和派生數據項；

從所述待處理數據中搜索出所述原始數據項對應的原始數據，并基于所述待處理數據統計得到所述統計數據項對應的統計數據；

基于所述原始數據以及所述統計數據計算得到派生數據項對應的派生數據。

2.根據權利要求1所述的方法，其特征在于，所述基于所述待處理數據統計得到所述統計數據項對應的統計數據，包括：

從所述待處理數據中選出滿足預設條件的目標數據；

基于所述目標數據統計得到所述統計數據項對應的統計數據。

3.根據權利要求2所述的方法，其特征在于，所述待處理數據包括若干明細表，每個所述明細表中包含若干條數據，所述從所述待處理數據中選出滿足預設條件的目標數據，包括：

從所述若干明細表中選出與所述原始數據匹配的目標明細表；

判斷所述目標明細表中的每條所述數據是否符合標簽條件；

若符合，則將符合所述標簽條件的所述數據與所述標簽關聯，并確定所述標簽關聯的所有所述數據為所述目標數據。

4.根據權利要求3所述的方法，其特征在于，所述將符合所述標簽條件的所述數據與所述標簽關聯之后，所述方法還包括：

依據所述目標數據和關聯的所述標簽，生成表示所述目標數據與所述標簽之間的關聯關系的標簽表；

響應于用戶操作，顯示所述標簽表。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

利用行數和/或第一特征值將所述標簽表與所述目標明細表進行第一比較，若第一比較結果為一致，則確定所述標簽表的生成無誤；

和/或，利用第二特征值將所述原始數據、所述統計數據、所述派生數據與所述待處理數據進行第二比較，若第二比較結果為一致，則確定所述目標數據的處理過程無誤。

6.根據權利要求2所述的方法，其特征在于，所述基于所述目標數據統計得到所述統計數據項對應的統計數據，包括：

從所述目標數據的數據項中查找出與所述統計數據項對應的關聯數據項；

對所述目標數據中與所述關聯數據項對應的數據進行統計，得到所述統計數據項對應的統計數據。

7.根據權利要求2所述的方法，其特征在于，所述依據應用層的應用數據項確定原始數據項、統計數據項和派生數據項以及所述基于所述目標數據統計得到所述統計數據項對應的統計數據是采用Spark sql任務執行的；

所述基于所述目標數據統計得到所述統計數據項對應的統計數據和所述基于所述原始數據以及所述統計數據計算得到派生數據項對應的派生數據是采用Spark自定義任務執行的。

8.根據權利要求1所述的方法，其特征在于，所述依據應用層的應用數據項確定原始數據項、統計數據項和派生數據項，包括：

選出所述待處理數據包含的所述應用數據項，作為所述原始數據項；

選出用于統計所述待處理數據的所述應用數據項，作為所述統計數據項；

選出與所述原始數據項和所述統計數據項關聯的所述應用數據項作為所述派生數據項；

和/或，所述從所述待處理數據中搜索出所述原始數據項對應的原始數據，包括：

從所述待處理數據的數據項中查找出所述原始數據項，并將所述待處理數據中所述原始數據項對應的數據作為所述原始數據。

9.一種數據處理設備，其特征在于，所述數據處理設備包括處理器和存儲器，所述存儲器用于存儲程序數據，所述處理器用于執行所述程序數據以實現如權利要求1-8中任一項所述的方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質用于存儲程序數據，所述程序數據能夠被執行，用以實現如權利要求1-8中任一項所述的方法。