[發明專利]一種數據處理方法、設備和計算機可讀存儲介質

在審

• 申請號: 202111093094.8
• 申請日: 2021-09-17
• 公開（公告）號: CN114020851A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 陳世賓;陳艷霞
• 申請（專利權）人: 遠光軟件股份有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/2458
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

本申請公開了一種數據處理方法、設備和計算機可讀存儲介質，該方法包括：從數據倉庫的明細層獲取待處理數據；依據應用層的應用數據項確定原始數據項、統計數據項和派生數據項；從待處理數據中搜索出原始數據項對應的原始數據，并基于待處理數據統計得到統計數據項對應的統計數據；基于原始數據以及統計數據計算得到派生數據項對應的派生數據。通過上述方式，能夠將數據處理過程劃分成多個步驟分別進行處理，同時將應用數據項分類進行處理，提高了數據處理的效率。

技術領域

本申請涉及計算機數據處理技術領域，特別是涉及一種數據處理方法、設備和計算機可讀存儲介質。

背景技術

數據倉庫(Data Warehouse，可簡寫為DW或DWH)，是從源系統通過一系列操作匯集的、為管理決策提供支持的數據集合，能實現跨業務條線、跨系統的數據整合，為管理分析和業務決策提供統一的數據支持。

通常來說，數據倉庫可以分為四層機構，即貼源層(ODS)、明細層(DWD)、匯總層(DWS)、應用層(ADS)，其中貼源層從源數據庫中提取數據，明細層對貼源層數據進行整理，匯總層對明細層數據進行加工匯總，將數據形成寬表以供應用層對外提供數據服務。本申請的申請人在長期的研發過程中，發現匯總層中沒有形成有效的數據處理方法，數據處理過程復雜，效率低。

發明內容

本申請主要解決的技術問題是提供一種數據處理方法、設備和計算機可讀存儲介質，能夠提高匯總層的數據處理效率。

為解決上述技術問題，本申請采用的一個技術方案是：提供一種數據處理方法，該方法包括：從數據倉庫的明細層獲取待處理數據；依據應用層的應用數據項確定原始數據項、統計數據項和派生數據項；從待處理數據中搜索出原始數據項對應的原始數據，并基于待處理數據統計得到統計數據項對應的統計數據；基于原始數據以及統計數據計算得到派生數據項對應的派生數據。

其中，基于待處理數據統計得到統計數據項對應的統計數據，包括：從待處理數據中選出滿足預設條件的目標數據；基于目標數據統計得到統計數據項對應的統計數據。

其中，待處理數據包括若干明細表，每個明細表中包含若干條數據，從待處理數據中選出滿足預設條件的目標數據，包括：從若干明細表中選出與原始數據匹配的目標明細表；判斷目標明細表中的每條數據是否符合標簽條件；若符合，則將符合標簽條件的數據與標簽關聯，并確定標簽關聯的所有數據為目標數據。

其中，將符合標簽條件的數據與標簽關聯之后，該方法還包括：依據目標數據和關聯的標簽，生成表示目標數據與標簽之間的關聯關系的標簽表；響應于用戶操作，顯示標簽表。

其中，該方法還包括：利用行數和/或第一特征值將標簽表與目標明細表進行第一比較，若第一比較結果為一致，則確定標簽表的生成無誤；和/或，利用第二特征值將原始數據、統計數據、派生數據與待處理數據進行第二比較，若第二比較結果為一致，則確定目標數據的處理過程無誤。

其中，基于目標數據統計得到統計數據項對應的統計數據，包括：從目標數據的數據項中查找出與統計數據項對應的關聯數據項；對目標數據中與關聯數據項對應的數據進行統計，得到統計數據項對應的統計數據。

其中，依據應用層的應用數據項確定原始數據項、統計數據項和派生數據項以及基于目標數據統計得到統計數據項對應的統計數據是采用Spark sql任務執行的；基于目標數據統計得到統計數據項對應的統計數據和基于原始數據以及統計數據計算得到派生數據項對應的派生數據是采用Spark自定義任務執行的。

其中，依據應用層的應用數據項確定原始數據項、統計數據項和派生數據項，包括：選出待處理數據包含的應用數據項，作為原始數據項；選出用于統計待處理數據的應用數據項，作為統計數據項；選出與原始數據項和統計數據項關聯的應用數據項作為派生數據項；和/或，從待處理數據中搜索出原始數據項對應的原始數據，包括：從待處理數據的數據項中查找出原始數據項，并將待處理數據中原始數據項對應的數據作為原始數據。