[發明專利]一種數據統計方法、統計裝置及計算機可讀存儲介質

在審

• 申請號: 202310182901.6
• 申請日: 2023-02-20
• 公開（公告）號: CN116126849A
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 丁有勝;孫飛熊
• 申請（專利權）人: 金蝶蝶金云計算有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/182;G06F16/242
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王曙聘

1.一種數據統計方法，其特征在于，包括：

獲取業務數據；

若所述業務數據超出預設大小，和/或所述業務數據的計算涉及到多個字段和多個維度中的至少一項，將所述業務數據按照預設字段執行分類，以得到各個主題表；

將所述各個主題表按照分析維度執行分區處理，以得到各個統計維度表；

將所述各個統計維度表中的業務數據按照預設時間段執行去重處理，得到預設時間段內的業務數據以進行存儲。

2.根據權利要求1所述的數據統計方法，其特征在于，待獲取的所述業務數據存儲于分布式文件系統數倉中的數據明細層DWD，所述分布式文件系統數倉至少包括數據明細層DWD和數據服務層DWS；

將所述業務數據按照預設字段執行分類，以得到各個主題表，包括：

將所述數據明細層DWD中的業務數據按照預設字段執行分類，將分類后的業務數據存儲至預先建立在數據服務層DWS中的各個主題表。

3.根據權利要求2所述的數據統計方法，其特征在于，所述分布式文件系統數倉還包括數據應用層ADS，所述數據統計方法還包括：

將所述預設時間段內的業務數據存儲至所述數據應用層ADS。

4.根據權利要求1所述的數據統計方法，其特征在于，將所述各個主題表按照分析維度執行分區處理，以得到各個統計維度表，包括：

從所述各個主題表中篩選出待分區數據；

將所述待分區數據寫入預先建立的分析維度表中；

采用與所述分析維度對應的分區字段將所述各分析維度表中的數據執行分區處理，以得到各個統計維度表。

5.根據權利要求4所述的數據統計方法，其特征在于，在將所述待分區數據寫入預先建立的分析維度表中之前，所述方法還包括：

判斷待分區數據的分析維度和所述待分區數據之間是否存在一對多或者多對多的關系；

若是，則預先建立與分析維度的維度數相同個數的分析維度表。

6.根據權利要求1至5中任一項所述的數據統計方法，其特征在于，在若所述業務數據超出預設大小，和/或所述業務數據的計算涉及到多個字段和多個維度中的至少一項，將所述業務數據按照預設字段執行分類，以得到各個主題表之前，所述方法還包括：

通過shell語句或sql語句查詢業務數據的大小。

7.根據權利要求1所述的數據統計方法，其特征在于，所述業務數據包括業務增量數據。

8.一種數據統計裝置，其特征在于，包括：

獲取單元，用于獲取業務數據；

分類單元，用于若所述業務數據超出預設大小，和/或所述業務數據的計算涉及到多個字段和多個維度中的至少一項，將所述業務數據按照預設字段執行分類，以得到各個主題表；

分區單元，用于將所述各個主題表按照分析維度執行分區處理，以得到各個統計維度表；

去重單元，用于將所述各個統計維度表中的業務數據按照預設時間段執行去重處理，得到預設時間段內的業務數據以進行存儲。

9.一種計算機裝置，包括處理器和存儲器，其特征在于，所述處理器在執行存儲于存儲器上的計算機程序時，用于實現如權利要求1至7中任一項所述的數據統計方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時，用于實現如權利要求1至7中任一項所述的數據統計方法。