[發明專利]對數據進行多維度統計的方法、裝置和集群系統

在審

• 申請號: 202010146522.8
• 申請日: 2020-03-05
• 公開（公告）號: CN111367966A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 鄧琛;余加騰;丁家文;梁鷹;王剛;趙子穎;黃毓銘
• 申請（專利權）人: 世紀龍信息網絡有限責任公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/28
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 盧曉霞

本申請涉及一種對數據進行多維度統計的方法、裝置、集群系統和存儲介質。所述方法包括：對待統計數據的多個維度進行排列組合，得到多個維度組合；根據維度中的字段數量，確定目標維度；根據第一維度組合，生成第一統計指令；所述第一維度組合為包含所述目標維度的維度組合，所述第一統計指令用于指示第一分布式引擎根據所述第一維度組合，對待統計數據進行單維計算后合并統計；根據第二維度組合，生成第二統計指令；所述第二維度組合為未包含所述目標維度的維度組合，所述第二統計指令用于指示第二分布式引擎根據所述第二維度組合，對所述待統計數據進行多維數據立方統計。采用本方法能夠合理利用集群資源，提高統計效率。

技術領域

本申請涉及計算機技術領域，特別是涉及一種對數據進行多維度統計的方法、裝置、集群系統和存儲介質。

背景技術

在大數據時代下，數據分析在互聯網產品(云盤、微信、微博)的數據運營方面的重要性日漸突出。在采集到和這些互聯產品相關的數據后，對這些數據進行統計分析可以基于分布式引擎進行的，在數據統計分析中，從不同維度交叉展現數據；但是在進行多維度分析時，如果數據量巨大，會導致分布式引擎可用的資源明顯減少，導致統計效率降低。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠合理利用集群資源，提高統計效率的對數據進行多維度統計的方法、裝置、集群系統和存儲介質。

第一方面，提供一種對數據進行多維度統計的方法，所述方法包括：

對待統計數據的多個維度進行排列組合，得到多個維度組合；

根據維度中的字段數量，確定目標維度；

根據第一維度組合，生成第一統計指令；所述第一維度組合為包含所述目標維度的維度組合，所述第一統計指令用于指示第一分布式引擎根據所述第一維度組合，對待統計數據進行單維計算后合并統計；

根據第二維度組合，生成第二統計指令；所述第二維度組合為未包含所述目標維度的維度組合，所述第二統計指令用于指示第二分布式引擎根據所述第二維度組合，對所述待統計數據進行多維數據立方統計。

在一個實施例中，所述根據維度中的字段數量，確定目標維度的步驟，包括：

在所述多個維度中，將字段數量最少的維度確定為所述目標維度。

在一個實施例中，還包括：

將各個維度組合的統計結果作為查詢值；

將所述各個維度組合中的字段轉換為字符串；

根據所述字符串，生成查詢鍵；

根據所述查詢鍵和所述查詢值，生成查詢鍵值對；

若接收到查詢指令，在確定與所述查詢指令對應的目標查詢鍵后，確定對應的目標查詢鍵值對；

輸出所述目標查詢鍵值對中的查詢值。

在一個實施例中，所述將所述各個維度組合中的字段轉換為字符串的步驟，包括：

根據預設的轉換規則，確定待轉換的字段；

利用消息摘要算法，將所述各個維度組合中的待轉換的字段轉換為散列值，將所述散列值作為所述字符串。

在一個實施例中，所述將所述各個維度組合中的字段轉換為字符串，根據所述字符串，生成查詢鍵的步驟，包括：

在所述各個維度組合中添加預留字段，將所述預留字段轉換為對應的字符串，生成查詢鍵；

確定與查詢指令對應的目標查詢鍵的步驟，包括：

當接收到的查詢指令包括新增維度時，將所述新增維度中的字段與所述預留字段對應，將根據所述預留字段生成的查詢鍵，作為目標查詢鍵。