[發(fā)明專利]對(duì)數(shù)據(jù)進(jìn)行多維度統(tǒng)計(jì)的方法、裝置和集群系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010146522.8
• 申請(qǐng)日: 2020-03-05
• 公開（公告）號(hào): CN111367966A
• 公開（公告）日: 2020-07-03
• 發(fā)明（設(shè)計(jì)）人: 鄧琛;余加騰;丁家文;梁鷹;王剛;趙子穎;黃毓銘
• 申請(qǐng)（專利權(quán)）人: 世紀(jì)龍信息網(wǎng)絡(luò)有限責(zé)任公司
• 主分類號(hào): G06F16/2458
• 分類號(hào): G06F16/2458;G06F16/28
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 盧曉霞

1.一種對(duì)數(shù)據(jù)進(jìn)行多維度統(tǒng)計(jì)的方法，包括：

對(duì)待統(tǒng)計(jì)數(shù)據(jù)的多個(gè)維度進(jìn)行排列組合，得到多個(gè)維度組合；

根據(jù)維度中的字段數(shù)量，確定目標(biāo)維度；

根據(jù)第一維度組合，生成第一統(tǒng)計(jì)指令；所述第一維度組合為包含所述目標(biāo)維度的維度組合，所述第一統(tǒng)計(jì)指令用于指示第一分布式引擎根據(jù)所述第一維度組合，對(duì)待統(tǒng)計(jì)數(shù)據(jù)進(jìn)行單維計(jì)算后合并統(tǒng)計(jì)；

根據(jù)第二維度組合，生成第二統(tǒng)計(jì)指令；所述第二維度組合為未包含所述目標(biāo)維度的維度組合，所述第二統(tǒng)計(jì)指令用于指示第二分布式引擎根據(jù)所述第二維度組合，對(duì)所述待統(tǒng)計(jì)數(shù)據(jù)進(jìn)行多維數(shù)據(jù)立方統(tǒng)計(jì)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)維度中的字段數(shù)量，確定目標(biāo)維度的步驟，包括：

在所述多個(gè)維度中，將字段數(shù)量最少的維度確定為所述目標(biāo)維度。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

將各個(gè)維度組合的統(tǒng)計(jì)結(jié)果作為查詢值；

將所述各個(gè)維度組合中的字段轉(zhuǎn)換為字符串；

根據(jù)所述字符串，生成查詢鍵；

根據(jù)所述查詢鍵和所述查詢值，生成查詢鍵值對(duì)；

若接收到查詢指令，在確定與所述查詢指令對(duì)應(yīng)的目標(biāo)查詢鍵后，確定對(duì)應(yīng)的目標(biāo)查詢鍵值對(duì)；

輸出所述目標(biāo)查詢鍵值對(duì)中的查詢值。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將所述各個(gè)維度組合中的字段轉(zhuǎn)換為字符串的步驟，包括：

根據(jù)預(yù)設(shè)的轉(zhuǎn)換規(guī)則，確定待轉(zhuǎn)換的字段；

利用消息摘要算法，將所述各個(gè)維度組合中的待轉(zhuǎn)換的字段轉(zhuǎn)換為散列值，將所述散列值作為所述字符串。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將所述各個(gè)維度組合中的字段轉(zhuǎn)換為字符串，根據(jù)所述字符串，生成查詢鍵的步驟，包括：

在所述各個(gè)維度組合中添加預(yù)留字段，將所述預(yù)留字段轉(zhuǎn)換為對(duì)應(yīng)的字符串，生成查詢鍵；

確定與查詢指令對(duì)應(yīng)的目標(biāo)查詢鍵的步驟，包括：

當(dāng)接收到的查詢指令包括新增維度時(shí)，將所述新增維度中的字段與所述預(yù)留字段對(duì)應(yīng)，將根據(jù)所述預(yù)留字段生成的查詢鍵，作為目標(biāo)查詢鍵。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

根據(jù)源數(shù)據(jù)的完整性和異常性，對(duì)所述源數(shù)據(jù)進(jìn)行處理，得到待統(tǒng)計(jì)數(shù)據(jù)；

從與所述源數(shù)據(jù)對(duì)應(yīng)的維度中，確定多個(gè)維度；

將所確定的多個(gè)維度和對(duì)應(yīng)的待統(tǒng)計(jì)數(shù)據(jù)存放至中間表中；所述中間表用于向所述第一分布式引擎和所述第二分布式引擎提供所述待統(tǒng)計(jì)數(shù)據(jù)。

7.一種對(duì)數(shù)據(jù)進(jìn)行多維度統(tǒng)計(jì)的裝置，包括：

排列組合模塊，用于對(duì)待統(tǒng)計(jì)數(shù)據(jù)的多個(gè)維度進(jìn)行排列組合，得到多個(gè)維度組合；

目標(biāo)維度確定模塊，用于根據(jù)維度中的字段數(shù)量，確定目標(biāo)維度；

第一指令生成模塊，用于根據(jù)第一維度組合，生成第一統(tǒng)計(jì)指令；所述第一維度組合為包含所述目標(biāo)維度的維度組合，所述第一統(tǒng)計(jì)指令用于指示第一分布式引擎根據(jù)所述第一維度組合，對(duì)待統(tǒng)計(jì)數(shù)據(jù)進(jìn)行單維計(jì)算后合并統(tǒng)計(jì)；

第二指令生成模塊，用于根據(jù)第二維度組合，生成第二統(tǒng)計(jì)指令；所述第二維度組合為未包含所述目標(biāo)維度的維度組合作為第二維度組合，所述第二統(tǒng)計(jì)指令用于指示第二分布式引擎根據(jù)所述第二維度組合，對(duì)所述待統(tǒng)計(jì)數(shù)據(jù)進(jìn)行多維數(shù)據(jù)立方統(tǒng)計(jì)。

8.一種對(duì)數(shù)據(jù)進(jìn)行多維度統(tǒng)計(jì)的集群系統(tǒng)，包括調(diào)配中心，第一分布式引擎和第二分布式引擎；

所述調(diào)配中心，用于對(duì)多個(gè)維度進(jìn)行排列組合，得到多個(gè)維度組合，根據(jù)維度中的字段數(shù)量，確定目標(biāo)維度，將包含所述目標(biāo)維度的維度組合作為第一維度組合，將未包含所述目標(biāo)維度的維度組合作為第二維度組合，根據(jù)所述第一維度組合和所述第二維度組合，生成對(duì)應(yīng)的第一統(tǒng)計(jì)指令和第二統(tǒng)計(jì)指令；

所述第一分布式引擎，用于在接收到所述調(diào)配中心發(fā)送的第一統(tǒng)計(jì)指令后，根據(jù)所述第一維度組合，對(duì)待統(tǒng)計(jì)數(shù)據(jù)進(jìn)行單維計(jì)算后合并統(tǒng)計(jì)；

所述第二分布式引擎，用于在接收到所述調(diào)配中心發(fā)送的第二統(tǒng)計(jì)指令后，根據(jù)所述第二維度組合，對(duì)所述待統(tǒng)計(jì)數(shù)據(jù)進(jìn)行多維數(shù)據(jù)立方統(tǒng)計(jì)。