[發明專利]一種基于ES的海量數據統計方法及海量數據統計系統

在審

• 申請號: 201910921799.0
• 申請日: 2019-09-27
• 公開（公告）號: CN110688412A
• 公開（公告）日: 2020-01-14
• 發明（設計）人: 王野
• 申請（專利權）人: 杭州有贊科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/25;G06F16/27;G06F16/22
• 代理公司: 33289 杭州裕陽聯合專利代理有限公司
• 代理人: 姚宇吉

1.一種基于ES的海量數據統計方法，其特征在于，包括以下步驟：

步驟一：將需要查詢統計的索引字段增量數據同步進ES；

步驟二：將需要查詢統計的索引字段歷史數據同步進ES；

步驟三：提供統計查詢接口，所述統計查詢接口為數據搜索API接口；

步驟四：完成構建ES的queryJson后發起請求，將請求返回的命中數total作為統計結果。

2.根據權利要求1所述的基于ES的海量數據統計方法，其特征在于：

當需要查詢統計單個索引字段時，統計結果為一個維度；

當需要查詢統計多個索引字段組合時，統計結果為多個維度。

3.根據權利要求2所述的基于ES的海量數據統計方法，其特征在于：

所述步驟一還包括：

所述索引字段增量數據同步進ES，是基于消息隊列來實現。

4.根據權利要求3所述的基于ES的海量數據統計方法，其特征在于：

所述步驟二還包括：

所述索引字段歷史數據同步進ES，是通過hiveSql來構造ES數據后批量刷入來實現。

5.根據權利要求4所述的基于ES的海量數據統計方法，其特征在于：

所述步驟二還使用create構建方式來避免索引字段歷史數據與索引字段增量數據沖突。

6.根據權利要求5所述的基于ES的海量數據統計方法，其特征在于：

所述步驟三還包括：

單個所述索引字段通過所述數據搜索API接口入參后，通過傳參的方式實現單個索引字段的搜索；

多個所述索引字段進行組合后通過所述數據搜索API接口入參，通過傳參的方式實現多個所述索引字段聯查的搜索統計。

7.根據權利要求6所述的基于ES的海量數據統計方法，其特征在于：

所述索引字段在入參時，將入參中的from size均設置為0。

8.根據權利要求5所述的基于ES的海量數據統計方法，其特征在于：

所述步驟三還包括：

多個所述索引字段進行組合后使用ES提供的multiSearch功能實現多個維度的搜索統計。

9.一種根據權利1-8所述方法工作的海量數據統計系統，其特征在于：

所述海量數據統計系統包括數據同步模塊、統計查詢模塊以及數據輸出模塊；

所述數據同步模塊用于將需要查詢統計的索引字段增量數據和歷史數據同步進海量數據統計系統；

所述統計查詢模塊包括統計查詢接口，將索引字段通過所述統計查詢接口輸入至所述海量數據統計系統；

所述統計查詢模塊進行對所述索引字段所代表的維度的搜索統計；

所述數據輸出模塊輸出由所述統計查詢模塊查詢得到的統計值。

10.根據權利要求9所述的海量數據統計系統，其特征在于：

當從所述統計查詢模塊中輸入單個索引字段時，所述數據同步模塊將需要查詢統計的單個索引字段增量數據和歷史數據同步進海量數據統計系統，所述統計查詢模塊進行單個索引字段的搜索統計，且所述數據輸出模塊輸出一個維度的統計值；

當從所述統計查詢模塊中輸入多個索引字段的組合時，所述數據同步模塊將需要查詢統計的多個索引字段增量數據和歷史數據都同步進海量數據統計系統，所述統計查詢模塊進行多個索引字段的搜索統計，且所述數據輸出模塊輸出包括多個維度的統計值。