[發明專利]一種基于ES的海量數據統計方法及海量數據統計系統

在審

• 申請號: 201910921799.0
• 申請日: 2019-09-27
• 公開（公告）號: CN110688412A
• 公開（公告）日: 2020-01-14
• 發明（設計）人: 王野
• 申請（專利權）人: 杭州有贊科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/25;G06F16/27;G06F16/22
• 代理公司: 33289 杭州裕陽聯合專利代理有限公司
• 代理人: 姚宇吉

本發明公開了一種基于ES的海量數據統計方法，包括步驟一：將需要查詢統計的索引字段增量數據同步進ES；步驟二：將需要查詢統計的索引字段歷史數據同步進ES；步驟三：提供統計查詢接口，所述統計查詢接口為數據搜索API接口；步驟四：完成構建ES的queryJson后發起請求，將請求返回的命中數total作為統計結果。本發明還公開了一種采用基于ES的海量數據統計方法工作的海量數據統計系統。本發明通過將傳統的統計需求轉變為統計查詢，無需定制需要維度指標，適用于大多應用場合，能靈活地支持各項統計指標，快速地實現維度統計，極大地提升了統計的靈活度。

技術領域

本發明涉及一種信息技術，尤其涉及一種基于ES的海量數據統計方法及海量數據統計系統。

背景技術

海量數據統計已經成為電商系統標配，如待發貨訂單數，待付款訂單數等。而應對需求的海量實時計算框架也層出不窮，如典型的有stom、spark、flink等。現有技術中，使用計算機框架來承接滿足某種條件的命中數統計往往過于重，特別是如果遇到一個指標涉及歷史數據就會很吃力，而新增一個統計指標，從接到需求到上線支持，時間也較為冗長。

傳統的數據統計，會開啟索引字段增量數據的監聽任務，如需要統計一個商品的銷量(已付款訂單)時，會先來計算goods_id+state的數據，當新進來一個增量數據，計算的數值便會加1，當state變化后，計算的數值可能會減1，然后補全一個全量數據，這過程中可能需要離線計算一次，隨后再計算出一個批量值，在實際取用時則需要同時獲取離線加增量的數據才能得到總的結果，這個過程繁瑣且麻煩，在出現增量統計問題時，往往需要重新計算整個數據，使數據恢復時間較長。因此，在現有技術中，海量數據統計的維度眾多，但都是比較重，且海量數據統計的通用流程主要為兩步，首先配置增量統計，實時監聽指標消息，然后再補全這個指標的歷史數據。這種統計的整個刷入流程比較冗長，且缺乏易用性，可以理解為每個指標都是重新定制統計。同時，這種統計流程的復用性也很差，有的指標可能只是細微變化，如增加一個條件，就需要額外觸發增量及歷史統計。

發明內容

本發明針對現有技術中的不足，提供一種基于ES的海量數據統計方法，包括以下步驟：

步驟一：將需要查詢統計的索引字段增量數據同步進ES；

步驟二：將需要查詢統計的索引字段歷史數據同步進ES；

步驟三：提供統計查詢接口，所述統計查詢接口為數據搜索API接口；

步驟四：完成構建ES的queryJson后發起請求，將請求返回的命中數total作為統計結果。

可選地，當需要查詢統計單個索引字段時，統計結果為一個維度；當需要查詢統計多個索引字段組合時，統計結果為多個維度。

可選地，所述步驟一還包括：所述索引字段增量數據同步進ES，是基于消息隊列來實現。

可選地，所述步驟二還包括：所述索引字段歷史數據同步進ES，是通過hiveSql來構造ES數據后批量刷入來實現。

可選地，所述步驟二還使用create構建方式來避免索引字段歷史數據與索引字段增量數據沖突。

可選地，所述步驟三還包括：單個所述索引字段通過所述數據搜索API接口入參后，通過傳參的方式實現單個索引字段的搜索；多個所述索引字段進行組合后通過所述數據搜索API接口入參，通過傳參的方式實現多個所述索引字段聯查的搜索統計。

可選地，所述索引字段在入參時，將入參中的from size均設置為0。

可選地，所述步驟三還包括：多個所述索引字段進行組合后使用ES提供的multiSearch功能實現多個維度的搜索統計。