[發明專利]基于實時計算的基數估計的方法和系統

有效

• 申請號: 201610292792.3
• 申請日: 2016-05-05
• 公開（公告）號: CN107346270B
• 公開（公告）日: 2020-05-01
• 發明（設計）人: 王向長;邵先凱;李威;張鵬
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/27
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;姜勁

1.一種基于實時計算的基數估計的方法，其特征在于，包括，在Storm系統中的執行下列步驟：

實時獲取日志消息；

解析所述日志消息以獲取指標信息，所述指標信息包括各指標的名稱及對應的指標值；

利用HLL基數估計算法對各指標進行基數估計；

輸出各指標的基數；

利用HLL基數估計算法對各指標進行基數估計還包括：

將所述指標信息隨機分配至基數估計計算層的多個線程，各線程根據分配到的指標信息，為各指標創建HLL對象，利用HLL基數估計算法中的Offer方法將各指標的指標值加入到對應的HLL對象中，然后定時將HLL對象發送到基數集合合并層；以及

所述基數集合合并層接收HLL對象，并按各HLL對象的指標名稱創建各指標的總HLL對象，然后利用HLL算法中的Merge方法將HLL對象按照指標名稱合并到各自對應的總HLL對象中，以及定時利用HLL算法中的Cardinality方法對各指標的總HLL對象進行計數，以獲得各指標的基數。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：解析所述日志消息之后，對獲取的指標信息進行校驗，以刪除異常指標信息。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：所述HLL對象及所述總HLL對象均保存在位于其所在服務器內存中的LRUmap中。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：定時將總HLL對象保存至外部的數據庫。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：定時將各指標的基數保存到外部的數據庫。

6.根據權利要求1-5任一項所述的方法，其特征在于，所述方法中的定時是指：記錄上次操作的時間，若當前時刻與上次操作的時間差小于預設閾值，則不進行相應操作，若當前時刻與上次操作的時間差大于預設閾值，則進行相應操作。

7.一種基于實時計算的基數估計的系統，其特征在于，包括：

存儲器和處理器，其中，

所述存儲器存儲指令；

所述處理器執行所述指令用于：

在Storm系統中的執行下列步驟：

實時獲取日志消息；

解析所述日志消息以獲取指標信息，所述指標信息包括各指標的名稱及對應的指標值；

利用HLL基數估計算法對各指標進行基數估計；

輸出各指標的基數；

所述處理器還用于：

將所述指標信息隨機分配至基數估計計算層的多個線程，各線程根據分配到的指標信息，為各指標創建HLL對象，利用HLL基數估計算法中的Offer方法將各指標的指標值加入到對應的HLL對象中，然后定時將HLL對象發送到基數集合合并層；以及

所述基數集合合并層接收HLL對象，并按各HLL對象的指標名稱創建各指標的總HLL對象，然后利用HLL算法中的Merge方法將HLL對象按照指標名稱合并到各自對應的總HLL對象中，以及定時利用HLL算法中的Cardinality方法對各指標的總HLL對象進行計數，以獲得各指標的基數。

8.根據權利要求7所述的系統，其特征在于，所述處理器還用于：解析所述日志消息之后，對獲取的指標信息進行校驗，以刪除異常指標信息。

9.一種電子設備，其特征在于，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-6中任一所述的方法。

10.一種計算機可讀介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現如權利要求1-6中任一所述的方法。