[發明專利]實時日志處理方法與裝置

在審

• 申請號: 201710372797.1
• 申請日: 2017-05-24
• 公開（公告）號: CN108959043A
• 公開（公告）日: 2018-12-07
• 發明（設計）人: 江浩
• 申請（專利權）人: 藝龍網信息技術（北京）有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F17/30
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 闞梓瑄;王衛忠

本公開提供一種實時日志處理方法，其特征在于，包括：獲取日志流，篩選出符合預設格式的日志；讀取日志，根據日志生成第一統計單元，第一統計單元包括至少一個公共維度與一個屬于一指標的統計維度；讀取數據庫，判斷數據庫中是否存在第二統計單元，第二統計單元除統計維度的維度值外均與第一統計單元相同；如果不存在第二統計單元，在數據庫中創建第二統計單元，第二統計單元與第一統計單元相同；如果存在第二統計單元，將第一統計單元的統計維度的維度值累加進第二統計單元的統計維度的維度值；展示數據庫中至少一個統計維度的維度值。本公開提供的實時日志處理方法可以提高系統分析效率。

技術領域

本公開涉及數據處理技術領域，具體而言，涉及一種實時日志處理 方法與裝置。

背景技術

在日常的工作中，系統常會出現異常故障，此時通過系統監控系統 查看線上系統運行狀況、機器基礎指標、和接口等性能指標往往無法準 確定位故障。從以往的經驗來看，如果系統技術指標層面沒有問題，那 么出問題的地方往往是一些業務層面的故障，如線上可用紅包酒店數量 下降，用戶紅包數下降等。而排查這些問題往往很讓人頭痛，因為沒有實時的數據來支持這樣的分析，只有通過一天后一些數據統計來推測出 來問題，這樣就浪費了大量寶貴的時間，甚至可能造成嚴重的經濟損 失。

因此，急需一種能夠對業務數據進行實時收集分析的方法，從具體 業務層面上分析系統故障問題所在。同時，對于產品的一些需求，也可 以打一些點，來輔助分析需求的合理性，從而為后續需求評估做數據支 持。此外，由于不同業務系統需要統計的數據可能有很多種，作為系統 設計不可能為每一種是業務場景都設計一套分析流程。因此需要一套通用的、可配置的實時多維度日志處理方法。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公 開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現 有技術的信息。

發明內容

本公開的目的在于提供一種實時日志處理方法與裝置，用于至少在 一定程度上克服由于相關技術的限制和缺陷而導致的一個或多個問題。

根據本公開實施例的第一方面，提供一種實時日志處理方法，包括：

獲取日志流，篩選出符合預設格式的日志；

讀取日志，根據日志生成第一統計單元，第一統計單元包括至少一 個公共維度與一個屬于一指標的統計維度；

讀取數據庫，判斷數據庫中是否存在第二統計單元，第二統計單元 除統計維度的維度值外均與第一統計單元相同；

如果不存在第二統計單元，在數據庫中創建第二統計單元，第二統 計單元與第一統計單元相同；

如果存在第二統計單元，將第一統計單元的統計維度的維度值累加 進第二統計單元的統計維度的維度值；

展示數據庫中至少一個統計維度的維度值。

在本公開的一種示例性實施例中，根據日志生成第一統計單元包括：

根據配置表與日志生成第一統計單元，配置表包括需統計的指標名 稱與統計維度名稱。

在本公開的一種示例性實施例中，讀取數據庫包括：

判斷是否達到預設條件；

如果達到預設條件，讀取數據庫；

如果未達到預設條件，將第一統計單元保存在緩沖區。

在本公開的一種示例性實施例中，數據庫包括多個槽，在數據庫中 創建第二統計單元包括在數據庫的一個槽中創建第二統計單元。

在本公開的一種示例性實施例中，展示數據庫中至少一個統計維度 的維度值包括：

響應客戶端查詢指令按維度圖表化展示維度值。