[發明專利]基于elastic組件的日志分析方法

在審

• 申請號: 201710433056.X
• 申請日: 2017-06-09
• 公開（公告）號: CN107273267A
• 公開（公告）日: 2017-10-20
• 發明（設計）人: 魯飛;付瑩;馮方方;孫健;劉斌;付強
• 申請（專利權）人: 環球智達科技（北京）有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;H04L12/24
• 代理公司: 北京慧誠智道知識產權代理事務所(特殊普通合伙)11539
• 代理人: 李楠

技術領域

本發明涉及數據處理技術領域，尤其涉及一種基于elastic組件的日志分析方法。

背景技術

隨著互聯網技術的蓬勃發展，用戶越來越普遍地通過終端接入互聯網辦理各種業務。業務規模不斷擴大，系統功能會變得越來越復雜,為了應付業務的快速發展，降低開發難度，排除性能瓶頸，系統會不斷拆分，演化成包含多種子服務的分布式系統，各子服務通過遠程過程調用協議(Remote Procedure Call Protocol,RPC)相互調用，最后完成業務流程。這個拆分和進化的過程是不可逆的，子系統越變越多，各種專用功能組件會不斷被引入，系統和機器規模迅速膨脹。

當業務發展到一定的規模時，幾個運維或者開發人員根本無法全面的了解系統中的每個邏輯，出現故障后登錄各臺服務器，使用grep/sed/awk等Linux腳本工具去日志里查找故障原因，排障時間長，不容易及時發現故障根源。

現有技術中的日志分析系統，如splunk、日志易、logz.io等系統價格昂貴，數據安全性無法保證，與指定的業務邏輯結合度不高。

發明內容

本發明提供了一種基于elastic組件的日志分析方法，以解決現有技術中的日志分析系統價格昂貴，數據安全性無法保證，與指定的業務邏輯結合度不高的問題。

本發明實施例提供了一種基于elastic組件的日志分析方法，包括：

服務器獲取日志數據，所述日志數據包含系統日志和業務日志；

創建消息隊列，將所述日志數據寫入所述消息隊列；

從所述消息隊列中讀取所述日志數據，根據預設處理規則對所述日志數據進行預處理，得到預處理日志數據；

利用elastic組件存儲所述預處理日志數據；

根據預設分析規則對所述預處理日志數據進行分析處理，得到分析結果；

當所述分析結果超過預設閾值時，向監控終端發送提示信息；

將所述分析結果和所述提示信息生成可視化分析報告，并進行顯示。

進一步的，所述根據預設處理規則對所述日志數據進行預處理，得到預處理日志數據具體包括：

對所述日志數據按照字段進行過濾，并將過濾后的日志數據根據業務類型添加分類標識。

進一步的，在利用elastic組件存儲所述預處理日志數據之后，所述方法還包括：

所述服務器接收終端發送的查詢請求，所述查詢請求包含查詢條件；

根據所述查詢條件在elastic組件中實時查詢日志數據，并發送給所述終端。

進一步的，所述根據預設分析規則對所述預處理日志數據進行分析處理，得到分析結果具體包括：

根據預設的報錯規則對預處理日志數據中的第一業務的出錯信息進行統計，得到所述第一業務的出錯次數。

進一步的，所述方法還包括：

當所述第一業務執行的出錯次數超過所述第一業務報錯閾值時，所述服務器向所述監控終端發送報警信息。

進一步的，所述根據預設分析規則對所述預處理日志數據進行分析處理，得到分析結果具體包括：

分別根據URL地址、MAC地址、IP地址從預處理日志數據中提取預設時間段內用戶的訪問數據；

根據所述訪問數據，統計預設時間段內用戶的點擊率。

進一步的，所述將所述分析結果和所述提示信息生成分析報告，并進行可視化顯示具體包括：

所述服務器將所述分析結果和所述提示信息生成可視化分析報告；

接收終端發送的分析報告的獲取請求，所述獲取請求中包含所述終端的ID信息；

根據所述終端的ID信息將所述可視化分析報告發送到所述終端進行顯示。

本發明實施例提供的基于elastic組件的日志分析方法，服務器獲取日志數據，日志數據包含系統日志和業務日志；創建消息隊列，將日志數據寫入消息隊列；從消息隊列中讀取日志數據，根據預設處理規則對日志數據進行預處理，得到預處理日志數據；利用elastic組件存儲預處理日志數據；根據預設分析規則對預處理日志數據進行分析處理，得到分析結果；當分析結果超過預設閾值時，向監控終端發送提示信息；將分析結果和提示信息生成可視化分析報告，并進行顯示。本發明實施例提供的方法，基于開源的elastic組件對日志數據進行處理，降低了成本；根據預設的分析規則分析日志數據，可以與指定的業務邏輯有效結合；無需第三方分析系統參與，提高了數據的安全性。

附圖說明

圖1為本發明實施例提供的基于elastic組件的日志分析方法的流程圖。