[發明專利]日志分析方法及系統

有效

• 申請號: 201310743923.1
• 申請日: 2013-12-30
• 公開（公告）號: CN103678092B
• 公開（公告）日: 2017-01-25
• 發明（設計）人: 金豐;斯俊偉;梁志勇;孫凌閣
• 申請（專利權）人: 北京網康科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F17/30;H04L12/24
• 代理公司: 北京億騰知識產權代理事務所11309
• 代理人: 陳霽

1.一種日志分析方法，其特征在于，包括以下步驟：

數據處理單元接收客戶端發送的用戶請求；

所述數據處理單元將所述用戶請求處理為任務信息，并將所述任務信息發送給所述數據分析單元；

所述數據分析單元根據接收到的所述任務信息進行日志分析生成分析結果，并將所述分析結果發送給數據處理單元；

所述數據處理單元對所述分析結果處理為回復信息，并將所述回復信息發送給所述客戶端。

2.如權利要求1所述的日志分析方法，其特征在于，所述數據處理單元將所述用戶請求處理為任務信息具體包括：

數據處理單元將所述用戶請求轉換為數據調用參數，將所述調用參數生成任務集合，并將所述任務集合對應的任務信息發送給數據分析單元。

3.如權利要求2所述的日志分析方法，其特征在于，所述數據處理單元將所述用戶請求處理為任務信息具體還包括：

判斷所述任務集合是否存儲在本地緩存中；

如果所述任務集合存儲在本地緩存當中，則將所述任務集合在本地的緩存關聯至該任務；如果所述任務集合沒有存儲在本地緩存當中，則所述任務集合對應的任務信息發送給所述數據分析單元。

4.如權利要求2所述的日志分析方法，其特征在于，所述數據處理單元將所述用戶請求處理為任務信息具體還包括：

判斷所述用戶請求是否轉換為數據調用參數；

如果所述用戶請求轉換為數據調用參數，則直接返回；如果所述用戶請求沒有轉換為數據調用參數，則將用戶請求沒有轉換為數據調用參數，并在監控時間內實時監控本次日志分析的執行狀態。

5.如權利要求4所述的日志分析方法，其特征在于，所述在監控時間內實時監控本次日志分析的執行狀態具體包括：

如果在所述監控時間內，所述數據分析單元將分析結果發送給所述數據處理單元，則所述數據處理單元將當前狀態更新為完成；

如果在所述監控時間內，所述數據分析單元將錯誤信息發送給數艘數據處理單元，則所述數據處理單元將當前狀態更新為失敗，所述數據處理單元記錄所述錯誤信息；

如果在所述監控時間內，所述數據分析單元沒有發送信息給所述數據處理單元，則所述數據處理單元將當前狀態更新為超時，并且所述數據處理單元記錄所述超時。

6.如權利要求1所述的日志分析方法，其特征在于，所述數據處理單對將所述分析結果處理為所述回復信息具體包括：

所述數據處理單元接收所述數據分析單元發送的所述分析結果，所述數據處理單元對所述分析結果進行二次匯總分析，并將所述二次匯總分析的結果處理為回復信息。

7.一種日志分析系統，其特征在于，所述系統包括：

數據處理單元，用于用戶請求的收集、分析，將所述用戶請求轉換為任務信息，并且接收數據分析單元發送的分析結果，將所述分析結果發送給客戶端；

數據分析單元，用于接收所述數據處理單元發送的任務信息，根據所述任務信息對日志數據進行分析并生成所述分析結果，并將所述分析結果發送給所述數據處理單元。

8.如權利要求7所述的日志分析系統，其特征在于，所述數據處理單元包括：數據訪問接口，數據收集調度模塊，數據分析模塊，第一存儲模塊，第二存儲模塊，數據收集模塊；

所述數據訪問接口，用于接收所述用戶請求，將用戶請求轉換為所述收集調度模塊和數據分析模塊的調用參數，并接收所數據分析模塊的分析結果；

所述數據收集調度模塊,接收所述數據訪問接口的調用參數，將來自所述數據訪問接口的調用參數轉換為任務集合，并下發任務集中的所有任務，用于所述用戶請求的轉換、監控、環境的初始化與清理；

所述數據分析模塊，對所述第二存儲模塊中的匯總數據進行匯總分析，并將匯總數據分析的結果發送給所述數據訪問接口，用于對所述數據處理單元中的所有數據進行二次匯總分析；

所述數據收集模塊，接收所述數據收集調度模塊下發的任務，將所述任務信息下發給所述數據分析模塊，并接收所述數據分析模塊的分析結果，用于任務的下發與數據的收集；

所述第一存儲模塊，用于接收所述數據收集調用模塊的所述任務集合并存儲；

所述第二存儲模塊，用于對所述數據分析模塊發送的分析結果進行存儲。