[發明專利]一種基于分布式存儲的日志分析方法及裝置

在審

• 申請號: 201710217523.5
• 申請日: 2017-04-05
• 公開（公告）號: CN106992886A
• 公開（公告）日: 2017-07-28
• 發明（設計）人: 王繼業;高靈超;楊寧;羅華永;葛華利;王宇飛
• 申請（專利權）人: 國家電網公司;國網信息通信產業集團有限公司;北京中電普華信息技術有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 羅滿

技術領域

本發明涉及日志分析技術領域，更具體地說，涉及一種基于分布式存儲的日志分析方法及裝置。

背景技術

日志是記錄系統中硬件、軟件和系統問題的信息，同時還可以監視系統中發生的事件。用戶可以通過對日志的分析檢查錯誤發生的原因，或者尋找受到攻擊時攻擊者留下的痕跡。目前，通過傳統方式對日志數據進行存儲分析，速率較慢，且不能存儲海量日志數據。

因此，如何實現對日志數據的海量存儲，以對日志進行分析是本領域技術人員需要解決的問題。

發明內容

本發明的目的在于提供一種基于分布式存儲的日志分析方法及裝置，以實現對日志數據的海量存儲及分析。

為實現上述目的，本發明實施例提供了如下技術方案：

一種基于分布式存儲的日志分析方法，包括：

日志代理實時收集日志數據，并將所述日志數據發送至日志后臺服務；

所述日志后臺服務接收所述日志數據，根據所述日志數據確定分片參數及副本參數，并根據所述分片參數和所述副本參數對所述日志數據進行分布式存儲，以使日志展現模塊通過日志接口對日志數據進行分析及展示。

其中，日志展現模塊通過日志接口對日志數據進行分析及展示，包括：

所述日志展現模塊接收用戶輸入的統計信息；所述統計信息包括統計關鍵字信息和/或統計時間信息；

所述日志展現模塊利用所述統計信息，調用記錄統計接口從所述日志后臺服務獲取統計結果并進行展示。

其中，日志展現模塊通過日志接口對日志數據進行分析及展示，包括：

所述日志展現模塊接收用戶輸入的查詢信息；所述查詢信息包括查詢關鍵字信息和/或查詢時間信息；

所述日志展現模塊利用所述查詢信息，調用日志查詢接口從所述日志后臺服務獲取查詢結果并進行展示。

其中，本方案還包括：

所述日志后臺服務根據預設的刪除策略，對存儲的日志數據執行刪除操作。

其中，本方案還包括：

所述日志后臺服務根據預設的監控策略對存儲的日志數據進行分析檢測；若檢測到異常數據，則通過所述日志展現模塊展示與異常數據對應的報警信息。

一種基于分布式存儲的日志分析裝置，包括：

日志代理，用于實時收集日志數據，并將所述日志數據發送至日志后臺服務；

所述日志后臺服務，用于接收所述日志數據，根據所述日志數據確定分片參數及副本參數，并根據所述分片參數和所述副本參數對所述日志數據進行分布式存儲；

日志展現模塊，用于通過日志接口對存儲在所述日志后臺服務的日志數據進行分析及展示。

其中，所述日志后臺服務包括：

第一接收模塊，用于接收用戶輸入的統計信息；所述統計信息包括統計關鍵字信息和/或統計時間信息；

第一獲取模塊，用于利用所述統計信息，調用記錄統計接口從所述日志后臺服務獲取統計結果并進行展示。

其中，所述日志后臺服務包括：

第二接收模塊，用于接收用戶輸入的查詢信息；所述查詢信息包括查詢關鍵字信息和/或查詢時間信息；

第二獲取模塊，用于利用所述查詢信息，調用日志查詢接口從所述日志后臺服務獲取查詢結果并進行展示。

其中，所述日志后臺服務還包括：

刪除模塊，用于根據預設的刪除策略，對存儲的日志數據執行刪除操作。

其中，所述日志后臺服務還包括：

報警分析模塊，用于根據預設的監控策略對存儲的日志數據進行分析檢測；若檢測到異常數據，則通過所述日志展現模塊展示與異常數據對應的報警信息。

通過以上方案可知，本發明實施例提供的一種基于分布式存儲的日志分析方法，包括：日志代理實時收集日志數據，并將所述日志數據發送至日志后臺服務；所述日志后臺服務接收所述日志數據，根據所述日志數據確定分片參數及副本參數，并根據所述分片參數和所述副本參數對所述日志數據進行分布式存儲，以使日志展現模塊通過日志接口對日志數據進行分析及展示。

可見，在本實施例中，日志數據的存儲采用分布式存儲方式，在分布式環境下日志數據采用分片和副本策略，實現了高性能、高伸縮和高可用。并且，分片技術為大規模并行索引和搜索提供了支持，極大地提高了索引和搜索的性能，極大地提高了水平擴展能力；副本技術為數據提供冗余，部分機器故障不影響系統的正常使用，保證了系統的持續高可用；本發明還公開了一種基于分布式存儲的日志分析裝置，同樣能實現上述技術效果。

附圖說明