[發明專利]用于電力計量微服務架構的日志監控系統及實現方法

在審

• 申請號: 201910760512.0
• 申請日: 2019-08-16
• 公開（公告）號: CN110633186A
• 公開（公告）日: 2019-12-31
• 發明（設計）人: 周密;錢斌;趙云;蔡梓文;鄭楷洪
• 申請（專利權）人: 南方電網科學研究院有限責任公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 44245 廣州市華學知識產權代理有限公司
• 代理人: 李斌

本發明公開了一種用于電力計量微服務架構的日志監控系統及實現方法，該系統包括：Elasticsearch監控組件、Logstash監控組件和Kibana監控組件；Elasticsearch監控組件采用基于Lucene的搜索服務器，提供分布式多用戶能力的全文搜索引擎，Logstash監控組件采用插件式架構，對電力計量數據日志進行收集、分析和存儲，Kibana監控組件采用Web平臺，為Elasticsearch監控組件提供數據分析和可視化；針對Elasticsearch監控組件、Logstash監控組件、Kibana監控組件進行封裝開發，匹配電力計量系統日志系統的架構模式。本發明在日志的收集、處理、存儲、展示各個流程都使用微服務方式部署，支持動態擴容縮容、支持大規模日志的處理和存儲，滿足了復雜使用場景的日志需要。

技術領域

本申請涉及電力云計算技術領域，具體涉及一種用于電力計量微服務架構的日志監控系統及實現方法。

背景技術

隨著科學技術的發展以及云計算等技術的普及，全球數據量呈現爆炸式的增長，尤其是大數據時代的到來，通過互聯網，用戶制造了海量的數據日志信息。在電網行業中個，各省市、地區在采集用電數據、計費數據、規則數據等各種各樣的數據類型，每天產生的海量日志信息都達到了指數級。而傳統的關系數據庫對日志存儲、查詢、分析的能力有限，已無法滿足呈爆炸性增長的海量數據日志需求，無法解決信息存儲容量、數據安全、日志搜索分析等問題。

發明內容

為了克服現有技術存在的缺陷與不足，本發明提供一種用于電力計量微服務架構的日志監控系統及實現方法，應對日益龐大的數據計算需求和業務需求，使用日志監控系統能夠提前對潛在的風險進行發掘，分析、判斷并形成定性或定量的描述，從而采取應對措施來降低風險，計量系統系統采用多任務分布式技術對海量日志進行分析挖掘，應用規則關聯、統計關聯等分析方法，使得對電網行業的日志的分析深度與事件的識別準確度得到進一步的提升。

為了達到上述目的，本發明采用以下技術方案：

本發明提供一種用于電力計量微服務架構的日志監控系統，包括：

Elasticsearch監控組件、Logstash監控組件和Kibana監控組件；

所述Elasticsearch監控組件采用基于Lucene的搜索服務器，用于提供分布式多用戶能力的全文搜索引擎，所述Logstash監控組件采用插件式架構，用于對電力計量數據日志進行收集、分析和存儲，所述Kibana監控組件采用Web平臺，用于為Elasticsearch監控組件提供數據分析和可視化；

針對Elasticsearch監控組件、Logstash監控組件、Kibana監控組件進行封裝開發，匹配電力計量系統日志系統的架構模式。

作為優選的技術方案，所述Elasticsearch組件中包含節點和集群節點、Index索引、分布式系統、RESTful支持、document文檔、標識文檔的id、field字段以及mapping映射。

作為優選的技術方案，所述logstash監控組件包括日志數據發送組件、數據收集組件，數據寫入組件。

本發明還提供一種用于電力計量微服務架構日志監控系統的實現方法，包括下述步驟：

計量系統日志Request生成及傳遞：計量系統各個微服務應用統一配置請求攔截器Filter，當攔截到http請求時，攔截器首先生成RequestID，接著收集應用的調用信息及用戶信息并加密輸出到日志中；

計量系統的日志采集：每個微服務應用服務器上都部署一個日志采集模塊，用于采集各服務器上的應用日志，包括負載均衡和微服務網關接入層；

計量系統的日志緩存：將計量系統的日志轉儲在預設的redis組件內；