[發明專利]國網云中應用的一種基于大數據的日志管理系統

在審

• 申請號: 201710365505.1
• 申請日: 2017-05-22
• 公開（公告）號: CN107343021A
• 公開（公告）日: 2017-11-10
• 發明（設計）人: 王萍;胡聰;吳斌;徐敏;蔡夢臣;吳尚;方圓;張禾良;馬永;倪平波;喻梅;胡州明;歐淵;張強;楊渝;李明洪
• 申請（專利權）人: 國網安徽省電力公司信息通信分公司;四川中電啟明星信息技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24;G06F17/30
• 代理公司: 成都君合集專利代理事務所(普通合伙)51228
• 代理人: 張鳴潔

1.國網云中應用的一種基于大數據的日志管理系統，包括日志收集模塊，日志存儲模塊、日志分析模塊和應用交互模塊，其特征在于，其中：

日志收集模塊：收集、傳輸和聚合日志信息；

日志存儲模塊：將所述日志收集模塊收集的日志信息存儲于分布式服務器的存儲節點；

日志分析模塊：采用分布式計算的方法對日志信息進行數據挖掘分析；

應用交互模塊：用于給用戶提供查詢輸入、日志查詢和日志導出的界面。

2.根據權利要求1所述的國網云中應用的一種基于大數據的日志管理系統，其特征在于，所述日志收集模塊包括日志收集進程、轉發進程和storage層，其中：

日志收集進程：用于監聽和收集部署在每臺主機上的應用產生的日志；

轉發進程：運行在服務器上，用于接收日志收集進程發送的日志，并將日志寫到storage層中；

storage層：用于提供永久的日志信息存儲服務。

3.根據權利要求1所述的國網云中應用的一種基于大數據的日志管理系統，其特征在于，所述日志存儲模塊采用無模式且具備水平擴展能力的數據庫系統，用于海量異構日志存儲。

4.根據權利要求3所述的國網云中應用的一種基于大數據的日志管理系統，其特征在于，所述數據庫系統的水平擴展采用多個分片服務器，將日志數據分布式存儲在多個分片服務器上。

5.根據權利要求4所述的國網云中應用的一種基于大數據的日志管理系統，其特征在于，所述無模式且具備水平擴展能力的數據庫系統為NoSQL數據庫MongoDB。

6.根據權利要求5所述的國網云中應用的一種基于大數據的日志管理系統，其特征在于，所述NoSQL數據庫MongoDB用于：

a.根據需求編寫javascript腳本，完成并行計算模型MapReduce的分布式計算；

b.對訪問日志進行分析，統計PV值，經過map函數的處理之后，發送給reduce函數，進行日志分析；

c.將javascript程序寫在單獨的文件中，通過crontab命令定時執行javascript代碼，執行完畢后，統計結果便被存儲在MongoDB中的Res集合中，最后將根據統計結果繪制的分析圖表，以郵件的形式發送給運維人員。