[發明專利]國網云中應用的一種基于大數據的日志管理系統

在審

• 申請號: 201710365505.1
• 申請日: 2017-05-22
• 公開（公告）號: CN107343021A
• 公開（公告）日: 2017-11-10
• 發明（設計）人: 王萍;胡聰;吳斌;徐敏;蔡夢臣;吳尚;方圓;張禾良;馬永;倪平波;喻梅;胡州明;歐淵;張強;楊渝;李明洪
• 申請（專利權）人: 國網安徽省電力公司信息通信分公司;四川中電啟明星信息技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24;G06F17/30
• 代理公司: 成都君合集專利代理事務所(普通合伙)51228
• 代理人: 張鳴潔

技術領域

本發明涉及計算機技術領域，具體的說，是國網云中應用的一種基于大數據的日志管理系統。

背景技術

“國網云”包括生產控制云、企業管理云和公共服務云，分別為國家電網公司的生產控制、企業管理及對外服務提供相應的技術支撐，而“國網云”平臺則是管理、調控、支撐這三朵云的核心。大數據時代的來臨，許多公司的平臺每天都會產生大量的日志數據，處理這些日志需要特定的數據系統，很多公司也已經將他們的日志系統開源。在國網云應用中，隨著部署在云計算環境的應用規模的擴大和用戶訪問數量的增加，每天都會產生海量的異構日志數據，在傳統的數據處理方式上使用傳統的單臺主機模式針對海量數據文件進行存儲和計算，它的計算能力顯得十分有限，并且由于日志數據結構不統一、數據量大，傳統的關系型數據庫在水平擴展能力上的不足和嚴格的模式化存儲方式的約束，使得傳統的日志存儲和分析方法已經不能滿足存儲海量的異構日志數據的需求，并且應用日志存儲在數量動態變化的主機資源之上，若沒有及時將日志統一收集存儲到日志服務器，就會造成日志隨著主機的撤除而丟失。另外，日志的分布式存儲不利于應用維護人員查看和分析，不利于應用系統的維護和優化。

發明內容

本發明的目的在于提供國網云中應用的一種基于大數據的日志管理系統，用于解決現有技術中關系型數據庫不能滿足海量異構日志數據存儲的問題。

為了達到上述目的，本發明通過下述技術方案實現：

國網云中應用的一種基于大數據的日志管理系統，包括日志收集模塊，日志存儲模塊、日志分析模塊和應用交互模塊，其中：

日志收集模塊：收集、傳輸和聚合日志信息；

日志存儲模塊：將所述日志收集模塊收集的日志信息存儲于分布式服務器的存儲節點；

日志分析模塊：采用分布式計算的方法對日志信息進行數據挖掘分析；

應用交互模塊：用于給用戶提供查詢輸入、日志查詢和日志導出的界面。

分布式日志收集模塊負責將海量的分布式異構日志信息收集、傳輸和聚合，然后將日志信息存儲至日志存儲模塊，日志存儲模塊將日志信息存儲在分布式服務器上，并且設置了冗余備份機制，當被使用的那臺服務器巖機時，備份服務器就會接管工作。為了保證備份服務器之間的數據一致性，各服務器之間需定時進行數據同步。日志分析模塊利用分布式計算的方法對海量日志數據進行挖掘分析，解決傳統單機分析日志的局限性。應用交互模塊使用給用戶提供交互界面，接收用戶輸入的操作，返回操作結果。

進一步的優選，所述日志收集模塊包括日志收集進程、轉發進程和storage層，其中：

日志收集進程：用于監聽和收集部署在每臺主機上的應用產生的日志；

轉發進程：運行在服務器上，用于接收日志收集進程發送的日志，并將日志寫到storage層中；

storage層：用于提供永久的日志信息存儲服務。

在每臺部署應用的主機上都有一個日志收集進程，對應用產生的日志進行收集。日志收集進程作為一個后臺運行的進程，只負責監聽應用日志的產生并收集日志，對應用本身不產生任何影響，它們是相互獨立的，日志轉發進程運行在分布式服務器上，負責接收日志收集進程發送過來的日志，并且將日志根據路由規則寫到相應的store層中。storage層是存儲系統，負責提供永久的日志存儲服務。它可以是一個普通文件file，也可以是分布式文件系統HDFS，HIVE，HBase等。

進一步的優選，所述日志存儲模塊采用無模式且具備水平擴展能力的數據庫系統，用于海量異構日志存儲。

日志存儲模塊在水平方向上進行擴展，采用多個分片服務器，通過增加分片服務器來提高存儲能力，存儲海量日志數據。

進一步的優選，所述數據庫系統的水平擴展采用多個分片服務器，將日志數據分布式存儲在多個分片服務器上。

日志存儲模塊將海量日志數據分布式存儲在多個分片服務器之上，數據的分片情況對用戶是透明的，提供路由服務器作為訪問的接口。當路由服務器接收到數據訪問請求時，先查詢配置服務器，配置服務器中記錄了數據分布在哪些分片之上，路由服務器根據配置服務器返回的結果查詢分片服務器，將結果整合之后返回給用戶。

進一步的優選，所述無模式且具備水平擴展能力的數據庫系統為NoSQL數據庫MongoDB。