[發明專利]分布式計算環境的日志動態分析系統

有效

• 申請號: 201610030483.9
• 申請日: 2016-01-18
• 公開（公告）號: CN105574205B
• 公開（公告）日: 2019-03-19
• 發明（設計）人: 蔣破荒;盧波;陳毅波;陳乾;林蓉;徐建明
• 申請（專利權）人: 國家電網公司;國網湖南省電力公司;國網湖南省電力公司信息通信公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/182;H04L12/24;H04L29/06
• 代理公司: 長沙永星專利商標事務所(普通合伙) 43001
• 代理人: 周詠;米中業

本發明公開了一種分布式計算環境的日志動態分析系統，包括網關?日志生成代理服務、日志傳輸服務、日志收集控制器、實時流處理服務和日志數據分析接口；網關?日志生成代理服務用于日志定位、生成副本并傳輸給日志傳輸服務；日志傳輸服務將副本傳輸給日志收集控制器；日志收集控制器將接收的日志副本進行存儲；實施流處理服務將日志信息進行實時計算和特征匹配，生成流式處理的數據信息和異常統計信息；日志數據分析接口用于對用戶提供實時數據分析結果的查詢接口。本發明為分布式計算環境中的每個節點提供數據追蹤、監控、用戶行為軌跡、功能測試覆蓋率等服務，能夠處理各類日志文件，并且利用實時數據進行實時日志分析、處理和監控。

技術領域

本發明具體涉及一種分布式計算環境的日志動態分析系統。

背景技術

電力領域中應用的計算機系統在運行會產生大量的系統日志，其中包括了設備固件中的運行日志、數據庫日志、應用軟件日志、監控平臺日志等，這些日志在不斷持續增長并以各自不同的形式定義其日志結構和描述信息。如果計算機系統發生異常，會產生上述各種日志文件中的聯動記錄，造成海量日志難以快速定位分析，診斷信息千絲萬縷，難以定位故障源頭，造成故障修復困難，導致生產服務失效的風險。為了提高運維質量，滿足運維工作中穩定高效技術保障的要求，通常需要運維人員具備較高的日志分析水平。由于傳統日志處理技術適用面窄，日志處理內容數據量大，導致面對持續增長的日志內容無法進行快速有效的日志分析處理。

日志動態分析技術是日志處理技術中的一個高級實現，是用于將海量的、持續增長的日志內容進行實時計算、動態處理、異步數據分析的一種方法，它適用于分布式計算環境中通用的應用服務集群、數據庫集群等常見部署架構中，它能夠識別并捕獲應用軟件日志、數據庫日志、文件型日志等，并采用專門的方法對持續增長的日志內容中進行實時流式處理、并提供針對用戶行為日志等非結構化日志的異步離線分析處理，形成一個適用面廣、處理海量日志的數據分析架構。但是現有的日志動態分析技術大部分采用順序批處理方式進行，這種處理方式無法適用各種類型日志文件，其處理分析機制屬于事后分析，在實時性方面無法得到保障，在事前預警需求方面無法滿足需求。

發明內容

本發明的目的在于提供一種能夠處理各種類型日志文件、并且利用實時數據進行實時日志分析、處理和監控的分布式計算環境的日志動態分析系統。

本發明提供的這種分布式計算環境的日志動態分析系統，包括網關-日志生成代理服務、日志傳輸服務、日志收集控制器、實時流處理服務和日志數據分析接口；網關-日志生成代理服務用于計算機系統的日志定位以及重新生成日志副本，并將日志副本傳輸給日志傳輸服務；日志傳輸服務用于將網關-日志生成代理服務生成的日志副本傳輸給日志收集控制器；日志收集控制器用于將接收的日志副本進行存儲；實施流處理服務將日志收集控制器收集的日志信息進行實時計算和特征匹配，生成流式處理的數據信息和異常統計信息；日志數據分析接口用于對分布式計算環境的日志動態分析系統的用戶提供實時數據分析結果的查詢接口。

所述的網關-日志生成代理服務包括代理通訊協議模塊和日志收集壓縮模塊；代理通訊協議模塊為支持TCP/IP網絡協議、Socket安全套接字和IPX數據交換協議的通訊接口，日志收集壓縮部分包含用于獲取日志的重定向模塊和日志壓縮模塊：獲取日志的重定向模塊將日志發生計算機上的日志源進行重定向輸出，形成日志副本，將此日志副本傳輸給日志壓縮模塊。

所述的重定向輸出包括如下步驟：

S1. 日志定位：通過掃描日志發生計算機上的文件系統、系統注冊表信息，獲取日志的文件路徑、通過注冊表匹配機制確認日志類型，定位日志文件所在的位置；

S2. 重定向生成日志副本：當步驟S1完成日志定位后，對日志發生對象進行日志文件獲取、并構建生成日志副本的發生器進程，副本的生成方式與日志發生對象的日志類型對應。