[發明專利]分布式計算環境的日志動態分析系統

有效

• 申請號: 201610030483.9
• 申請日: 2016-01-18
• 公開（公告）號: CN105574205B
• 公開（公告）日: 2019-03-19
• 發明（設計）人: 蔣破荒;盧波;陳毅波;陳乾;林蓉;徐建明
• 申請（專利權）人: 國家電網公司;國網湖南省電力公司;國網湖南省電力公司信息通信公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/182;H04L12/24;H04L29/06
• 代理公司: 長沙永星專利商標事務所(普通合伙) 43001
• 代理人: 周詠;米中業

1.一種分布式計算環境的日志動態分析系統，其特征在于包括網關-日志生成代理服務、日志傳輸服務、日志收集控制器、實時流處理服務和日志數據分析接口；網關-日志生成代理服務用于計算機系統的日志定位以及重新生成日志副本，并將日志副本傳輸給日志傳輸服務；日志傳輸服務用于將網關-日志生成代理服務生成的日志副本傳輸給日志收集控制器；日志收集控制器用于將接收的日志副本進行存儲；實施流處理服務將日志收集控制器收集的日志信息進行實時計算和特征匹配，生成流式處理的數據信息和異常統計信息；日志數據分析接口用于對分布式計算環境的日志動態分析系統的用戶提供實時數據分析結果的查詢接口；所述的網關-日志生成代理服務包括代理通訊協議模塊和日志收集壓縮模塊；代理通訊協議模塊為支持TCP/IP網絡協議、Socket安全套接字和IPX數據交換協議的通訊接口，日志收集壓縮部分包含用于獲取日志的重定向模塊和日志壓縮模塊：獲取日志的重定向模塊將日志發生計算機上的日志源進行重定向輸出，形成日志副本，將此日志副本傳輸給日志壓縮模塊。

2.根據權利要求1所述的分布式計算環境的日志動態分析系統，其特征在于所述的重定向輸出包括如下步驟：

S1. 日志定位：通過掃描日志發生計算機上的文件系統、系統注冊表信息，獲取日志的文件路徑、通過注冊表匹配機制確認日志類型，定位日志文件所在的位置；

S2. 重定向生成日志副本：當步驟S1完成日志定位后，對日志發生對象進行日志文件獲取、并構建生成日志副本的發生器進程，副本的生成方式與日志發生對象的日志類型對應。

3.根據權利要求2所述的分布式計算環境的日志動態分析系統，其特征在于所述的副本的生成方式包括文件型日志副本生成方式、設備日志副本生成方式、應用軟件日志副本生成方式和數據庫日志的副本生成方式；文件型日志副本通過文件復制的方式完成副本生成，設備日志副本通過單獨的進程獲取設備固件的日志數據提取方式生成，應用軟件日志副本生成方式通過開源日志工具log4j開發者工具、Verbose調試開關接口的輸出文件提取生成，數據庫日志副本生成方式為通過代理程序讀取數據庫DML日志記錄和數據表進行行記錄連續讀取、抄送給副本的方式生成。

4.根據權利要求1所述的分布式計算環境的日志動態分析系統，其特征在于所述的日志傳輸服務包括如下步驟：

S1. 若日志副本為文件型日志副本和應用軟件日志副本，則建立異步消息處理機制：將重定向生成日志副本文件按照消息隊列的方式進行封裝、并通過設置包括消息隊列深度、消息分段在內的參數將副本文件截取為每一個消息控制在4M大小的消息段，通過消息傳輸隊列的JMS進程連接日志收集控制器的消息接收隊列進程中；傳輸過程采用消息壓縮、分段提交、接收解壓三個步驟完成；

S2. 若日志副本為數據庫型日志副本，則建立連續數據捕獲機制：讀取日志副本行記錄，記錄每一個增刪改和事務操作，將每一個記錄封裝為一個SQL指令，通過TCP/IP協議將這些指令傳遞給日志收集控制器，日志收集控制器收到SQL指令后，進行解析處理。

5.根據權利要求1所述的分布式計算環境的日志動態分析系統，其特征在于所述的實時流處理服務包括實時計算控制器、通知服務、異常統計、實時結果展示、時間戳、日志解析器和日志搜索器；實時計算控制器用于處理消息并完成實時計算，通過實時計算實現對不斷增長的日志信息的業務數據進行統計與分析；通知服務通過配置日志解析器中的通知觸發器進行監控警告服務，并能夠提供符合SNMP協議的MIB庫進行通知服務；異常統計用于對日志中的錯誤、警告信息進行標記，并對錯誤類型和范圍通過數據字典進行標記分類，根據分類號和標記編號對日志錯誤和警告進行統計、排序；實時結果展示通過對實時計算的日志信息和異常統計信息進行實時顯示；時間戳是實時計算過程中，為了對日志事件進行時間定義的一個有效方法，時間戳用于通過同步位于實時流處理服務的時間服務進程來統一各個計算資源組的系統時間，保證日志動態分析過程中的時間一致性；日志解析器用于將實時計算結果按照配置解析規則進行篩選，并對日志副本中包含的代碼字符利用數據字典功能進行自定義的對應轉換；日志搜索器用于動態分析過程中進行日志搜索。