[發明專利]一種海量日志分析系統及方法

有效

• 申請號: 201310058332.0
• 申請日: 2013-02-25
• 公開（公告）號: CN103138989A
• 公開（公告）日: 2013-06-05
• 發明（設計）人: 唐威;景奕昕;廖巍;韓敏;余鵬飛;李璐
• 申請（專利權）人: 武漢華工安鼎信息技術有限責任公司
• 主分類號: H04L12/24
• 分類號: H04L12/24
• 代理公司: 北京匯澤知識產權代理有限公司 11228
• 代理人: 程殿軍

1.一種海量日志分析系統，其特征在于，其包括任務結點集群、管理結點和數據庫；其中該任務結點集群包括至少一個任務結點，用于海量日志文件的分布式采集、存儲和分析，該管理結點用于制定采集策略，對所述任務結點集群實施調度管理，完成分布式存儲和分析，并由該管理結點將最終的日志分析結果和審計信息寫入所述數據庫。

2.如權利要求1所述的海量日志分析系統，其特征在于，單個所述任務結點負責至少一個目標對象的日志文件采集和本地存儲，并接受所述管理結點的調度完成分布式存儲和分析，所述任務結點的功能模塊，包括日志采集模塊、日志存儲模塊、日志預處理模塊、日志分析模塊和管理配置模塊，該日志存儲模塊包括具有本地使用空間的本地存儲管理模塊與具有分布式文件系統空間的分布式存儲管理模塊。

3.如權利要求2所述的海量日志分析系統，其特征在于，所述管理結點是日志采集與分析的控制中心，該管理結點的功能模塊包括采集策略模塊、接收管理模塊、結點調度模塊和存儲管理模塊。

4.如權利要求2所述的海量日志分析系統，其特征在于，每個所述任務結點通過所述配置管理模塊接收采集任務、設置采集的目標對象，所述日志采集模塊采集日志文件，將采集的原始日志文件由所述本地存儲管理模塊存儲于本地存儲空間，所述分布式存儲管理模塊接受所述管理結點的調度，用于將管理結點分配的日志數據存儲至所述分布式文件系統空間，實現海量日志文件的分布式存儲；所述日志預處理模塊將采集并存儲于所述本地存儲空間中的日志文件進行預處理；所述日志分析模塊組成的分布式分析系統，在所述管理結點的調度下分析存儲在所述分布式文件系統空間中的海量日志文件，識別安全事件，形成分布式分析結果；所述配置管理模塊接受管理結點的調度管理，接收下發的任務并將預處理后的日志文件提交給所述管理結點。

5.如權利要求3所述的海量日志分析系統，其特征在于，所述采集策略模塊制定采集方案，由所述結點調度模塊向所述任務結點集群下發采集任務并調度執行；所述任務結點集群完成采集并提交后，所述接收管理模塊接收任務結點集群提交的日志文件，由所述結點調度模塊調度任務結點集群將日志文件分布式存儲及分析，并由所述接收管理模塊接收分析結果；所述存儲管理模塊將任務結點集群提交的分析結果存入所述數據庫。

6.如權利要求5所述的海量日志分析系統，其特征在于，所述管理結點通過制定和下發的采集策略，將不同任務結點采集的屬于同一集群的日志完成合并后再分析，得到完整的集群日志分析結果。

7.如權利要求4所述的海量日志分析系統，其特征在于，所述日志預處理模塊對日志文件的預處理為過濾和格式化處理，去除那些不能體現網絡安全的日志記錄，并將多類型日志文件進行歸一化處理，統一文件格式。

8.如權利要求4所述的海量日志分析系統，其特征在于，所述日志采集模塊按一次性采集、手動采集或定時采集方式采集日志文件。

9.一種利用權利要求3所述的海量日志分析系統進行日志分析的方法，其特征在于，該方法包括：

步驟1：由采集策略模塊制定采集方案，由結點調度模塊將采集任務下發至任務結點集群；

步驟2：配置管理模塊接受采集任務后，日志采集模塊采集日志文件，同時，本地存儲管理模塊將日志文件存儲至本地存儲空間中，日志預處理模塊將日志文件進行預處理后，配置管理模塊向管理結點的接收管理模塊提交預處理后的日志文件；

步驟3：接收管理模塊接收任務結點集群提交的日志文件后，根據采集任務判斷是否需要進行集群日志合并，若不需，轉到下一步；若需，則將不同任務結點采集的同集群日志文件合并后輸出；

步驟4：結點調度模塊調度任務結點集群的分布式存儲管理模塊將預處理后的日志文件分片存儲于任務結點集群的分布式文件系統空間；

步驟5：結點調度模塊命令任務結點的日志分析模塊分析本節點分布式文件系統空間中的日志文件；

步驟6：配置管理模塊向管理結點的接收管理模塊提交分析結果；

步驟7：存儲管理模塊將分析結果統一存入數據庫，步驟結束。