[發明專利]一種基于大數據的云平臺日志管理系統

在審

• 申請號: 202011166851.5
• 申請日: 2020-10-27
• 公開（公告）號: CN112416872A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 石永紅;李鵬;崔偉;李志剛;李洪杰;苗建鵬;楊峰光;韓國棟;張晨祥;張航
• 申請（專利權）人: 山西云時代技術有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/182;G06N20/00;G06F21/57
• 代理公司: 太原晉科知識產權代理事務所(特殊普通合伙) 14110
• 代理人: 趙江艷

本發明屬于大數據技術領域，公開了一種基于大數據的云平臺日志管理系統，包括：日志采集模塊：用于通過分布式多任務方法對日志實踐進行分析挖掘；日志預處理模塊：用于通過審計策略進行日志事件的過濾和同類事件進行歸并處理，并分別發送至實時檢測模塊和數據庫系統；數據庫系統：用于存儲日志預處理模塊發送的日志事件；實時檢測模塊：用于對處理后的日志事件進行審計，并根據響應策略對審計結果進行響應；日志分析模塊：用于對數據庫系統中的歷史數據進行分析，并根據用戶設置通過圖表對分析結果進行顯示。本發明可以提高運維人員在運維管理過程中的工作效率及安全態勢的感知能力。

技術領域

本發明屬于大數據技術領域，具體涉及一種基于大數據的云平臺日志管理系統。

背景技術

隨著信息技術的不斷發展，用戶對新業務的需求以及對服務質量的要求也不斷提升。由此帶來了一項新的挑戰，即新環境產生大量的以前不曾有過的日志，并帶來相關的問題，如：日志文件分散存放，數量多，可直接查閱的日志文件保存周期短，極不便于運維；日志格式不一致，可閱讀性過低；查詢耗時費力，效率低下；相關日志的關聯性低，無法清晰定位；大量的日志無法統計，無法準確的分析業務；而且由于相關法規、政策或商業上的要求，必須保留并能夠查詢、分析處理這些日志數據。

日志主要包括系統日志、應用程序日志和安全日志。系統運維和開發人員可以通過日志了解服務器軟硬件信息、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日志可以了解服務器的負荷，性能安全性，從而及時采取措施糾正錯誤。通常，日志被分散的儲存不同的設備上。如果管理數十上百臺服務器，使用依次登錄每臺機器的傳統方法查閱日志，是很繁瑣和效率低下的。當務之急是使用集中化的日志管理，將所有服務器上的日志收集匯總。但是集中化管理日志后，日志的統計和檢索又成為一件比較麻煩的事情，現有技術中一般使用grep、awk和wc等Linux命令能實現檢索和統計，但是對于要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法難免有點力不從心。

基于關系型的傳統數據庫無法滿足新形勢下的要求，需要建立一種基于大數據的云平臺日志管理系統，以提高日志管理效率。

發明內容

本發明克服現有技術存在的不足，所要解決的技術問題為：提供一種基于大數據的云平臺日志管理系統。

為了解決上述技術問題，本發明采用的技術方案為：一種基于大數據的云平臺日志管理系統，包括：

日志采集模塊：用于通過分布式多任務方法對日志實踐進行分析挖掘，所述日志時間包括安全日志、應用日志、系統日志和業務行為日志；

日志預處理模塊：用于通過審計策略進行日志事件的過濾，然后對日志事件中的同類事件進行歸并處理，避免產生事件風暴，最后將處理后的日志事件分別發送至實時檢測模塊和數據庫系統；

數據庫系統：用于存儲日志預處理模塊發送的日志事件；

實時檢測模塊：用于對處理后的日志事件進行審計，并根據響應策略對審計結果進行響應；

日志分析模塊：用于對數據庫系統中的歷史數據進行分析，并根據用戶設置通過圖表對分析結果進行顯示，所述分析結果包括日志事件的歸類統計及日志事件的發展變化趨勢。

所述日志采集模塊中，將物理設備和虛擬設備分別作為一個數據接點，利用Flume日志收集系統和Scribe分布式日志收集系統進行日志事件的采集。

所述數據庫系統采用分布式文件系統存儲方式和對象存儲方式對日志事件進行存儲。

所述日志分析模塊進行歷史數據分析的方法為：將存儲的數據利用HDFS分布式系統發送到各個網絡節點，各個節點組成一個集群，然后將數據的處理過程按照Map Reduce框架轉化為Map階段和Reduce階段進行處理，然后利用Map Reduce將預處理后的數據集采用機器學習的方法進行數據分析，挖掘出數據背后的價值建立預測模型。