[發(fā)明專利]一種大數(shù)據(jù)平臺的日志審計方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010944385.2
• 申請日: 2020-09-10
• 公開（公告）號: CN112148698A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計）人: 李曼;康文倩;歐陽宇宏;車向北
• 申請（專利權(quán)）人: 深圳供電局有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/14;G06F16/182;G06F40/151
• 代理公司: 深圳匯智容達專利商標事務(wù)所(普通合伙) 44238
• 代理人: 熊賢卿

本發(fā)明提供一種大數(shù)據(jù)平臺的日志審計方法及系統(tǒng)，包括，步驟S1，日志管理模塊通過數(shù)據(jù)接口獲取多個日志發(fā)生源的日志文件，對接收的日志文件進行格式轉(zhuǎn)化，并將格式轉(zhuǎn)化后的日志文件分類存儲；步驟S2，安全威脅分析模塊調(diào)取存儲的日志文件，根據(jù)預(yù)設(shè)規(guī)則對日志文件進行分析，獲取分析結(jié)果；所述分析結(jié)果包括正常或異常；步驟S3，可視化展示模塊響應(yīng)于接收的預(yù)設(shè)指令，對分析結(jié)果進行檢索并將所述分析結(jié)果進行圖形化展示。本發(fā)明提供海量日志的綜合分析，相比與傳統(tǒng)的分析技術(shù)，其采用反向索引以及列式存儲可以實現(xiàn)快速的日志定位和內(nèi)容檢索。

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，特別是涉及一種大數(shù)據(jù)平臺的日志審計方法及系統(tǒng)。

背景技術(shù)

隨著大數(shù)據(jù)系統(tǒng)的快速發(fā)展，以Hadoop為代表的分布式文件系統(tǒng)(HadoopDistributed File System)；存儲和分析的網(wǎng)絡(luò)安全威脅數(shù)據(jù)也發(fā)生幾何式增長。海量的日志和復(fù)雜的環(huán)境給傳統(tǒng)的分析方式帶來巨大的沖擊，其難于及時有效發(fā)現(xiàn)威脅并告警。而目前基于防火墻、IDS、網(wǎng)絡(luò)審計的安全分析無法處理Hadoop大數(shù)據(jù)平臺海量的日志，這嚴重影響了Hadoop大數(shù)據(jù)平臺的安全監(jiān)控和審計，判定的方法不夠有效，因此有效監(jiān)控和審計Hadoop大數(shù)據(jù)平臺的事件日志是現(xiàn)有技術(shù)的一大問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于，提出一種大數(shù)據(jù)平臺的日志審計方法及系統(tǒng)，解決現(xiàn)有大數(shù)據(jù)平臺的安全監(jiān)控和審計，判定的方法不夠有效的技術(shù)問題。

本發(fā)明的一方面，提供一種大數(shù)據(jù)平臺的日志審計方法，包括以下步驟：

步驟S1，日志管理模塊通過數(shù)據(jù)接口獲取日志發(fā)生源的日志文件，對接收的日志文件進行格式轉(zhuǎn)化，并將格式轉(zhuǎn)化后的日志文件分類存儲；

步驟S2，安全威脅分析模塊調(diào)取存儲的日志文件，根據(jù)預(yù)設(shè)規(guī)則對日志文件進行分析，獲取分析結(jié)果；所述分析結(jié)果包括正常或異常；

步驟S3，可視化展示模塊響應(yīng)于接收的預(yù)設(shè)指令，對分析結(jié)果進行檢索并將所述分析結(jié)果進行圖形化展示。

優(yōu)選的，所述步驟S1包括：所述日志管理模塊獲取日志發(fā)生源的日志文件，判斷日志存儲服務(wù)器是否正常啟動，若日志存儲服務(wù)器正常啟動，則將接收到的日志文件進行緩存；若日志存儲服務(wù)器未正常啟動，則將日志文件存儲到本地存儲設(shè)備，直到檢測到所述日志存儲服務(wù)器啟動后，發(fā)送本地存儲的日志文件到所述日志存儲服務(wù)器。

優(yōu)選的，所述步驟S1包括：所述日志管理模塊讀取緩存的日志文件，將讀取的日志文件轉(zhuǎn)化為結(jié)構(gòu)化形式并分析日志結(jié)構(gòu)，將結(jié)構(gòu)化的日志文件發(fā)送到所述日志存儲服務(wù)器進行存儲。

優(yōu)選的，所述步驟S2包括：所述安全威脅分析模塊響應(yīng)于日志分析指令，讀取預(yù)設(shè)的日志分析數(shù)據(jù)；根據(jù)所述預(yù)設(shè)的日志分析數(shù)據(jù)檢索預(yù)設(shè)安全策略規(guī)則庫，調(diào)取與預(yù)設(shè)的日志分析數(shù)據(jù)相對應(yīng)的規(guī)則數(shù)據(jù)；根據(jù)所述規(guī)則數(shù)據(jù)分析所述日志文件，生成分析結(jié)果。

優(yōu)選的，所述步驟S3包括：所述可視化展示模塊響應(yīng)于預(yù)設(shè)的安全策略調(diào)取指令，獲取相應(yīng)的安全策略規(guī)則，根據(jù)所述安全規(guī)則對所述分析結(jié)果進行檢索，生成檢索結(jié)果。

優(yōu)選的，所述步驟S3包括：所述可視化展示模塊響應(yīng)于預(yù)設(shè)的圖形化顯示指令，獲取相應(yīng)的圖形化顯示規(guī)則，根據(jù)所述圖形化顯示規(guī)則對檢索結(jié)果進行顯示。

本發(fā)明的實施例還提供一種大數(shù)據(jù)平臺的日志審計系統(tǒng)，用以實現(xiàn)所述的大數(shù)據(jù)平臺的日志審計方法，包括：

日志管理模塊，用以通過數(shù)據(jù)接口獲取日志發(fā)生源的日志文件，對接收的日志文件進行格式轉(zhuǎn)化，并將格式轉(zhuǎn)化后的日志文件分類存儲；

安全威脅分析模塊，用以調(diào)取存儲的日志文件，根據(jù)預(yù)設(shè)規(guī)則對日志文件進行分析，獲取分析結(jié)果；所述分析結(jié)果包括正常或異常；