[發(fā)明專(zhuān)利]一種基于大數(shù)據(jù)的云平臺(tái)日志管理系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011166851.5
• 申請(qǐng)日: 2020-10-27
• 公開(kāi)（公告）號(hào): CN112416872A
• 公開(kāi)（公告）日: 2021-02-26
• 發(fā)明（設(shè)計(jì)）人: 石永紅;李鵬;崔偉;李志剛;李洪杰;苗建鵬;楊峰光;韓國(guó)棟;張晨祥;張航
• 申請(qǐng)（專(zhuān)利權(quán)）人: 山西云時(shí)代技術(shù)有限公司
• 主分類(lèi)號(hào): G06F16/17
• 分類(lèi)號(hào): G06F16/17;G06F16/182;G06N20/00;G06F21/57
• 代理公司: 太原晉科知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 14110
• 代理人: 趙江艷

1.一種基于大數(shù)據(jù)的云平臺(tái)日志管理系統(tǒng)，其特征在于，包括：

日志采集模塊：用于通過(guò)分布式多任務(wù)方法對(duì)日志實(shí)踐進(jìn)行分析挖掘，所述日志時(shí)間包括安全日志、應(yīng)用日志、系統(tǒng)日志和業(yè)務(wù)行為日志；

日志預(yù)處理模塊：用于通過(guò)審計(jì)策略進(jìn)行日志事件的過(guò)濾，然后對(duì)日志事件中的同類(lèi)事件進(jìn)行歸并處理，避免產(chǎn)生事件風(fēng)暴，最后將處理后的日志事件分別發(fā)送至實(shí)時(shí)檢測(cè)模塊和數(shù)據(jù)庫(kù)系統(tǒng)；

數(shù)據(jù)庫(kù)系統(tǒng)：用于存儲(chǔ)日志預(yù)處理模塊發(fā)送的日志事件；

實(shí)時(shí)檢測(cè)模塊：用于對(duì)處理后的日志事件進(jìn)行審計(jì)，并根據(jù)響應(yīng)策略對(duì)審計(jì)結(jié)果進(jìn)行響應(yīng)；

日志分析模塊：用于對(duì)數(shù)據(jù)庫(kù)系統(tǒng)中的歷史數(shù)據(jù)進(jìn)行分析，并根據(jù)用戶設(shè)置通過(guò)圖表對(duì)分析結(jié)果進(jìn)行顯示，所述分析結(jié)果包括日志事件的歸類(lèi)統(tǒng)計(jì)及日志事件的發(fā)展變化趨勢(shì)。

2.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)的云平臺(tái)日志管理系統(tǒng)，其特征在于，所述日志采集模塊中，將物理設(shè)備和虛擬設(shè)備分別作為一個(gè)數(shù)據(jù)接點(diǎn)，利用Flume日志收集系統(tǒng)和Scribe分布式日志收集系統(tǒng)進(jìn)行日志事件的采集。

3.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)的云平臺(tái)日志管理系統(tǒng)，其特征在于，所述數(shù)據(jù)庫(kù)系統(tǒng)采用分布式文件系統(tǒng)存儲(chǔ)方式和對(duì)象存儲(chǔ)方式對(duì)日志事件進(jìn)行存儲(chǔ)。

4.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)的云平臺(tái)日志管理系統(tǒng)，其特征在于，所述日志分析模塊進(jìn)行歷史數(shù)據(jù)分析的方法為：將存儲(chǔ)的數(shù)據(jù)利用HDFS分布式系統(tǒng)發(fā)送到各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)，各個(gè)節(jié)點(diǎn)組成一個(gè)集群，然后將數(shù)據(jù)的處理過(guò)程按照Map Reduce框架轉(zhuǎn)化為Map階段和Reduce階段進(jìn)行處理，然后利用Map Reduce將預(yù)處理后的數(shù)據(jù)集采用機(jī)器學(xué)習(xí)的方法進(jìn)行數(shù)據(jù)分析，挖掘出數(shù)據(jù)背后的價(jià)值建立預(yù)測(cè)模型。

5.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)的云平臺(tái)日志管理系統(tǒng)，其特征在于，所述日志分析模塊具體用于：根據(jù)已采集的歷史告警信息和歷史產(chǎn)生事件信息，生成關(guān)聯(lián)歷史同類(lèi)告警的解決方案清單視圖；通過(guò)采集的攻擊日志數(shù)據(jù)，生成告警所在各安全設(shè)備近期告警攻擊行為的趨勢(shì)視圖；通過(guò)采集應(yīng)用日志和系統(tǒng)日志，生成告警時(shí)間附件的異常日志視圖；最后通過(guò)結(jié)合采集的配置信息和告警信息，申城關(guān)聯(lián)應(yīng)用告警情況的關(guān)聯(lián)告警視圖。

6.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)的云平臺(tái)日志管理系統(tǒng)，其特征在于，所述日志分析模塊包括：

異常情報(bào)與威脅情報(bào)分析模塊：用于通過(guò)對(duì)知識(shí)采集、處理和分析最終輸出威脅情報(bào)；還用于基于外部開(kāi)源的和第三方情報(bào)數(shù)據(jù)，增強(qiáng)威脅情報(bào)的準(zhǔn)確度和時(shí)效性；以及用于利用大數(shù)據(jù)分析平臺(tái)將本地歷史數(shù)據(jù)、網(wǎng)絡(luò)資產(chǎn)數(shù)據(jù)與情報(bào)數(shù)據(jù)按照多個(gè)維度進(jìn)行關(guān)聯(lián)分析，可快速感知威脅，通過(guò)平臺(tái)安全規(guī)則的篩選和過(guò)濾最終形成漏斗效應(yīng)，保證威脅告警的更加的精準(zhǔn)和有效；

漏洞管理全生命周期管理模塊：用于提供內(nèi)網(wǎng)環(huán)境的資產(chǎn)感知和稽查功能，通過(guò)掃描指定的 IP 地址范圍，嗅探新增設(shè)備以及啟動(dòng)服務(wù)，還用于通過(guò)單一通用端口探測(cè)并轉(zhuǎn)向多協(xié)議探測(cè)，發(fā)現(xiàn)更多網(wǎng)絡(luò)服務(wù)類(lèi)型和相關(guān)數(shù)據(jù)，經(jīng)過(guò)周期性對(duì)比和核實(shí)，構(gòu)建資產(chǎn)安全脆弱性分析系統(tǒng)，實(shí)現(xiàn)根據(jù)異構(gòu)網(wǎng)絡(luò)資產(chǎn)元數(shù)據(jù)和服務(wù)數(shù)據(jù)的圖譜構(gòu)建和自動(dòng)化分析，并提供可視化呈現(xiàn)和安全評(píng)估報(bào)告；

態(tài)勢(shì)感知分析模塊：用于通過(guò)對(duì)入侵、異常流量、僵木、蠕蟲(chóng)、系統(tǒng)安全、網(wǎng)站安全態(tài)勢(shì)進(jìn)行多維度日志采集和分析，形成多類(lèi)型的安全態(tài)勢(shì)分析圖。