[發(fā)明專利]一種數(shù)據(jù)處理方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711371325.0
• 申請(qǐng)日: 2017-12-19
• 公開(kāi)（公告）號(hào): CN108021809A
• 公開(kāi)（公告）日: 2018-05-11
• 發(fā)明（設(shè)計(jì)）人: 王春波;喻波;王志海;安鵬
• 申請(qǐng)（專利權(quán)）人: 北京明朝萬(wàn)達(dá)科技股份有限公司
• 主分類號(hào): G06F21/55
• 分類號(hào): G06F21/55;G06F11/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種數(shù)據(jù)處理方法，其特征在于，該方法包括以下步驟：

將采集的信息數(shù)據(jù)作為日志數(shù)據(jù)存儲(chǔ)在消息系統(tǒng)；

讀取消息系統(tǒng)中的日志數(shù)據(jù)，對(duì)所述日志數(shù)據(jù)進(jìn)行歸類處理，并結(jié)合策略樹(shù)緩存以及其他緩存信息，封裝成策略樹(shù)；

依據(jù)規(guī)則配置信息以及策略樹(shù)緩存的策略信息，生成告警事件信息以及安全事件信息；

根據(jù)所述告警事件信息以及安全事件信息，對(duì)規(guī)則配置信息進(jìn)行動(dòng)態(tài)調(diào)整。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將采集的信息數(shù)據(jù)作為日志數(shù)據(jù)存儲(chǔ)在消息系統(tǒng)是指：

將采集的信息數(shù)據(jù)作為日志數(shù)據(jù)存儲(chǔ)在Kafka分布式消息系統(tǒng)中，該Kafka分布式消息系統(tǒng)包括以下日志數(shù)據(jù)：主機(jī)日志、網(wǎng)絡(luò)日志、安全日志、應(yīng)用日志。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述規(guī)則配置信息通過(guò)以下方式產(chǎn)生：

根據(jù)采集的數(shù)據(jù)信息，通過(guò)一定的邏輯運(yùn)算定義為指標(biāo)數(shù)據(jù)，指標(biāo)數(shù)據(jù)由標(biāo)準(zhǔn)元數(shù)據(jù)和計(jì)算元數(shù)據(jù)構(gòu)成；

根據(jù)時(shí)間窗口以及各類場(chǎng)景，將指標(biāo)數(shù)據(jù)轉(zhuǎn)化為規(guī)則模型，同時(shí)將規(guī)則模型寫(xiě)進(jìn)規(guī)則庫(kù)供調(diào)用。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，利用規(guī)則配置信息中的過(guò)濾條件對(duì)日志數(shù)據(jù)和歷史日志數(shù)據(jù)進(jìn)行判斷和匹配；

如果匹配到單條規(guī)則，則根據(jù)規(guī)則設(shè)置產(chǎn)生告警事件信息；

如果多個(gè)觸發(fā)規(guī)則間符合設(shè)定的關(guān)聯(lián)條件，將產(chǎn)生安全事件信息，安全事件信息表示具有一定關(guān)聯(lián)關(guān)系的告警事件信息的集合。

5.根據(jù)權(quán)利要求3或4所述的方法，其特征在于，根據(jù)所述告警事件信息以及安全事件信息的誤報(bào)率和漏報(bào)率，對(duì)規(guī)則模型進(jìn)行動(dòng)態(tài)調(diào)整，產(chǎn)生不同的基線標(biāo)準(zhǔn)。

6.一種數(shù)據(jù)處理系統(tǒng)，該系統(tǒng)包括：

流處理模塊，將采集的信息數(shù)據(jù)作為日志數(shù)據(jù)存儲(chǔ)在消息系統(tǒng)；

分析計(jì)算模塊，讀取消息系統(tǒng)中的日志數(shù)據(jù)，對(duì)所述日志數(shù)據(jù)進(jìn)行歸類處理，并結(jié)合策略樹(shù)緩存以及其他緩存信息，封裝成策略樹(shù)，依據(jù)規(guī)則配置信息以及策略樹(shù)緩存的策略信息，生成告警事件信息以及安全事件信息；

數(shù)據(jù)存儲(chǔ)模塊，用于存儲(chǔ)指標(biāo)數(shù)據(jù)、配置規(guī)則信息數(shù)據(jù)以及策略信息數(shù)據(jù)；

應(yīng)用模塊，用于連接展示模塊以及數(shù)據(jù)存儲(chǔ)模塊，該應(yīng)用模塊提供了與展示模塊進(jìn)行數(shù)據(jù)交互的接口，并將展示模塊傳遞的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)存儲(chǔ)模塊中；

展示模塊，用于配置指標(biāo)數(shù)據(jù)、配置規(guī)則信息數(shù)據(jù)以及策略信息數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，所述流處理模塊將采集的信息數(shù)據(jù)作為日志數(shù)據(jù)存儲(chǔ)在Kafka分布式消息系統(tǒng)中，該Kafka分布式消息系統(tǒng)包括以下日志數(shù)據(jù)：主機(jī)日志、網(wǎng)絡(luò)日志、安全日志、應(yīng)用日志。

8.根據(jù)權(quán)利要求6所述的系統(tǒng)，所述規(guī)則配置信息通過(guò)以下方式產(chǎn)生：

根據(jù)采集的數(shù)據(jù)信息，通過(guò)一定的邏輯運(yùn)算定義為指標(biāo)數(shù)據(jù)，指標(biāo)數(shù)據(jù)由標(biāo)準(zhǔn)元數(shù)據(jù)和計(jì)算元數(shù)據(jù)構(gòu)成；

根據(jù)時(shí)間窗口以及各類場(chǎng)景，將指標(biāo)數(shù)據(jù)轉(zhuǎn)化為規(guī)則模型，同時(shí)將規(guī)則模型寫(xiě)進(jìn)規(guī)則庫(kù)供調(diào)用。

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，分析計(jì)算模塊，利用規(guī)則配置信息中的過(guò)濾條件對(duì)日志數(shù)據(jù)和歷史日志數(shù)據(jù)進(jìn)行判斷和匹配；

如果匹配到單條規(guī)則，則根據(jù)規(guī)則設(shè)置產(chǎn)生告警事件信息；

如果多個(gè)觸發(fā)規(guī)則間符合設(shè)定的關(guān)聯(lián)條件，將產(chǎn)生安全事件信息，安全事件信息表示具有一定關(guān)聯(lián)關(guān)系的告警事件信息的集合。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其包括計(jì)算機(jī)程序指令，通過(guò)執(zhí)行所述計(jì)算機(jī)程序指令，實(shí)現(xiàn)如權(quán)利要求1-5之一所述的方法。