[發(fā)明專(zhuān)利]一種數(shù)據(jù)處理方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711371325.0
• 申請(qǐng)日: 2017-12-19
• 公開(kāi)（公告）號(hào): CN108021809A
• 公開(kāi)（公告）日: 2018-05-11
• 發(fā)明（設(shè)計(jì)）人: 王春波;喻波;王志海;安鵬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京明朝萬(wàn)達(dá)科技股份有限公司
• 主分類(lèi)號(hào): G06F21/55
• 分類(lèi)號(hào): G06F21/55;G06F11/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種數(shù)據(jù)處理方法，該方法包括以下步驟：將采集的信息數(shù)據(jù)作為日志數(shù)據(jù)存儲(chǔ)在消息系統(tǒng)；讀取消息系統(tǒng)中的日志數(shù)據(jù)，對(duì)所述日志數(shù)據(jù)進(jìn)行歸類(lèi)處理，并結(jié)合策略樹(shù)緩存以及其他緩存信息，封裝成策略樹(shù)；依據(jù)規(guī)則配置信息以及策略樹(shù)緩存的策略信息，生成告警事件信息以及安全事件信息；根據(jù)所述告警事件信息以及安全事件信息，對(duì)規(guī)則配置信息進(jìn)行動(dòng)態(tài)調(diào)整。通過(guò)本方案，使得架構(gòu)先進(jìn)，技術(shù)穩(wěn)定，兼容性高；支持大數(shù)據(jù)量情況；規(guī)則體系可配置性高。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)安全領(lǐng)域，尤其涉及一種基于流處理規(guī)則引擎的數(shù)據(jù)處理方法及系統(tǒng)。

背景技術(shù)

企業(yè)內(nèi)部復(fù)雜的安全系統(tǒng)以及隨外部條件不斷變化的安全業(yè)務(wù)規(guī)則，要求將數(shù)據(jù)統(tǒng)一存儲(chǔ)并能夠有效分離業(yè)務(wù)邏輯和應(yīng)用開(kāi)發(fā)者的技術(shù)決策。規(guī)則引擎可以實(shí)現(xiàn)對(duì)系統(tǒng)數(shù)據(jù)的縱向、橫向校驗(yàn)以及表與表之間的邏輯關(guān)系校驗(yàn)，作為一個(gè)獨(dú)立的模塊，可以適應(yīng)不同的業(yè)務(wù)模型，以應(yīng)對(duì)動(dòng)態(tài)變化的環(huán)境。

近年來(lái)，商業(yè)銀行的信息安全風(fēng)險(xiǎn)事件時(shí)有發(fā)生，信息技術(shù)在推動(dòng)中小商業(yè)銀行業(yè)務(wù)創(chuàng)新和轉(zhuǎn)型變革的同時(shí),也給銀行帶來(lái)了極大的風(fēng)險(xiǎn)，已經(jīng)成為影響銀行穩(wěn)健運(yùn)營(yíng)的重要風(fēng)險(xiǎn)因素。目前商業(yè)銀行信息安全風(fēng)險(xiǎn)管理方面所面臨的突出問(wèn)題有：外部攻擊更加多樣化；外部的攻擊更為集中；現(xiàn)有的安全、審計(jì)措施難以適配大數(shù)據(jù)環(huán)境下的業(yè)務(wù)發(fā)展需求；風(fēng)險(xiǎn)評(píng)估標(biāo)準(zhǔn)和指標(biāo)體系的缺失。

針對(duì)銀行所面臨的關(guān)鍵問(wèn)題開(kāi)展研究，需要實(shí)現(xiàn)基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)，全面提升信息安全的防護(hù)水平。

如圖1，是現(xiàn)有技術(shù)的大數(shù)據(jù)分析處理的一個(gè)方案，其包括以下步驟：

步驟1，數(shù)據(jù)規(guī)則開(kāi)始；

步驟2，初始化規(guī)則對(duì)象；

步驟3，判斷是否已經(jīng)將數(shù)據(jù)規(guī)則加載至內(nèi)存，如果已經(jīng)加載，則跳轉(zhuǎn)至步驟4，否則從規(guī)則庫(kù)將數(shù)據(jù)規(guī)則加載至內(nèi)存，跳轉(zhuǎn)至步驟4；

步驟4，執(zhí)行規(guī)則對(duì)象；

步驟5，輸出執(zhí)行結(jié)果；

步驟6，執(zhí)行結(jié)束。

上述數(shù)據(jù)規(guī)則預(yù)先定義好發(fā)送至規(guī)則庫(kù)，并在執(zhí)行規(guī)則對(duì)象過(guò)程中調(diào)用數(shù)據(jù)規(guī)則。

上述規(guī)則引擎技術(shù)雖然具備對(duì)大數(shù)據(jù)一定的處理能力，但是其沒(méi)有基于流處理設(shè)計(jì)的機(jī)制，缺少應(yīng)對(duì)不同大數(shù)據(jù)情況的能力，同時(shí)缺乏配置擴(kuò)展能力，導(dǎo)致性能以及易用性不佳。

發(fā)明內(nèi)容

為解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種數(shù)據(jù)處理方法，其特征在于，該方法包括以下步驟：

將采集的信息數(shù)據(jù)作為日志數(shù)據(jù)存儲(chǔ)在消息系統(tǒng)；

讀取消息系統(tǒng)中的日志數(shù)據(jù)，對(duì)所述日志數(shù)據(jù)進(jìn)行歸類(lèi)處理，并結(jié)合策略樹(shù)緩存以及其他緩存信息，封裝成策略樹(shù)；

依據(jù)規(guī)則配置信息以及策略樹(shù)緩存的策略信息，生成告警事件信息以及安全事件信息；

根據(jù)所述告警事件信息以及安全事件信息，對(duì)規(guī)則配置信息進(jìn)行動(dòng)態(tài)調(diào)整。

根據(jù)本發(fā)明的方法，優(yōu)選的，所述將采集的信息數(shù)據(jù)作為日志數(shù)據(jù)存儲(chǔ)在消息系統(tǒng)是指：

將采集的信息數(shù)據(jù)作為日志數(shù)據(jù)存儲(chǔ)在Kafka分布式消息系統(tǒng)中，該Kafka分布式消息系統(tǒng)包括以下日志數(shù)據(jù)：用戶(hù)/機(jī)構(gòu)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、安全數(shù)據(jù)、運(yùn)維數(shù)據(jù)；所述日志數(shù)據(jù)包括日志數(shù)據(jù)：主機(jī)日志、網(wǎng)絡(luò)日志、安全日志、應(yīng)用日志。

根據(jù)本發(fā)明的方法，優(yōu)選的，所述規(guī)則配置信息通過(guò)以下方式產(chǎn)生：

根據(jù)采集的數(shù)據(jù)信息，通過(guò)一定的邏輯運(yùn)算定義為指標(biāo)數(shù)據(jù)，指標(biāo)數(shù)據(jù)由標(biāo)準(zhǔn)元數(shù)據(jù)和計(jì)算元數(shù)據(jù)構(gòu)成；

根據(jù)時(shí)間窗口以及各類(lèi)場(chǎng)景，將指標(biāo)數(shù)據(jù)轉(zhuǎn)化為規(guī)則模型，同時(shí)將規(guī)則模型寫(xiě)進(jìn)規(guī)則庫(kù)供調(diào)用。