[發(fā)明專利]一種基于Spark的快速和高效的安全運維服務(wù)架構(gòu)

在審

• 申請?zhí)枺?/td>: 201610824095.8
• 申請日: 2016-09-14
• 公開（公告）號: CN107819601A
• 公開（公告）日: 2018-03-20
• 發(fā)明（設(shè)計）人: 李木金;凌飛
• 申請（專利權(quán)）人: 南京聯(lián)成科技發(fā)展股份有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及信息安全、Spark、大數(shù)據(jù)應(yīng)用技術(shù)領(lǐng)域，尤其涉及到構(gòu)建快速和高效的安全運維服務(wù)平臺的框架。

背景技術(shù)

本發(fā)明中包含的英文簡稱如下：

SOC：Security Operation Center安全管理中心

IDS：Intrusion Detection Systems入侵檢測系統(tǒng)

SNMP：Simple Network Management Protocol簡單網(wǎng)絡(luò)管理協(xié)議

CLF：Common Log Format 普通日志格式

JSON：JavaScript Object Notation JAVA腳本對象符號

HDFS：Hadoop Distribute File SystemHadoop分布式文件系統(tǒng)

安全生產(chǎn)歷來是保障各項工作有序開展的前提，也是考核各級領(lǐng)導(dǎo)干部的否決指標(biāo)。網(wǎng)絡(luò)及信息安全運維體系是各類企業(yè)安全生產(chǎn)工作的重要組成部分。保障網(wǎng)絡(luò)及信息系統(tǒng)高效穩(wěn)定地運行，是企業(yè)一切市場經(jīng)營活動和正常運作的基礎(chǔ)。

當(dāng)前，企業(yè)IT系統(tǒng)都不同程度地部署了各種不同的業(yè)務(wù)系統(tǒng)和安全設(shè)備，有效地提高了勞動生產(chǎn)率，降低了運營成本，已經(jīng)成為企業(yè)高效運營的重要支撐和生產(chǎn)環(huán)節(jié)中不可缺少的一環(huán)。一方面，因為一旦網(wǎng)絡(luò)及各業(yè)務(wù)系統(tǒng)出現(xiàn)安全事件或故障，如果不能及時發(fā)現(xiàn)、及時處理、及時恢復(fù)，這勢必直接影響承載在其上所有業(yè)務(wù)的運行，影響企業(yè)的正常運營秩序，涉及到用戶的系統(tǒng)將直接導(dǎo)致用戶投訴，滿意度下降，企業(yè)形象受到損害，對于企業(yè)網(wǎng)絡(luò)的安全保障就顯得格外重要；另一方面，由于各種網(wǎng)絡(luò)攻擊技術(shù)也變得越來越先進(jìn)，越來越普及化，企業(yè)的網(wǎng)絡(luò)系統(tǒng)面臨著隨時被攻擊的危險，經(jīng)常遭受不同程度的入侵和破壞，嚴(yán)重干擾了企業(yè)網(wǎng)絡(luò)的正常運行；日益嚴(yán)峻的安全威脅迫使企業(yè)不得不加強(qiáng)對網(wǎng)絡(luò)及業(yè)務(wù)系統(tǒng)的安全防護(hù)，不斷追求多層次、立體化的安全防御體系，建設(shè)安全運維服務(wù)中心，實時跟蹤系統(tǒng)事件和實時檢測各種安全攻擊、及時采取相應(yīng)的控制動作，消除或縮減攻擊所造成的損失，盡一切可能來保護(hù)企業(yè)網(wǎng)絡(luò)及業(yè)務(wù)系統(tǒng)正常運營。

然而，被用來執(zhí)行安全運維服務(wù)任務(wù)的各種設(shè)備、數(shù)據(jù)庫、中間件、操作系統(tǒng)和Web服務(wù)器等所產(chǎn)生的日志，隨著企業(yè)IT系統(tǒng)規(guī)模的不斷擴(kuò)大，尤其是它的種類和數(shù)量正經(jīng)歷了巨大規(guī)模的上升，從而使日志存儲、日志分析和問題跟蹤變得越來越困難。企業(yè)IT系統(tǒng)的日志規(guī)模的這樣海量地增長，迫使安全運維服務(wù)提供商采用Hadoop/Spark這樣的大數(shù)據(jù)架構(gòu)來對日志進(jìn)行集中存儲、對日志進(jìn)行集中處理和日志分析，對系統(tǒng)事件進(jìn)行實時跟蹤，對安全攻擊進(jìn)行實時檢測。

目前，已有的安全運維服務(wù)平臺框架，只關(guān)注平臺計算的準(zhǔn)確性，缺乏實時性能，導(dǎo)致不能及時檢測入侵攻擊并進(jìn)行排除，影響企業(yè)的正常運作。因此，迫切需要一種全新的安全運維服務(wù)平臺框架，以改進(jìn)平臺的實時性能。

為此，如何利用信息化手段提高企業(yè)的運營效益，優(yōu)化企業(yè)信息系統(tǒng)，使得它能夠為各類企業(yè)提供專業(yè)的和高性價比的信息安全運維服務(wù)，即成為尤其是信息安全運維管理設(shè)計上必須要解決的一個重要課題。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于Spark的快速和高效的安全運維服務(wù)平臺架構(gòu)，以解決現(xiàn)有技術(shù)缺乏實時性能的缺陷。

本發(fā)明的一種基于Spark的快速和高效的安全運維服務(wù)架構(gòu)，應(yīng)用于能夠為多個企業(yè)提供各種安全服務(wù)和運維監(jiān)控服務(wù)的安全運維監(jiān)控服務(wù)平臺中。

所述安全服務(wù)包括配置管理、安全風(fēng)險評估、威脅檢測、漏洞掃描、防病毒等。

所述運維監(jiān)控服務(wù)包括配置管理、故障管理、性能管理、問題管理、變更管理等。

所述架構(gòu)包括特征選擇模塊和基于分類的入侵檢測模型模塊。

所述特征選擇模塊，就是從描述一個事件或告警的字段信息中，選取最能表示該事件或告警的字段。

所述最能表示該事件或告警的字段，能夠通過相關(guān)算法進(jìn)行選擇。

進(jìn)一步地，所述相關(guān)算法，包括基于相關(guān)性的特征選擇算法和基于卡方檢驗的特征選擇算法，等。

進(jìn)一步地，所述某種算法，包括logistic回歸、支持向量機(jī)、樸素貝葉斯、隨機(jī)森林、GBDT等。

所述基于分類的入侵檢測模型模塊，能夠從大量的事件或告警中，通過某種算法，實時檢測出企業(yè)網(wǎng)絡(luò)遭受的各種攻擊或異常。