[發明專利]一種攻擊次數分類統計方法及系統

在審

• 申請號: 202310642955.6
• 申請日: 2023-05-31
• 公開（公告）號: CN116527386A
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 魯國亮;劉金鎖;胡游君;郭靚;劉劍;張付存;俞皓;徐勝國;姜帆;王志勇;胡爾同;賈雪;馬騰鵬
• 申請（專利權）人: 南京南瑞信息通信科技有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40;H04L67/1097
• 代理公司: 南京禹為知識產權代理事務所(特殊普通合伙) 32272
• 代理人: 齊佳美

本發明公開了一種攻擊次數分類統計方法及系統包括，采集各安全設備原始日志，并對原始日志進行預處理；將預處理后的日志數據存放至可擴展分布式文件系統中；獲取可擴展分布式文件系統存儲的數據，結合目標維度，對日志進行聚合，計算出攻擊次數，并進行分類統計。借助Flink優秀的流處理能力，保證了任務運行的穩定性以及“精確一次”語義，即不重不漏地處理每條日志；在范式化日志中加入“事件時間戳”，并將其在計算攻擊次數時作為聚合依據，消除了亂序到達的日志對最終統計結果的影響；結合安全設備的網絡拓撲，引入“可達攻擊”和“阻斷攻擊”的分類標準，使攻擊次數的統計更具有分析價值。

技術領域

本發明涉及攻擊次數分類統計技術領域，尤其涉及一種攻擊次數分類統計方法及系統。

背景技術

隨著網絡技術的飛速發展，安全問題也日漸突出，為了應對大量且形式多樣的黑客攻擊，安全分析員需要操作各種安全設備，以獲取攻擊信息。但是，這種分析方法有諸多局限性：一是各類安全設備獨立運行，日志格式差異較大，難于統一分析；二是各類安全設備監測能力存在交集，同一次攻擊可能會產生大量告警，而這些告警內容實際是冗余的，這大大增加了監測分析的工作量。

針對海量日志統計分析的場景，大數據技術有著廣泛的應用。Flink是一款優秀的流處理框架，具有低延遲、高吞吐、高性能的特性，并且支持“事件時間”窗口(在當前場景下即為日志產生的時間)，用于實時計算。Spark是專為大規模數據處理而設計的快速通用的計算引擎，基于內存計算，多用于離線分析。

現有的攻擊次數統計方案準確性大都較低，大致包括以下步驟：1)日志采集：收集安全設備的日志，發送至消息隊列；2)以此消息隊列作為數據源，建立消費任務將數據存入文件系統，一般通過Storm或Flink實現；3)次數統計：統計文件系統中的日志條數作為攻擊次數。

發明內容

本部分的目的在于概述本發明的實施例的一些方面以及簡要介紹一些較佳實施例。在本部分以及本申請的說明書摘要和發明名稱中可能會做些簡化或省略以避免使本部分、說明書摘要和發明名稱的目的模糊，而這種簡化或省略不能用于限制本發明的范圍。

鑒于上述現有存在的問題，提出了本發明。

因此，本發明提供了一種攻擊次數分類統計方法及系統，能夠解決背景技術中提到的問題。

為解決上述技術問題，本發明提供如下技術方案，一種攻擊次數分類統計方法，包括：

采集各安全設備原始日志，并對所述原始日志進行預處理；

將所述預處理后的日志數據存放至可擴展分布式文件系統中；

獲取可擴展分布式文件系統存儲的數據，結合目標維度，對日志進行聚合，計算出攻擊次數，并進行分類統計。

作為本發明所述的攻擊次數分類統計方法的一種優選方案，其中：所述各安全設備原始日志包括，各安全設備運行過程中產生的多源異構數據以及每條日志的接收時間；

所述預處理包括對日志數據的去重、去噪、加強以及范式化；

若所述安全設備原始日志為正序數據時，所述去重、去噪包括將原始數據作為數據源，按正則匹配原始日志內容，并創建5秒的Flink時間窗口，對窗口內原始日志去重、去噪；

若所述安全設備原始日志為亂序數據時，所述去重、去噪包括將原始數據作為數據源，并為每條日志增加“接收時間”字段，在Flink中處理日志時，使用“事件時間窗口”處理；

所述加強包括對原始日志內容關聯地理位置、資產、受攻擊業務系統以及其他原始日志存在缺少的內容進行補充；