[發(fā)明專利]一種流式的基于機(jī)器學(xué)習(xí)的攻擊行為日志實(shí)時檢測方法

在審

• 申請?zhí)枺?/td>: 201710896004.6
• 申請日: 2017-09-28
• 公開（公告）號: CN107707541A
• 公開（公告）日: 2018-02-16
• 發(fā)明（設(shè)計）人: 黃建斌;汪龍寶;熊耀富
• 申請（專利權(quán)）人: 小花互聯(lián)網(wǎng)金融服務(wù)（深圳）有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;G06K9/62;G06F11/30
• 代理公司: 北京金蓄專利代理有限公司11544
• 代理人: 趙敏

1.一種流式的基于機(jī)器學(xué)習(xí)的攻擊行為日志實(shí)時檢測方法，其特征在于：包括日志收集模塊，用于收集服務(wù)器的日志文件，并放到數(shù)據(jù)流中供日志處理模塊使用；

日志處理模塊，用于從流式的數(shù)據(jù)流中讀取數(shù)據(jù)，對日志文件實(shí)時分析；

模型離線訓(xùn)練模塊，用于提取歷史日志特征，訓(xùn)練機(jī)器學(xué)習(xí)檢測模型；

行為識別模塊，用于識別模型離線訓(xùn)練模塊訓(xùn)練的機(jī)器學(xué)習(xí)檢測模型收集的日志文件，并且識別攻擊行為與正常行為；

所述日志收集模塊將服務(wù)器的日志文件收集、存儲，所述日志處理模塊利用流式處理工具分析服務(wù)器的日志文件，所述行為識別模塊利用模型離線訓(xùn)練模塊訓(xùn)練的機(jī)器學(xué)習(xí)檢測模型對攻擊行為與正常行為進(jìn)行比對識別。

2.根據(jù)權(quán)利要求1所述的攻擊行為日志實(shí)時檢測方法，其特征在于：所述日志收集模塊包括如下收集步驟：

步驟201，通過程序?qū)崟r監(jiān)控、收集訪問服務(wù)器的日志文件；

步驟202，對日志文件進(jìn)行處理傳輸，將日志文件以消息的形式傳遞給消息隊列，通過消息隊列把數(shù)據(jù)傳輸?shù)剿兴栉恢貌⒂糜诹魇教幚砉ぞ呦M(fèi)。

3.根據(jù)權(quán)利要求1所述的攻擊行為日志實(shí)時檢測方法，其特征在于：所述日志處理模塊包括如下處理步驟：

步驟301，流式處理工具實(shí)時消費(fèi)消息隊列中的日志文件；

步驟302，對取出的日志文件實(shí)時進(jìn)行處理，訪問日志中的每一個組成部分。

4.根據(jù)權(quán)利要求1所述的攻擊行為日志實(shí)時檢測方法，其特征在于：所述模型離線訓(xùn)練模塊包括如下訓(xùn)練步驟：

步驟401，提取系統(tǒng)的歷史訪問日志文件中的每一個組成部分；

步驟402，安全人員對提取的每一個組成部分進(jìn)行分類，分離出正常的訪問行為集和異常的攻擊行為集；

步驟403，使用機(jī)器學(xué)習(xí)算法對訪問行為集合和異常的攻擊行為集提取相應(yīng)的特征，并使用所述特征訓(xùn)練機(jī)器學(xué)習(xí)檢測模型。

5.根據(jù)權(quán)利要求1所述的攻擊行為日志實(shí)時檢測方法，其特征在于：所述行為識別模塊包括如下識別步驟：

步驟501，數(shù)據(jù)通過日志處理模塊提取特征源數(shù)據(jù)；

步驟502，使用模型離線訓(xùn)練模塊離線訓(xùn)練的機(jī)器學(xué)習(xí)檢測模型對攻擊行為與正常行為進(jìn)行比對識別；

步驟503，對當(dāng)前行為記錄預(yù)測是正常行為還是攻擊行為。

6.根據(jù)權(quán)利要求5所述的攻擊行為日志實(shí)時檢測方法，其特征在于：步驟504，所述行為識別模塊對當(dāng)前行為識別結(jié)果產(chǎn)生錯誤時，將當(dāng)前行為的特征添加到數(shù)據(jù)集中，并且所述模型離線訓(xùn)練模塊利用當(dāng)前行為的特征對機(jī)器學(xué)習(xí)檢測模型進(jìn)行訓(xùn)練。