[發明專利]一種基于流數據的異常檢測方法及系統

在審

• 申請號: 202110314516.3
• 申請日: 2021-03-24
• 公開（公告）號: CN113079143A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 杜飛;李國靜;張興睿;尹天陽
• 申請（專利權）人: 北京銳馳信安技術有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;G06N20/00;G06K9/62;G06F16/2458;G06F16/2455
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 易卜

1.一種基于流數據的異常檢測系統，其特征在于，具體包括：數據接入層、異常行為發現層、IP畫像層、威脅檢測層、特征工程層以及融合分析層；

接入的數據包括：原始終端數據，原始網絡數據，特征數據和緩存的數據；

異常行為發現包括：反常行為發現，惡意行為發現，違規行為發現，日常使用預測，關聯行為預測以及系統狀態預測；

IP畫像包括：IP個人屬性畫像，IP部門屬性畫像，系統使用屬性畫像和IP標簽庫；

威脅檢測包括：漏洞利用檢測，木馬傳播檢測，網絡探測檢測，信息泄露檢測，公開數據集和私有數據集；

特征工程包括：特征構造，特征編碼，特征縮放和特征降維；

融合分析包括：用戶畫像標簽，反常行為標簽，惡意流量標簽，模型外異常發現，事件關聯擴展和威脅事件回溯。

2.應用權利要求1所述的一種基于流數據的異常檢測系統的異常檢測方法，其特征在于，具體步驟如下：

步驟一、利用數據接入層對IP畫像進行分析，獲取IP終端數據和IP網絡訪問數據作為歷史數據；

步驟二、利用異常行為發現層從歷史數據中對各目標及服務類型進行分析判定，形成重點目標IP和一般目標IP；

步驟三、利用威脅檢測層對重點目標IP進行IP多維特征向量和時間序列模型的分析，對于IP流量異常、通聯異常、端口異常、分布異常和時間異常進行基于時間序列的模型檢測；

步驟四、利用威脅檢測層對一般目標IP地址及其特定端口的通聯對端，訪問內部IP節點的數量和連接頻次，并對對端IP進行排序，找到存在端口掃描異常和IP段掃描異常的對端IP地址；

步驟五、利用融合分析層，對于重點目標IP和一般目標IP異常發生時的各項流量特征，采用各自的特征權重，綜合評估異常等級和異常類型，生成異常檢測報告。

3.如權利要求2所述的一種基于流數據的異常檢測方法，其特征在于，所述的步驟一中，IP終端數據的提取包括：終端本身的CPU、內存和帶寬利用率，業務系統的登錄、登出、瀏覽操作，VPN、遠程桌面和xshell的使用情況；

IP網絡訪問數據包括：對網絡協議解析和應用識別，還原IP關鍵字段信息，記錄IP的網絡訪問習慣，同時對傳輸文件內容進行記錄，進而在Web瀏覽、系統交互、網絡流量三個方面形成IP畫像的數據基礎。

4.如權利要求2所述的一種基于流數據的異常檢測方法，其特征在于，所述的步驟二中，重點目標IP是內部網絡中重要保護的IP地址，內部網絡中除去重點目標IP后為一般目標IP；

數據存儲模塊從kafka消息隊列中讀取歷史流數據，對重點目標的每條流數據信息都進行存儲，對一般目標以5分鐘或1小時作為最小粒度，統計各個端口上的流量時間序列，存儲會話時長、會話方式、操作內容、IP屬性、行業屬性、源IP地址、目的IP地址、源端口、目的端口、協議類型以及包數和字節數。

5.如權利要求2所述的一種基于流數據的異常檢測方法，其特征在于，所述的步驟三具體為：

首先，從歷史數據中獲取通信對象的通信時長與通信字節數，構建重點目標IP的穩定通信對象模型；

然后，構建重點目標IP的多維特征向量，對每個重點目標，從流數據信息中提取流量特征包括：流方向、流網絡協議類型、服務端口號和流量指標，利用所提取的流量特征以及通信對端是否為穩定端口或穩定對端IP組合，形成重點目標IP不同維度的特征向量；

根據重點目標IP的歷史流數據信息，對特征向量的每個特征項的值進行統計，對各特征項的統計值進行正態分布與對數正態分布兩種分布規律的假設檢驗，對于服從正態分布規律的特征項，計算均值和標準差作為統計閾值，對于服從對數正態分布規律的特征項，計算對數均值和對數標準差作為統計閾值，建立閾值模型。

6.如權利要求2所述的一種基于流數據的異常檢測方法，其特征在于，所述的步驟四具體為：

首先，利用基于時間序列的流量變化模型進行檢測；

包括：對端口流量的時間序列，減去其中的趨勢性分量和周期性分量，獲得隨機波動特征，隨機波動特征符合正態分布的定義，根據置信度，應用正態分布假設檢驗計算隨機波動特征偏離標準差的系數，找到流量突增點；

然后，利用流數據聚合模型進行檢測，所述的流數據聚合模型從五元組：源IP地址、目的IP地址、源端口、目的端口、協議類型中選取不同分組進行不同粒度的構建，根據所選粒度對流數據信息進行分組，再對字節數和包數進行聚合操作，通過排序找到異常行為；

對訪問多個一般目標的對端IP，進行掃描分析和DDoS分析，檢測是否有端口掃描和嘗試登錄的行為。