[發明專利]一種面向高速網絡抽樣數據采集場景的慢速端口掃描檢測方法

在審

• 申請號: 202111124600.5
• 申請日: 2021-09-24
• 公開（公告）號: CN113872962A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 吳樺;邵梓菱;程光
• 申請（專利權）人: 東南大學
• 主分類號: H04L29/06
• 分類號: H04L29/06;G06N20/00;G06K9/62
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 杜靜靜

1.一種面向高速網絡抽樣數據采集場景的慢速端口掃描檢測方法，其特征在于，該方法包括以下步驟：

步驟(1)獲取一段在主干網節點持續采集一段時間的高速網絡流量數據，其中含有部分端口掃描流量；

步驟(2)設置抽樣比為1/μ，對獲取的公開數據集進行系統抽樣；

步驟(3)使用掃描檢測sketch對抽樣后的TCP和UDP流量進行特征提取；

步驟(4)采用K-means算法對流量特征進行聚類，并基于規則對已知掃描流所在簇中的流量進行驗證并標注，進而得到具有完整標簽的訓練集；

步驟(5)使用有監督機器學習算法對步驟(4)得到的訓練集進行模型訓練，得到分類模型；

步驟(6)使用另外兩段公開數據集數據作為測試集，分別對模型檢測快速端口掃描和慢速端口掃描的性能進行測試。

2.根據權利要求1所述的一種面向高速網絡抽樣數據采集場景的慢速端口掃描檢測方法，其特征在于，所述步驟(1)中，獲取公開數據集流量的方法如下：

(1.1)訪問公開數據集官網，獲取在主干網節點上持續采集一段時間的高速網絡流量；

(1.2)公開數據集官方文檔中僅提供了部分端口掃描流量的信息，步驟(4)中采用聚類算法找出公開數據集中所有的端口掃描流量并標注，以將其作為用于模型訓練的數據。

3.根據權利要求1所述的一種面向高速網絡抽樣數據采集場景的慢速端口掃描檢測方法，其特征在于，所述步驟(2)中，系統抽樣具體過程如下：設置抽樣比為1/μ，隨機選取一個起點抽取數據包，后續每隔μ個包抽取一個數據包，得到抽樣后的流量。

4.根據權利要求1所述的一種面向高速網絡抽樣數據采集場景的慢速端口掃描檢測方法，其特征在于，所述步驟(3)中，所使用的掃描檢測sketch詳細信息以及提取特征的具體步驟如下：

(3.1)基于TCP端口掃描的特點，所選擇的TCP流量特征為：IP地址發送和接收的數據包數目之比、IP地址發送和接收的帶有SYN標志的數據包數目之比、TCP數據包的目的IP分散度以及TCP數據包的目的端口分散度；基于UDP端口掃描的特點，所選擇的UDP流量特征為：IP地址發送和接收的數據包數目之比、UDP數據包的目的IP分散度以及UDP數據包的目的端口分散度；

(3.2)根據所選擇的特征，設計了掃描檢測sketch用于特征提取，掃描檢測sketch是在Count-Min sketch的基礎上改進而來的，它由d行w列的二維數組桶組成，每個桶包含4個計數器和2個哈希表，用于存儲一個數據包的多個特征，其中哈希表實際上是一個16位的比特數組，比特值是0或1，初始值全為0，掃描檢測sketch支持兩種基本操作：更新操作和提取操作，其中更新操作包括兩個子操作，即更新計數器操作和更新哈希表操作，更新計數器操作即將被映射的桶中的計數器執行加1操作，更新哈希表操作的具體步驟如下：將當前數據包的端口號或目的IP地址提取出來作為key，再將key用哈希函數映射到相應的哈希表中，被映射到的比特位從原始的0置為1，如果被映射的比特已經被置為1，則保持不變；因此哈希表中1的分布情況體現了key的分散度；提取操作是指，當一個IP地址接收和發送的數據包數目總和達到閾值θ時，當前key所映射的d個桶中，計數器達到該閾值的桶中的所有值被提取出來作為一筆特征向量記錄，并將該數據包所映射的所有桶中的值減去最小計數桶值；

(3.3)當一個數據包到達，它的(IP，協議)對會被提取出來作為key，提取的key被用作一個哈希函數的輸入，每個數據包的(源IP，協議)和(目的IP，協議)會被分別提取出來映射一次，掃描檢測sketch同時處理TCP和UDP數據包；

(3.4)哈希函數輸出的128位值被劃分成d個部分，每個部分代表sketch二維數組中每行的一個地址，該地址位置上的桶會更新相應的計數器和哈希表；

(3.5)當一個IP接收和發送的數據包總和達到閾值θ，執行提取操作，提取出的特征向量記錄是機器學習模型訓練的基礎。