[發明專利]一種網絡流量的馬爾科夫圖像表征方法

在審

• 申請號: 202111558864.1
• 申請日: 2021-12-20
• 公開（公告）號: CN113949589A
• 公開（公告）日: 2022-01-18
• 發明（設計）人: 李煥洲;唐彰國;張健;蔡程;李雙成
• 申請（專利權）人: 四川師范大學
• 主分類號: H04L9/40
• 分類號: H04L9/40;G06N3/08
• 代理公司: 成都為知盾專利代理事務所(特殊普通合伙) 51267
• 代理人: 李漢強

本發明公開了一種網絡流量的馬爾科夫圖像表征方法，屬于機器學習技術領域，包括：S1：獲取原始流量數據包，并對所述原始流量數據包進行預處理；S2：采用統計過濾的方法，將預處理后的原始流量數據包按會話形式存儲為會話文件；S3：以二進制格式打開并讀取所述會話文件；S4：獲取二進制會話文件，以字節為單位計算會話文件的轉移概率矩陣，然后將矩陣值與像素一一映射，得到該會話文件的馬爾科夫圖像。其目的為：解決現有技術中樣本訓練時模型泛化能力較差以及預處理繁瑣的情況。

技術領域

本發明屬于機器學習技術領域，具體涉及一種網絡流量的馬爾科夫圖像表征方法。

背景技術

隨著物聯網、大數據和云計算等一系列新興技術的崛起，新型協議及新型網絡流量急劇增加。在迅猛增長的網絡流量中，隱藏了大量網絡攻擊、數據滲漏以及勒索服務等惡意行為，已成為網絡安全治理的重大挑戰。不同網絡流量的檢測、識別及分類的難度差異巨大，使得現有數據集存在嚴重類分布不平衡問題，導致基于深度學習的分類模型泛化能力差。如何對網絡流量進行歸一化的表征學習，為機器學習提供變換域特征向量，成為了目前亟需解決的問題。

現有技術中，對網絡流量的檢測的方式是，提取網絡流量的不同特征放入模型中進行訓練，然后將訓練完成的模型用于判斷新樣本是否存在異常。

上述現有技術存在以下問題：

1.現有技術只提取了網絡流量的特征部分，原始流量中部分信息失真，可能會導致模型出現過擬合問題，使得準確率只在各自數據集情況下較高，而泛化能力較差；

2.現有技術還采用低維空間的圖像來表征高維空間的流量，然而由于流量大小不一，轉換后的圖像大小規格也不統一，放入神經網絡進行訓練前需進行一系列繁瑣的預處理操作；同時，隨著原始流量大小遞增，對應轉換后的圖像占用的內存空間也逐漸遞增，模型訓練時的負擔較大。

發明內容

針對上述現有技術中存在的問題，本發明提出了一種網絡流量的馬爾科夫圖像表征方法，其目的為：解決現有技術中樣本訓練時模型泛化能力較差以及預處理繁瑣的情況。

為實現上述目的本發明所采用的技術方案是：提供一種網絡流量的馬爾科夫圖像表征方法，包括：

步驟1：獲取原始流量數據包，并對所述原始流量數據包進行預處理；

步驟2：采用統計過濾的方法，將預處理后的原始流量數據包按會話形式存儲為會話文件；

步驟3：以二進制格式打開并讀取所述會話文件；

步驟4：獲取二進制會話文件，以字節為單位計算會話文件的轉移概率矩陣，然后將矩陣值與像素一一映射，得到該會話文件的馬爾科夫圖像。

本發明中，通過采用變換域的思想，使得在保留原始流量所有內容的基礎上，將高維流量轉換成低維馬爾科夫圖像，實現了流量的可視化操作。轉換后的馬爾科夫圖像大小相同，訓練前無需再進行繁瑣的預處理操作；同時相比于大規格流量，馬爾科夫圖像可以實現大流量的輕量級檢測，減少了內存的消耗。

較優的，本發明所述原始流量數據包的文件格式包括數種離線文件格式；所述原始流量數據包的類型包括數種類型。

本發明中，所能轉換的原始流量數據包文件格式多樣，而不單單僅限于某一種流量文件格式。同時可轉換的流量類型豐富，模型泛化性好。

較優的，本發明所述原始流量數據包的類型具體包括正常流量類型、加密流量類型和攻擊流量類型；所述原始流量數據包的格式具體包括pcap格式和cap格式。

較優的，本發明步驟2中，采用會話形式對原始流量數據包進行切分，切分后存儲原始流量數據包中的所有內容。

本發明中，切分后的會話文件仍然保留原始流量數據包中的所有內容，沒有造成原始流量數據包的信息失真。

較優的，本發明步驟2中，所述會話形式為雙向流，包括流的兩個方向，即源IP和目的IP、源端口和目的端口是互換的。