[發明專利]一種獲得具有準確應用類型標識的網絡流量數據集的方法

有效

• 申請號: 201210184213.5
• 申請日: 2012-06-06
• 公開（公告）號: CN102694733A
• 公開（公告）日: 2012-09-26
• 發明（設計）人: 陳貞翔;彭立志;趙彩云;楊波;荊山
• 申請（專利權）人: 濟南大學
• 主分類號: H04L12/56
• 分類號: H04L12/56
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 丁修亭

技術領域

本發明涉及一種獲得具有應用類型標識的網絡流量數據集的方法。

背景技術

網絡中混合流量的識別，對網絡操作者和管理者而言，有至關重要的意義。為此，研究團體就混合流量提出了很多分類算法，如基于端口的分類算法和基于包檢測的分類算法。由于越來越多的網絡應用使用動態端口號和加密技術來發送數據包，因此隨著網絡應用中動態端口號和加密技術的逐步流行，使得基于端口號的和基于包檢測的分類算法已經失去了有效性。基于機器學習的流量分類方法能夠克服這種問題，便成為了研究的重點。但是，基于機器學習的流量分類算法需要具有準確應用類型標識的網絡流量數據集來訓練分類器和測試分類器。

具有準確應用類型標識的網絡流量數據集的獲得方法是目前流量分類領域中較為關注的熱點，該領域的研究者提出了許多具有借鑒意義的方案。其中，Francesco?Gringoli等人提出了一種用來為網絡流量標記產生該網絡流量的應用類型和協議標簽的開放源代碼的軟件集合，命名為GT。

GT首先在用戶主機上安裝客戶端守護進程，用來跟蹤活動的網絡socket的變化，記錄這些變化然后發送到GT?SQL?Server數據庫。再在網絡邊界處安裝Traffic?dump來采集網絡流量并發送到用于處理流量的工具（即IPClass?Tool）中。IPClass?Tool接收Traffic?dump在網絡邊界處采集的數據包，并且把其中的第一個數據包的采集時間和GT?SQL?Server中存儲的數據包的記錄時間進行比較，若有匹配結果，再對有應用類型標簽的流量使用深度包檢測技術以獲得產生該流量的協議，然后把采集的相關數據和產生該數據的應用類型信息，以及協議信息一起存儲到GT?metadata中；若沒有匹配結果，就不處理該數據包。

Francesco?Gringoli等人的研究盡管得到具有應用類型標簽和協議標簽的數據，但是標記流量的應用類型需要根據數據包的時間戳來匹配GT?SQL?Server中存儲信息的記錄時間，有可能會因為時間的不同步性或者是延時而匹配錯誤。而且，產生該數據包的協議是使用深度包檢測技術（Deep?Packet?Detection）來獲得的，技術本身就會受到所使用的協議特征集的限制。該方案為數據標記應用類型和協議標簽的處理過程是在離線的環境下完成的，使得該方案不能滿足在線分類方法的應用。為此，有必要提出在線為流出用戶主機的數據標記產生該數據的準確的應用類型標簽和離線制作具有準確應用類型標識的網絡流量數據集的研制方案。

為了使本領域的技術人員更有利于理解本文中相關的技術手段，在此對其中的某些手段和應用的對象進行一個說明，僅用于相關人員對本文所提出技術方案的延續性理解，不構成以下某些技術手段視為對現有技術的承認。

為調用socket請求流出主機的TCP數據包標記產生該數據包的應用類型標識，需要在主機上安裝Socket?Hook驅動和NDIS?Hook驅動。在網絡的邊界處使用基于FPGA的流量采集器來采集經過網路邊界的數據包，并且把采集的數據包發送到數據處理器。數據處理器首先把得到的數據包根據數據包的五元組（源IP地址、目的IP地址、源端口號、目的端口號和協議）信息整合成流，然后根據不同的需求制作不同的數據集。

在獲得具有準確應用類型標簽的網絡流量數據集的過程中使用到的技術如下所述：

Socket?Hook和NDIS?Hook：

Hook的一種解釋是Windows中提供的一種用以替換DOS下“中斷”的系統機制，中文譯為“掛鉤”或“鉤子”。在對特定的系統事件進行Hook后，一旦發生Hook事件，對該事件進行Hook的程序就會受到系統的通知，這時程序就能在第一時間對該事件做出響應。

Hook的另一種解釋則是Windows消息處理機制的一個平臺，應用程序可以在上面設置子程以監視指定窗口的某種消息，而且所監視的窗口可以是其他進程所創建的。當消息到達后，在目標窗口處理函數之前處理它。也就是說，鉤子機制允許應用程序截獲處理Windows消息或特定事件。