[發明專利]一種大規模流量異常主機檢測方法和裝置

有效

• 申請號: 201910316000.5
• 申請日: 2019-04-19
• 公開（公告）號: CN111835681B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 趙志輝;洪敬風;程汝峰
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40;H04L61/2517;H04L41/14
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 杜志敏;宋志強

本申請提供了一種大規模流量異常主機檢測方法和裝置，所述方法包括：針對第一預設時間內的流量數據構造原始項集；其中，所述原始項集包括：客戶端IP地址、主機IP地址和端口號的映射關系；對所述原始項集做關聯規則的挖掘，獲得被大于預設數目的客戶端訪問的主機IP地址和端口號；將獲得的所述主機IP地址對應的主機的特征向量作為樣本，構建預設檢測模型；獲得第二預設時間內待檢測主機的特征向量，通過構建的預設檢測模型確定該主機的流量是否異常。該方法在獲得大量正常流量樣本的基礎上，能夠提高流判斷量異常主機的準確率。

技術領域

本發明涉及信息處理技術領域，特別涉及一種大規模流量異常主機檢測方法和裝置。

背景技術

網絡流量具有自相似、長相關和重尾分布等分布特征，這些對網絡流量工程、網絡建模和異常檢測具有指導意義。流量異常主機檢測是入侵檢測的一種手段，用于發現系統的異常情況(入侵和攻擊、數據泄露等)，主要目的是在事件發生后提供足夠的分析來阻止進一步攻擊。異常主機的檢測方法可以歸為兩類：一種是基于主機的檢測，根據主機的系統日志和審計記錄來進行檢測分析；另一種是基于行為的檢測，根據使用者行為或資源使用特征進行檢測分析。流量異常主機檢測是一種基于行為的檢測方法。

現有的流量異常主機檢測方法主要有以下幾類：

基于統計學習模型

基于統計學習的流量異常檢測，通常需要對正常流量進行數值化的特征提取和分析。通過對大量樣本進行特征分布統計建立數學模型，進而通過統計學方法進行異常檢測。

基于文本分析的機器學習模型

流量中的URL參數會影響后臺代碼的解析，因此可以基于隱馬爾科夫模型進行文本分析建模，實現流量中的參數值異常檢測。

基于單分類模型

由于流量異常主機的黑樣本稀少，傳統監督學習方法難以訓練。基于白樣本的異常檢測可以通過單分類模型進行樣本學習，構造能夠充分表達白樣本的最小模型實現異常檢測。

基于聚類模型

通常正常流量是大量重復性存在的，而入侵行為則極為稀少。因此通過流量的聚類分析，可以識別大量正常行為之外的異常行為。

現有的流量異常主機檢測方法主要適用于單個或小規模主機。在大規模主機的實際應用場景中，不同主機之間往往存在很多的關聯，現有的方法會出現大量誤報。

主機的異常不一定會反映在流量的大小上，基于文本分析的方法對于包含文本信息的流量會有比較好的效果，但對隱去了文本等信息的流量則無法發揮作用。

基于機器學習的分類方法，難點在于很難從真實流量中獲取足夠有代表性的黑白樣本。

發明內容

有鑒于此，本申請提供一種大規模流量異常主機檢測方法和裝置，在獲得大量正常流量樣本的基礎上，能夠提高流判斷量異常主機的準確率。

為解決上述技術問題，本申請的技術方案是這樣實現的：

在一個實施例中，提供了一種大規模流量異常主機檢測方法，所述方法包括：

針對第一預設時間內的流量數據構造原始項集；其中，所述原始項集包括：客戶端因特網協議IP地址、主機IP地址和端口號的映射關系；

對所述原始項集做關聯規則的挖掘，獲得被大于預設數目的客戶端訪問的主機IP地址和端口號；

將獲得的所述主機IP地址對應的主機的特征向量作為樣本，構建預設檢測模型；

獲得第二預設時間內待檢測主機的特征向量，通過構建的預設檢測模型確定該主機的流量是否異常。