[發明專利]基于大數據實時網絡流量異常檢測方法

在審

• 申請號: 201911412068.X
• 申請日: 2019-12-31
• 公開（公告）號: CN111107102A
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 李中耀;宋安軍
• 申請（專利權）人: 上海海事大學
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L12/24
• 代理公司: 上海元好知識產權代理有限公司 31323
• 代理人: 徐雯瓊;張妍

本發明公開一種基于大數據實時網絡流量異常檢測方法，包括：S1，獲取已收集并分析得出攻擊類型、存儲在數據庫中帶攻擊標簽的歷史流量數據；S2，對S1中的歷史流量數據進行數據特征預處理，構建第一類特征向量；S3，基于S2中的第一類特征向量構建聚類模型并利用模型評估與調優得到滿足預設條件的目標模型；S4將S3得到的目標模型保存并部署上線；S5，抓取收集局域網內傳輸的實時網絡數據流量包信息；S6，對S5中的實時網絡數據流量包進數據特征預處理，構建第二類特征向量；S7，根據S3中的目標模型和S6中的第二類特征向量，實時在線分析檢測并判斷出當前的實時網絡數據流量是異常流量或是正常流量。

技術領域

本發明涉及計算機應用于互聯網安全技術領域，特別涉及一種基于大數據環境下網絡流量異常檢測方法。

背景技術

當前網絡安全態勢異常嚴峻，網絡攻擊越來越多地見諸報道，對重點企業、個人和重要部門機關帶來了嚴重的網絡安全威脅。這種高級持續性威脅(APT,advancedpersistent threat)利用其極強的針對性、偽裝性和階段性等特性能夠很容易地躲避傳統檢測技術的識別。新型攻擊手段技術層出不窮，使得一般的入侵防御系統不能有效匹配識別。與此同時，任何網絡攻擊都是通過網絡傳輸，在攻擊主機與被攻擊主機之間必然會有相關數據包傳輸，這給予了很多網絡安全工程師與靈感。其中，從分析、處理網絡之間傳輸流量的角度去檢測網絡攻擊是一種最有效途徑之一。若只是監測、分析部分網絡傳輸數據，則會大大降低網絡攻擊檢測的成功率，一旦局域網被攻破，會帶來各種巨大的意想不到的損失。但從全局實時處理所有數據，需要大量的時間及強大的運算能力。

網絡異常檢測系統需要強大的時效性，越早發現出網絡異常，就能更早的阻斷網絡攻擊，也就能很好的減輕甚至避免網絡攻擊帶來的損失。

隨著計算機技術的發展，機器學習和深度學習等相關算法研究越來越成熟，同時在很多領域運用取得了巨大成功。大數據處理技術和手段也越來越豐富，從單臺計算機處理到由成百上千臺計算機組成的集群處理，從批處理衍生到高效、實時流處理，這些大數據處理技術不僅在算力上得到了巨大的提升，同時在響應時間上實現了秒級響應，甚至達到了毫秒級響應，大數據處理方式在技術和和運用上越來越成熟，計算機的處理能力也是越來越強。

綜上所述，在這樣的技術背景和巨大的網絡安全威脅下，一種基于大數據實時流量異常檢測方法能夠通過大數據分析技術對網絡流量進行處理和分析，預測網絡攻擊發生的時間和攻擊類型，進而采取有效的防范措施加以防范。網絡攻擊的發起也不是一瞬間的，網絡攻擊者對目標進行攻擊之前，對目標進行全面的掃描和評估，根據目標的漏洞進而確定將要使用的攻擊方法，進行攻擊前的準備，然后才發起實施攻擊的行為。針對網絡攻擊者的先前掃描網絡流量的捕獲和分析，通過在一堆無序的網絡流量數據中發現規律，可以預測出網絡攻擊的發生和行為。

發明內容

本發明提供一種基于大數據實時網絡流量異常檢測方法，能夠通過大數據分析技術對網絡流量進行處理和分析，預測網絡攻擊發生的時間和攻擊類型，進而采取有效的防范措施加以防范。

為實現上述目的，本發明提供一種基于大數據實時網絡流量異常檢測方法，包括：

步驟S1，獲取已收集并分析得出攻擊類型、存儲在數據庫中帶攻擊標簽的歷史流量數據；

步驟S2，對步驟S1中的所述歷史流量數據進行特征提取，數據特征預處理，將類別特征進行文本特征提取編碼，對數值型特征進行標準化處理，構建第一類特征向量；

步驟S3，基于步驟S2中的所述第一類特征向量，通過模型訓練構建聚類模型，并利用模型評估與調優得到滿足預設條件的目標模型；

步驟S4，將步驟S3得到的所述目標模型保存并部署上線；

步驟S5，實時抓取、收集局域網內傳輸的實時網絡數據流量包信息；