[發明專利]一種網絡流量采集方法

有效

• 申請號: 202210043683.3
• 申請日: 2022-01-14
• 公開（公告）號: CN114598493B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 章建聰;王思;朱玲華;董平;董恩澤;鞏勛
• 申請（專利權）人: 浙江省通信產業服務有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40;H04L67/06;H04L69/22;H04L67/02;H04L43/08;H04L47/2483
• 代理公司: 杭州杭誠專利事務所有限公司 33109
• 代理人: 李博

本發明公開了一種網絡流量采集方法。為了克服現有技術通過交換機等網絡設備來獲取鏡像流量，具有局限性的問題；本發明包括以下步驟：在提供網絡流量的服務器上抓取網絡流量，以文件的形式保存；將流量文件發送到數據安全監控平臺所在服務器的指定目錄下；在數據安全監控平臺上，讀取配置文件，獲取流量文件的配置信息；定時掃描指定目錄，篩選出指定文件格式的文件，將所有未處理文件按照指定文件排序方式進行排序；按照排序，依次讀取文件信息、解析文件、獲取網絡報文包；解析網絡流量，輸出格式化數據，存入數據庫；將格式化數據經過算法轉換，輸出分析結果，存入數據庫，供web前端展示使用。解決特殊化場景中網絡流量的采集問題。

技術領域

本發明涉及一種流量分析領域，尤其涉及一種網絡流量采集方法。

背景技術

隨著互聯網應用的日益普及，網絡安全也變得越來越重要。在網絡運營與維護的過程中，為了便于業務監測和故障定位，網絡管理員時常要獲取設備上的業務報文進行分析。

由于旁路監控模式具有部署靈活方便，且不會影響現有網絡的優點，網絡監控主要采用旁路監控模式。而旁路監控模式主要通過交換機等網絡設備的“端口鏡像”功能來實現監控，在此模式下，數據安全監控平臺只需要連接到交換機指定的鏡像端口，就可以進行網絡流量的采集、解析、分析。例如，一種在中國專利文獻上公開的“用于控制交換機以捕獲和監視網絡流量的系統和方法”，其公告號CN107431642B，包括在耦合到轉發網絡的終端主機之間轉發網絡流量的交換機。分析網絡可以連接到轉發網絡。控制器可以控制轉發網絡中的交換機以實現期望的轉發路徑。控制器可以配置交換機以形成交換機端口組。控制器可以識別連接到分析網絡的端口組。控制器可以選擇被轉發的分組的子集，且可以控制所選交換機將所述子集復制到識別出的端口組。控制器可以在交換機和端口組之間建立網絡隧道。

在實際使用過程中，鏡像流量是從核心交換機等上層設備的端口鏡像出來的，流量巨大，對監控平臺的采集能力要求非常高，勢必會提高投入成本。同時，基于業務需求與安全考慮，運營商不希望將其所有流量都暴露給第三方，只針對待監控業務，提供對應的業務流量做采集分析。運營商會將確定業務的流量發往虛擬機環境，數據安全監控平臺只能從虛擬機上獲取流量，無法直接獲取鏡像流量。另外，在存有異常流量的文件時，運營商希望能夠對異常包進行分析。

現有方法是通過交換機等網絡設備來獲取鏡像流量，由于該方法具有一定的局限性，導致其應用場景受限。

發明內容

本發明主要解決現有技術通過交換機等網絡設備來獲取鏡像流量，具有一定的局限性，應用場景受限的問題；提供一種網絡流量采集方法，解決特殊化場景中網絡流量的采集問題。

本發明的上述技術問題主要是通過下述技術方案得以解決的：

一種網絡流量采集方法，其特征在于，包括以下步驟：

S1：在提供網絡流量的服務器上抓取網絡流量，以文件的形式保存為流量文件；

S2：將流量文件發送到數據安全監控平臺所在服務器的指定目錄下；

S3：在數據安全監控平臺上，讀取配置文件，獲取流量文件的配置信息；配置信息包括流量文件所在目錄、目錄搜索層級、文件格式和文件排序方式；

S4：網絡流量采集的掃描模塊周期性地定時掃描指定目錄，篩選出指定文件格式的文件，將所有未處理文件按照指定文件排序方式進行排序；

S5：網絡流量采集的處理模塊按照文件的排序順序，依次讀取文件信息、解析文件、獲取網絡報文包；

S6：網絡協議解析程序解析網絡流量，輸出格式化數據，存入數據庫；

S7：數據分析模塊將格式化數據經過算法轉換，輸出分析結果，存入數據庫，供web前端展示使用。