[發明專利]一種基于大數據的網絡數據采集系統

在審

• 申請號: 202010726590.1
• 申請日: 2020-07-25
• 公開（公告）號: CN111865723A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 吳中山
• 申請（專利權）人: 深圳市維度統計咨詢股份有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/08
• 代理公司: 成都魚爪智云知識產權代理有限公司 51308
• 代理人: 趙晨宇

本發明公開了一種基于大數據的網絡數據采集系統，涉及數據采集技術領域，該系統包括：網絡數據采集模塊，用于采集一種或多種不同類型的網絡數據；規則模塊：用于定義網絡數據識別規則和解碼規則；剔除模塊：對無法識別的網絡數據進行攔截剔除；多類型數據轉換模塊，用于將網絡數據根據統一的轉換規則轉換為處理器能識別的通用網絡數據；存儲模塊，對通用網絡數據進行存儲。這樣的系統可以采集多種類型的網絡數據，使采集的網絡數據種類增多，不再受到局限，網絡數據根據統一的轉換規則轉換為處理器能識別的通用網絡數據，便于處理器識別，且網絡數據通過存儲模塊進行存儲，便于處理器隨時調用。

技術領域

本發明涉及網絡數據采集技術領域，具體而言，涉及一種基于大數據的網絡數據采集系統。

背景技術

大數據是指無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集合，大數據具有五大特點，即大量、高速、多樣、低價值密度、真實性。大數據的意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業化處理，也就是對這些數據進行“加工處理”，通過加工實現數據的增值。

伴隨著當今社會信息之間的交流越來越頻繁和緊密，工業生產領域的電子設備同互聯網的聯系朝著更方便和更快捷的方向進行著，利用該類電子設備同互聯網的連接，將廣泛存在于互聯網中的大數據進行采集、處理、分析，進而對工業生產進行指導具有提高產品質量、提高生產效率的作用。隨著網絡信息的發展，產生了的越來越多不同類型的網絡數據，而現有技術中的網絡數據采集系統的采集樣式比較單一，只能采集幾種固定格式的網絡數據。

發明內容

為了克服上述問題或者至少部分地解決上述問題，本發明實施例提供一種基于大數據的網絡數據采集系統，能采集多種網絡數據。

本發明的實施例是這樣實現的：

一種基于大數據的網絡數據采集系統，包括：

網絡數據采集模塊，用于采集一種或多種不同類型的網絡數據；

規則模塊：用于定義網絡數據識別規則和解碼規則；

剔除模塊：對無法識別的網絡數據進行攔截剔除；

多類型數據轉換模塊，用于將網絡數據根據統一的轉換規則轉換為處理器能識別的通用網絡數據；

存儲模塊，對通用網絡數據進行存儲。

上述網絡數據識別規則具體包括：匹配條件、識別內容、處理動作、和下一跳模塊配置，其中，匹配條件包括：網絡數據采集入口標識符、媒體訪問控制MAC層匹配地址、虛擬局域網VLAN層匹配標識符、網絡地址IP層匹配地址、以及應用層匹配端口號；上述識別內容包括：識別出的網絡類型、識別出的邏輯接口類型、以及識別出的報文方向；上述處理動作包括：根據識別結果對上述網絡數據進行處理，將報文轉發到協議解碼和事件消息合成模塊進行處理、或轉發給抓包服務器處理，其中，在需要進行負載均衡分發時，負載均衡配置包括：負載均衡類型和分發關鍵字；上述下一跳模塊配置包括：每個下一跳處理服務器的索引號、流量分揀和負載均衡模塊的出口索引號、下一跳處理服務器的地址和端口、下一跳處理服務器上的業務處理模塊的索引號、下一跳處理服務器上的業務處理模塊的負荷百分比、以及下一跳處理服務器上的業務處理模塊的在線狀態；

上述解碼規則包括：網絡類型、網絡中的邏輯接口以及該接口上的協議棧協議、每層協議的消息種類、消息中的字段、字段中的參數、以及指明該字段是否必須的標識，其中，對網絡類型、邏輯接口、協議類型、消息類型、消息字段、以及字段中的參數賦予身份標識ID標記，確保每個解碼的字段參數有唯一的編碼標識符標識，編碼基本格式為：網絡ID邏輯接口ID上下行方向ID協議類型ID消息類型ID消息字段ID參數ID；上述解碼規則中還包括解碼后的消息是否進入的事件合成狀態機的標識符、以及消息中的字段和狀態機關鍵字之間的一一映射關系，以指明消息的下一步處理；規則模塊和剔除模塊相連；