[發明專利]一種基于大數據的網絡數據采集系統

在審

• 申請號: 202010726590.1
• 申請日: 2020-07-25
• 公開（公告）號: CN111865723A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 吳中山
• 申請（專利權）人: 深圳市維度統計咨詢股份有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/08
• 代理公司: 成都魚爪智云知識產權代理有限公司 51308
• 代理人: 趙晨宇

1.一種基于大數據的網絡數據采集系統，其特征在于，包括：

網絡數據采集模塊，用于采集一種或多種不同類型的網絡數據；

規則模塊：用于定義網絡數據識別規則和解碼規則；

剔除模塊：對無法識別的網絡數據進行攔截剔除；

多類型數據轉換模塊，用于將網絡數據根據統一的轉換規則轉換為處理器能識別的通用網絡數據；

存儲模塊，對通用網絡數據進行存儲。

2.根據權利要求1所述的一種基于大數據的網絡數據采集系統，其特征在于，網絡數據采集模塊還用于采集局域網數據。

3.根據權利要求1所述的一種基于大數據的網絡數據采集系統，其特征在于，所述網絡數據包括以下一種或多種信息：

經交換機監聽接口監聽的網絡流量信息；

目標網絡設備的配置信息、日志信息和設備狀態信息。

4.根據權利要求3所述的一種基于大數據的網絡數據采集系統，其特征在于，所述交換機為以太網交換機或光纖交換機。

5.根據權利要求3所述的一種基于大數據的網絡數據采集系統，其特征在于，所述網絡數據采集模塊通過串口對經交換機監聽接口的網絡流量信息進行采集；以及通過串口對所述網絡設備的配置信息、日志信息和設備狀態信息進行采集。

6.根據權利要求1所述的一種基于大數據的網絡數據采集系統，其特征在于，還包括節點提取模塊，用于按照一定周期從采集的網絡數據中提取數據作為節點數據。

7.根據權利要求6所述的一種基于大數據的網絡數據采集系統，其特征在于，周期為10s、30s或60s。

8.根據權利要求1所述的一種基于大數據的網絡數據采集系統，其特征在于，還包括解碼模塊，用于對被編碼的網絡數據進行解碼。

9.根據權利要求1所述的一種基于大數據的網絡數據采集系統，其特征在于，所述規則模塊還包括：

流量分揀子模塊，根據所述網絡數據識別規則對網絡數據采集模塊采集到的所述網絡數據進行規則匹配，獲取符合所述網絡數據識別規則的網路數據，并識別所述網絡數據的類型；

負載均衡模塊，根據識別出的所述網絡數據的類型，將所述網路數據負載均衡分發到多類型數據轉換模塊。

10.根據權利要求9所述的一種基于大數據的網絡數據采集系統，其特征在于，所述網絡數據識別規則具體包括：匹配條件、識別內容和處理動作，其中：

匹配條件包括：網絡數據采集入口標識符；

所述識別內容包括：識別出的網絡類型、識別出的邏輯接口類型；

所述處理動作包括：根據所述識別出的所述網絡數據的類型對所述網絡數據進行處理。