[發明專利]一種多路并發數據分組挖掘與統計方法

在審

• 申請號: 202010040115.9
• 申請日: 2020-01-15
• 公開（公告）號: CN111221877A
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 代先勇;王煒;鄧金祥;劉洋;谷峰;曾海剛;佘朝裕
• 申請（專利權）人: 成都深思科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;H04L29/08
• 代理公司: 北京天奇智新知識產權代理有限公司 11340
• 代理人: 葉明博

本發明公開了一種多路并發數據分組與統計方法，通過前端可視化的聚合條件配置與挖掘結果數據顯示，再輔以后端服務器集群的多任務智能化調度與多路并發數據挖掘運算，大大降低了用戶配置復雜挖掘條件的難度，通過智能化和多路并發加成大幅提升了數據挖掘的效率。

技術領域

本發明屬于網絡流量分析技術領域，尤其涉及一種多路并發數據分組挖掘與統計方法。

背景技術

隨著計算機技術和互聯網的發展，寬帶速率的提高和費用的降低，使得人們的生活和工作與網絡的聯系愈發緊密，網絡數據包數量呈幾何級增長。對于目前的網絡流量數據分析，即使是經驗豐富的分析員，一天也最多只能分析約1700000個數據包，而據統計一個家庭一周所產生的數據包能夠達到1億級別，已然不是一個可以輕易分析的量級，若是采集一個公司、學校、政府等端點的流量，數據包將是一個天文級別。數據量級大、數據復雜程度高、數據處理慢等嚴重影響著數據挖掘與統計效率。

發明內容

本發明的目的就在于為了解決上述問題而提供一種多路并發數據分組挖掘與統計方法，包括如下步驟：

S1:系統獲取網絡流量數據包；

S2:中心服務器進行負載均衡后將數據包拆分發送至分布式服務器集群；

S3:用戶配置數據聚合挖掘條件，分布式服務器集群中各個服務器節點分別根據數據聚合挖掘條件對數據進行匹配挖掘，得到分組數據；

S4:分布式服務器分別獲取分組數據副本；

S5:用戶配置數據統計條件，分布式服務器按統計條件進行計算；

S6:分布式服務器匯總分布式服務器分組數據統計計算結果；

S7:中心服務器合并所有分組統計結果；

S8:輸出聚合挖掘數據結果。

本發明的有益效果在于：本發明通過聚合降維的方式合并原始數據，從而大大的降低數據包的數量級別，提高分析效率，且數據量越大效果越明顯；通過前端可視化的聚合條件配置與挖掘結果數據顯示，再輔以后端服務器集群的多任務智能化調度與多路并發數據挖掘運算，大大降低了用戶配置復雜挖掘條件的難度，提升了挖掘結果數據的易讀性，通過智能化和多路并發加成大幅提升了數據挖掘的效率。

附圖說明

圖1是本發明的流程圖；

圖2是本發明的系統框圖。

具體實施方式

下面結合附圖對本發明作進一步說明：

如圖1所示，本發明一種多路并發數據分組挖掘與統計方法，一種多路并發數據分組與統計方法，包括如下步驟：

S1:系統獲取網絡流量數據包；

S2:中心服務器進行負載均衡后將數據包拆分發送至分布式服務器集群；

S3:用戶配置數據聚合挖掘條件，分布式服務器集群中各個服務器節點分別根據數據聚合挖掘條件對數據進行匹配挖掘，得到分組數據；

S4:分布式服務器分別獲取分組數據副本；

S5:用戶配置數據統計條件，分布式服務器按統計條件進行計算；

S6:分布式服務器匯總分布式服務器分組數據統計計算結果；

S7:中心服務器合并所有分組統計結果；

S8:輸出聚合挖掘數據結果。

進一步的，所述S2中負載均衡過程中心服務器是根據分布式服務器集群中各服務器節點的硬件配置性能和當前負載來分配任務量的。