[發(fā)明專利]支持海量數(shù)據(jù)實時處理的網(wǎng)絡(luò)分析系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201310529178.0
• 申請日: 2013-10-31
• 公開（公告）號: CN103560943B
• 公開（公告）日: 2017-01-11
• 發(fā)明（設(shè)計）人: 趙耀;林榮恒;翁佳雷;鄒華;楊放春;趙翔;陳雪龍;王建強
• 申請（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號: H04L12/58
• 分類號: H04L12/58
• 代理公司: 北京德琦知識產(chǎn)權(quán)代理有限公司11018
• 代理人: 夏憲富

1.一種基于海量數(shù)據(jù)實時處理技術(shù)的網(wǎng)絡(luò)分析系統(tǒng)，其特征在于：該系統(tǒng)包括：多個數(shù)據(jù)適配節(jié)點和由多個數(shù)據(jù)分析節(jié)點組成的數(shù)據(jù)分析集群，其中：

數(shù)據(jù)適配節(jié)點，用于獲取被管理的外部網(wǎng)絡(luò)中的數(shù)據(jù)，并利用數(shù)據(jù)適配功能將所有輸入到數(shù)據(jù)分析集群、需要實時分析的數(shù)據(jù)適配轉(zhuǎn)換為數(shù)據(jù)分析集群內(nèi)部能夠解析和通信的事件，并將該事件初次分發(fā)到數(shù)據(jù)分析集群中的各個數(shù)據(jù)分析節(jié)點，實現(xiàn)初次分發(fā)的負載均衡；同時，數(shù)據(jù)分析集群處理后的結(jié)果，也以事件方式發(fā)送到數(shù)據(jù)適配節(jié)點，由其利用數(shù)據(jù)適配功能將其轉(zhuǎn)換適配為對外通信的數(shù)據(jù)格式后向外輸出，或轉(zhuǎn)發(fā)給數(shù)據(jù)庫、日志或圖形界面進行后期記錄或顯示；該數(shù)據(jù)適配節(jié)點的輸入信息為外部網(wǎng)絡(luò)的所有數(shù)據(jù)、數(shù)據(jù)分析請求、中間事件或最后結(jié)果事件，輸出信息則根據(jù)需要適配為對數(shù)據(jù)庫、日志和圖形界面的存儲操作、對Web?Service接口的通信操作或發(fā)送設(shè)定格式的網(wǎng)絡(luò)數(shù)據(jù)；

數(shù)據(jù)分析集群，由作為該系統(tǒng)完成網(wǎng)絡(luò)數(shù)據(jù)分析核心功能、呈分布式配置于網(wǎng)絡(luò)中的多個數(shù)據(jù)分析節(jié)點所組成，這些數(shù)據(jù)分析節(jié)點負責對數(shù)據(jù)進行實時的故障監(jiān)測、分析、統(tǒng)計、排查和診斷的操作，并將處理結(jié)果發(fā)送到數(shù)據(jù)適配節(jié)點，或數(shù)據(jù)庫、日志和圖形界面，以供后期處理；數(shù)據(jù)分析節(jié)點支持P2P組網(wǎng)方式和負載均衡機制，以使該數(shù)據(jù)分析集群具有伸縮功能：若要調(diào)整其處理能力時，只需直接添加或減少數(shù)據(jù)分析節(jié)點數(shù)量即可；各個數(shù)據(jù)分析節(jié)點之間基于事件通信完成流水線式的分析處理過程。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于：所述系統(tǒng)內(nèi)的兩種節(jié)點：數(shù)據(jù)適配節(jié)點和數(shù)據(jù)分析節(jié)點都具備下述結(jié)構(gòu)組成與功能的特點：

采用P2P架構(gòu)方式組網(wǎng)：支持節(jié)點的動態(tài)管理和負載均衡，以使系統(tǒng)具有動態(tài)伸縮功能，并提高其工作可靠性和整體性能；

基于事件的內(nèi)部通信機制：以事件作為通信唯一媒介，即節(jié)點之間的通信抽象為事件，使得發(fā)送方不需獲知事件目的地，接收方不需知道事件源地址，以簡化通信協(xié)議，增強數(shù)據(jù)分析集群的動態(tài)伸縮能力，提高系統(tǒng)處理能力；

組成結(jié)構(gòu)基本相同：兩種節(jié)點都設(shè)有由通信層和容器層組成的節(jié)點公共基礎(chǔ)結(jié)構(gòu)，除了數(shù)據(jù)分析節(jié)點的通信層沒有數(shù)據(jù)收發(fā)模塊以外，其余各個模塊的結(jié)構(gòu)與功能都相同，上層處理邏輯也都采用相同的可擴展方式，使得該系統(tǒng)的所有節(jié)點共享相同的底層模塊和基本一致的處理邏輯，只需部署不同的處理邏輯，就能配置不同功能的節(jié)點，從而簡化系統(tǒng)結(jié)構(gòu)，便利于節(jié)點管理和數(shù)據(jù)分析集群的動態(tài)伸縮；

流水線式的數(shù)據(jù)分析處理過程：每個數(shù)據(jù)分析節(jié)點作為流水線中的一環(huán)，將數(shù)據(jù)分析流程逐步分解，形成多個簡單片斷執(zhí)行分步處理，從而簡化各節(jié)點的結(jié)構(gòu)與功能，提高處理效率，系統(tǒng)容易擴展和伸縮；

基于一致性Hash的平衡路由機制給下一跳數(shù)據(jù)分析節(jié)點分發(fā)事件：分發(fā)事件時保證負載均衡，有利于節(jié)點管理、集群伸縮和系統(tǒng)簡化；

支持多語言、可擴展的數(shù)據(jù)分析和處理機制：支持動態(tài)加載多種處理邏輯，以豐富該系統(tǒng)的數(shù)據(jù)分析功能，簡化邏輯開發(fā)方法，提高系統(tǒng)的可擴展功能。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于：所述系統(tǒng)內(nèi)的數(shù)據(jù)適配節(jié)點和數(shù)據(jù)分析節(jié)點都設(shè)有通信層、邏輯層和容器層，其中的通信層和容器層組成節(jié)點公共基礎(chǔ)結(jié)構(gòu)；該節(jié)點公共基礎(chǔ)結(jié)構(gòu)中的功能模塊，除去數(shù)據(jù)適配節(jié)點在通信層專設(shè)其特有的數(shù)據(jù)收發(fā)模塊以外，其余包括通信層中的節(jié)點管理模塊和事件收發(fā)模塊，容器層中的數(shù)據(jù)處理容器模塊、邏輯管理模塊都是上述兩種節(jié)點共同設(shè)置的，且兩者的上述模塊的結(jié)構(gòu)與功能都相同。