[發明專利]大型ISP間互聯口統計系統及方法

有效

• 申請號: 201310530273.2
• 申請日: 2013-10-31
• 公開（公告）號: CN103532796B
• 公開（公告）日: 2017-01-04
• 發明（設計）人: 鄧斌;李川;黃友俊;李星;吳建平
• 申請（專利權）人: 賽爾網絡有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L12/24
• 代理公司: 中科專利商標代理有限責任公司11021
• 代理人: 宋焰琴

1.一種大型ISP間互聯口統計系統，其特征在于，該系統包括：分流設備，數據采集服務器組，采集數據存儲服務器，數據處理服務器，數據存儲服務器，web服務器和通訊交換機，其中：

所述分流設備用于將從外部網絡所接收到的鏡像數據流根據所述數據采集服務器組中不同數據采集服務器的實際性能分成多份，并發送給所述數據采集服務器組中相應的數據采集服務器；

所述數據采集服務器組包括多個數據采集服務器，所述數據采集服務器用于進行數據采集，并將生成的采集數據文件發送至所述通訊交換機上；

所述采集數據存儲服務器用于對同一時間不同數據采集服務器產生的采集數據文件根據采集時間進行匯總和存儲，并將匯總后得到的合并采集數據文件發送給所述數據處理服務器；

所述數據處理服務器用于對所述合并采集數據文件進行處理和/或管理，并將經處理和/或管理后得到的采集數據發送給所述通訊交換機和所述數據存儲服務器；

所述數據存儲服務器和web服務器為數據關聯存儲設備，所述數據存儲服務器用于存儲所述數據處理服務器處理和/或管理后得到的采集數據，所述web服務器用于展示流量監控信息；

所述通訊交換機用于提供系統內各服務器間及和外部網絡的通信通道。

2.根據權利要求1所述的系統，其特征在于，所述分流設備根據所述鏡像數據流的源ip地址和目的ip地址，并按照一預定的分配原則進行數據分配。

3.根據權利要求2所述的系統，其特征在于，所述分配原則為數據采集服務器能夠正常接收分流數據，且能夠處理所有接收的數據。

4.根據權利要求1所述的系統，其特征在于，每個數據采集服務器都具有至少兩個網卡，其中一個網卡為所述數據采集服務器的分流數據輸入端口，用于與所述分流設備連接，以接收單份鏡像數據流，并按照一定的采集頻率進行數據采集，生成采集數據文件；另一個網卡為所述數據采集服務器的通訊端口，用于與所述通訊交換機連接，將生成的采集數據文件發送至所述通訊交換機上。

5.根據權利要求1所述的系統，其特征在于，所述數據采集為采集ip數據報文，并解析其包含的ip地址，端口號，協議類型和/或流量大小，采集得到的數據以ip地址對為關鍵字，且有方向性。

6.根據權利要求1所述的系統，其特征在于，所述處理和/或管理包括數據流量過濾，閾值智能調控，白名單自動管理和/或各數據采集服務器數據和峰值數據獲取。

7.根據權利要求1所述的系統，其特征在于，所述數據存儲服務器和web服務器根據ip地址對進行關聯處理，即根據ip地址對對不同時間段，不同方向的數據進行關聯處理，并繪制波動圖。

8.一種大型ISP間互聯口統計方法，其特征在于，該方法包括以下步驟：

步驟S1，分流設備將從外部網絡所接收到的鏡像數據流根據多個數據采集服務器的實際性能分成多份，并分配給相應的數據采集服務器；

步驟S2，所述數據采集服務器對于接收到的鏡像數據流按照一定的采集頻率進行數據采集，并生成采集數據文件發送給采集數據存儲服務器；

步驟S3，所述采集數據存儲服務器將來自不同數據采集服務器的采集數據文件，以采集時間為順序進行合并產生合并采集數據文件；

步驟S4，數據處理服務器對所述合并采集數據文件進行匯聚處理，并根據事先設定的白名單和ICP地址過濾文件，把符合條件的數據寫入過濾數據文件中；

步驟S5，所述數據處理服務器根據事先設定的白名單數據，在合并采集數據文件中查找白名單中每條記錄在各個時間點的詳細信息，并把查找到的結果寫入信息記錄文件中；

步驟S6，將所述信息記錄文件進行排序，得到特定ICP在ISP間前幾位的流量和內容以及特定ICP在每個時間段的流量和內容，并將得到的數據存入數據庫中。

9.根據權利要求8所述的方法，其特征在于，所述步驟S6采用基于分布計數的基數排序方法對所述信息記錄文件進行排序。