[發明專利]流量數據分析方法及流量數據分析系統

有效

• 申請號: 201410506317.2
• 申請日: 2014-09-28
• 公開（公告）號: CN105530137B
• 公開（公告）日: 2019-05-10
• 發明（設計）人: 張涼;劉金杰;林誥;樂振滸;馬耿;吳非;曹陽
• 申請（專利權）人: 中國銀聯股份有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 杜娟娟;湯春龍

提供一種流量數據分析方法，用于分析被監測的應用系統的流量數據，其包括：對于被監測的應用系統，將進出其的流量鏡像到流量服務器的網絡連接設備；基于預設參數，通過抓包工具從被鏡像到流量服務器的網絡連接設備的流量中獲取與預設參數相關的數據，并將所獲取的數據形成為第一格式的文件；將所形成的第一格式的文件按順序發送到第一消息中間件的與該文件對應的第一管道；自所述第一管道取出所接收的第一格式的文件時，并自其獲取所需信息，將所獲取的信息轉換成第二格式的文件；將第二格式的文件逐個發送給第二消息中間件的第二管道；在所述第二管道接收到第二格式的文件時，解析該文件并將解析獲得的信息存儲到建立的數據庫中。

技術領域

本發明涉及網絡技術，更具體地，涉及對網絡環境中進出應用系統的流量數據的分析。

背景技術

隨著互聯網應用的快速發展，基于云架構的web類的應用系統逐漸增多；加之繁雜的業務功能、千差萬別的客戶訪問路徑、高并發的訪問需求，導致數據中心在web類系統的運營與維護成為了一個難點和重點。

在國內開展web類系統運維的單位很多，但基本都是通過日志收集的方式進行分析。存在的主要問題是：基于日志的分析，非常依賴于應用系統記錄日志的準確性和完整性。為了保證準確性，就必須充分要求應用代碼保證邏輯的正確性；為了保證完整性，就必須要求將盡量多的信息輸出到日志里面。

基于日志的這種分析方式，其與應用系統本身存在較高的關聯性。日志記錄不詳細，不足以確保完整性，日志記錄太詳細將會給應用程序的性能及主機的磁盤空間帶來相當大的消耗。

當對應用系統變更監控或業務需求時，應用系統本身及日志采集分析系統都需要適應性的進行調整，所額外產生的成本是比較大的，并且不夠靈活。

發明內容

本發明意在提供一種流量數據分析方法，用于分析被監測的應用系統的流量數據，其包括：對于被監測的應用系統，將進出其的流量鏡像到流量服務器的網絡連接設備；基于預設參數，通過抓包工具從被鏡像到流量服務器的網絡連接設備的流量中獲取與預設參數相關的數據，并將所獲取的數據形成為第一格式的文件；將所形成的第一格式的文件按順序發送到第一消息中間件的與該文件對應的第一管道；自所述第一管道取出所接收的第一格式的文件時，并自其獲取所需信息，將所獲取的信息轉換成第二格式的文件；將第二格式的文件逐個發送給第二消息中間件的第二管道；在所述第二管道接收到第二格式的文件時，解析該文件并將解析獲得的信息存儲到建立的數據庫中。

根據本發明的示例，優選地，將進出其的流量鏡像到流量服務器的網絡連接設備是基于SPAN（Switched Port Analyzer）技術將流量鏡像到流量服務器的網絡連接設備。

根據本發明的示例，優選地，所述網絡連接設備是網卡。

根據本發明的示例，優選地，將所形成的第一格式的文件按順序發送到第一消息中間件是按照所述第一格式文件形成的時間順序發送所述第一格式的文件到第一消息中間件。

根據本發明的示例，優選地，將第二格式的文件逐個發送給第二信息中間件的第二管道中是按照第二格式的文件形成的時間順序逐個地將第二格式的文件發送給第二信息中間件的第二管道。

根據本發明的示例，優選地，在所述第二管道接收到第二格式的文件時，解析該文件并將解析獲得的信息存儲到建立的數據庫中包括：a)監測所述第二管道，在其接收到第二格式的文件時，解析構成該文件的每個分包，進行相關的請求與響應；以及b)根據不同的協議，分析所進行的相關的請求與響應，將所得到的信息存儲到建立的數據庫中。