[發明專利]一種分布式部署的系統和方法

有效

• 申請號: 201711322472.9
• 申請日: 2017-12-12
• 公開（公告）號: CN108052358B
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 蔡曉華;袁紹桃;趙澤;楊光輝;賀曉麟;王濤;胡倩倩
• 申請（專利權）人: 上海天旦網絡科技發展有限公司
• 主分類號: G06F8/61
• 分類號: G06F8/61
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 莊文莉

本發明提供了一種分布式部署的系統和方法，包括一臺主機服務器和至少一臺從機服務器，主機服務器與從機服務器包括：數據采集模塊實時監聽偵測并持續采集當前服務器的數據鏈路中的數據包信息；數據處理模塊將采集到的數據包信息解析成交易原始記錄，計算出交易關聯字段，根據交易關聯字段派發交易記錄，關聯派發的交易記錄為交易關聯記錄，合成交易關聯記錄得到交易數據并將交易數據存儲到當前服務器的文件存儲模塊中，聚合交易數據，將聚合后的交易數據存儲至當前服務器的數據庫；主機服務器的數據展現模塊讀取所需的數據庫、文件存儲中的數據并呈現。實現了不同物理位置、異地跨區域跨網段的流量采集。

技術領域

本發明涉及互聯網數據監控領域，具體地，涉及一種分布式部署的系統和方法。

背景技術

在現如今的銀行、券商、網絡運營商中，大都使用網絡數據監控系統作為日常分析與風險把控的重要手段。而網絡數據監控系統很重要的一部分為環境部署和數據采集。隨著科技和業務量的增長，要處理的網絡互聯數據也隨之爆炸式增長，為采集監控這些數據，上述行業的數據中心已經逐漸發展成兩地三中心甚至更多，每個數據中心內部又有多個機房，這些內部的服務器同時還跨區域跨網段，傳統的集中式部署已經難以滿足需求，面臨著諸如采集點部署困難，單點服務器壓力過大或故障導致集群不可用的問題。

同時，繁瑣的多中心架構搭建往往浪費不少人力物力，容易出現錯誤操作導致部署失敗，而且即使部署完成，增刪服務器或更改系統架構同樣面臨不少的挑戰。

經過檢索發現：

公開號為CN105404528A的專利文獻公開了一種分布式自動化部署系統，所采用的方案需要額外的自動部署服務器，且要經過管理端、部署服務器、客戶端三者之間的多次交互操作，增加了部署時間與發生問題的概率；

公開號為CN106375419A的專利文獻公開了一種分布式集群的部署方法和裝置，其動態部署只能通過判斷節點個數使用占比是否超過設置閾值來增刪節點，不能滿足復雜的網絡場景。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種分布式部署的系統和方法，以解決不同物理位置、異地跨區域跨網段的流量采集問題。

根據本發明提供的一種分布式部署的方法，包括：

數據采集步驟：實時監聽偵測并持續采集當前服務器的數據鏈路中的數據包信息；

數據處理步驟：將采集到的數據包信息解析成交易原始記錄，計算出交易關聯字段，根據交易關聯字段派發交易記錄，關聯派發的交易記錄為交易關聯記錄，合成交易關聯記錄得到交易數據并將交易數據存儲到當前服務器的文件存儲模塊中，聚合交易數據，將聚合后的交易數據存儲至當前服務器的數據庫；

數據展現步驟：主機服務器讀取所需的數據庫、文件存儲模塊中的數據并呈現。

優選的，文件存儲模塊中存儲的所述交易數據包括數據包、交易原始記錄以及交易關聯記錄。

優選的，文件存儲模塊中存儲的所述交易數據根據來源和時間分多級目錄。

優選的，數據庫中存儲的聚合后的交易數據根據路徑圖和月份分庫、根據捕獲點分表以及根據聚合程度分表，聚合程度包括捕獲點、服務器IP、站點以及維度。

優選的，數據展現步驟包括：

交易記錄呈現步驟：通過所述交易關聯字段并結合文件存儲中的數據，呈現交易記錄信息；

指標信息呈現步驟：通過自定義的時間、服務器、站點以及維度查詢數據庫，呈現各個維度組合下的指標信息。

根據本發明提供的一種分布式部署的系統，包括一臺主機服務器以及至少一臺從機服務器，所述主機服務器與所述從機服務器均包括：