[發明專利]網絡應用層全流量向量化記錄生成方法和系統

有效

• 申請號: 202110352133.5
• 申請日: 2021-03-31
• 公開（公告）號: CN113037775B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 支鳳麟;蔡曉華
• 申請（專利權）人: 上海天旦網絡科技發展有限公司
• 主分類號: H04L69/22
• 分類號: H04L69/22;H04L43/08;H04L43/0876;G06N3/04;G06N3/08
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 黃磊;郭國中

本發明提供了一種網絡應用層全流量向量化記錄生成方法和系統，包括：已知協議解析模塊、信息流綜合解析模塊、時間窗口流量描述模塊、全流量向量化模型生成模塊、全流量向量化模塊。本發明既全面覆蓋了一個時間片內的全流量信息，又壓縮了表示空間；使用深度神經網絡自動提取每個時間片的全流量信息中的重要特征，而后組成全量記錄。既保留了全流量的重要信息，又壓縮了記錄存儲空間。可以廣闊應用于長期記錄和保存、呈現、應用層告警運算、相似性運算、安全入侵預算、價值挖掘等場景。

技術領域

本發明涉及數據處理、流量分析、日志處理、網絡分析、應用性能監控領域，尤其涉及一種網絡應用層全流量向量化記錄生成方法和系統。

背景技術

分布式系統（distributed system）泛指建立在網絡之上的軟件系統，這種系統具有高度的內聚性和透明性，在商業領域、公共領域、IT基礎設施領域有著廣泛的應用。相應的，針對分布式系統的監控和表示也有其廣泛意義和用途，例如運維保障、安全保障、數據價值挖掘等。

在分布式系統中，基于Log的監控方案其優點是易于實現，缺點是由于缺乏統一的標準，數據量過于嘈雜（譬如包括錯誤時的程序堆棧等），也過于龐大，往往需要建立大規模的集群進行采集、清洗、分析和存儲，這種方法所占用的帶寬傳輸資源、計算資源、存儲資源都相當龐大，一般來說投資收益比比較低。同時，對于實際項目實施，其改造和交付時間都是較長的。

而基于網絡的監控方法，卻有著標準相對統一，數據質量高，實施交付快等優勢?；诰W絡的監控方法也就是基于OSI/ISO網絡分層標準，通過旁路鏡像系分布式系統中真實網絡流量，對于鏡像后的網絡流量的數據包報文進行分析的方法。當前網絡主要使用的基于TCP/IP協議簇的開放實現，其中的網絡協議和傳輸協議，譬如IPv4、IPv6，TCP、UDP等都是規范的，而上層應用中，HTTP、XML、JSON、MQ、8583、SQL等也往往是由相對穩定和規范的。因此，基于網絡的方案，其數據是相對標準和統一的。同時，分布式系統中，網絡報文主要是服務或者應用之間的相互調用，也就是輸入和輸出為主的數據，因為其封裝了底層的實現細節，因此相對Log數據來說，質量要高的多，可以高效地表征整體系統的運行狀況。在實施上，因為數據的規范行，方案的普適性，因此實時周期短，所需的計算和存儲資源都相對小，效率高。

在分布式系統中，基于網絡交換數據的網絡層指標和應用層指標也是用途最廣泛的兩類數據源。應用層指標在系統狀態監控、快速異常發現、問題定位、事后復盤等工作中起到核心作用。這些指標包含但不限于特定業務行為、該業務行為的序列號、業務開始時間、業務結束時間、響應開始時間、相應結束時間、源地址、目的地址等。目前，由于應用層全量數據一方面數據量龐大，另一方面也有著豐富的多樣性，因此當前往往只能根據業務經驗記錄應用層的部分指標，例如交易量、響應時間、成功率等做統一呈現和分析，但未記錄的指標卻可能包含重要的信息。

專利文獻“一種流量數據的異常檢測方法及裝置”（CN112232948A）只能對單個流量向量化，專利文獻“深度學習模型及其預測流量數據的方法”（CN111738781B）僅關注與流量數據大小相關的特征。

如何使用一種統一的方案來包含和記錄更多的應用層信息，做統一的表示，做統一的運算、長期存儲是個新的和充滿應用價值的問題。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種網絡應用層全流量向量化記錄生成方法和系統。

根據本發明提供的一種網絡應用層全流量向量化記錄生成系統，包括：

已知協議解析模塊：解析流經結點的原始網絡流量的協議，得到已知協議流量和未知協議流量，將所述已知協議流量解析為已知協議解析列表，所述已知協議解析列表中的每項為已知協議流量的單次通信的描述元組；