[發(fā)明專利]原始流量數(shù)據(jù)的處理方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111642398.5
• 申請日: 2021-12-29
• 公開（公告）號: CN114301769A
• 公開（公告）日: 2022-04-08
• 發(fā)明（設(shè)計）人: 趙旭強
• 申請（專利權(quán)）人: 杭州迪普信息技術(shù)有限公司
• 主分類號: H04L41/069
• 分類號: H04L41/069;G06F16/951
• 代理公司: 北京金訊知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11554
• 代理人: 黃劍飛

本公開涉及一種原始流量數(shù)據(jù)的處理方法、系統(tǒng)、電子設(shè)備及計算機(jī)可讀介質(zhì)。該方法包括：流量采集服務(wù)器基于網(wǎng)絡(luò)中的原始流量數(shù)據(jù)生成日志詳細(xì)記錄；流量采集服務(wù)器將所述日志詳細(xì)記錄和其對應(yīng)的原始流量數(shù)據(jù)發(fā)送至存儲服務(wù)器；存儲服務(wù)器將所述日志詳細(xì)記錄存儲在數(shù)據(jù)庫以供用戶查詢；存儲服務(wù)器將所述原始流量數(shù)據(jù)存儲在本地磁盤并建立快速查詢索引以供用戶查詢。本申請涉及的原始流量數(shù)據(jù)的處理方法、系統(tǒng)、電子設(shè)備及計算機(jī)可讀介質(zhì)，能夠有效解決單機(jī)處理能力不足和存儲能力不均衡等問題，據(jù)有較好的兼容性和擴(kuò)展性，特別適用于大流量場景。

技術(shù)領(lǐng)域

本公開涉及計算機(jī)信息處理領(lǐng)域，具體而言，涉及一種原始流量數(shù)據(jù)的處理方法、系統(tǒng)、電子設(shè)備及計算機(jī)可讀介質(zhì)。

背景技術(shù)

為了實時了解網(wǎng)絡(luò)運營狀態(tài)，網(wǎng)絡(luò)運營商通常會采集網(wǎng)絡(luò)原始流量，經(jīng)過分析檢測后生成日志詳細(xì)紀(jì)錄(XDR)，并基于日志結(jié)果實時監(jiān)控網(wǎng)絡(luò)狀態(tài)；然而在一些技術(shù)復(fù)雜度較高或需要主觀判斷的場景中，比如網(wǎng)絡(luò)優(yōu)化、參數(shù)調(diào)優(yōu)、或一些深層次的故障原因等、需要深入到具體的原始數(shù)據(jù)中，由專業(yè)人員進(jìn)行分析。然而，受計算機(jī)架構(gòu)的影響，磁盤的讀寫速率低于CPU/網(wǎng)卡的工作速率，所以如何實時高效的存儲海量數(shù)據(jù)成為一個難題。而且提供一種有效的技術(shù)手段，快速實時的從海量數(shù)據(jù)中提取數(shù)據(jù)并返回給用戶也是當(dāng)前迫切需要的。

現(xiàn)有技術(shù)方案通常將數(shù)據(jù)采集、日志生成、數(shù)據(jù)存儲/查詢等工作集中在采集服務(wù)器的Probe進(jìn)程，Probe在生成日志時，在日志中包括一個唯一標(biāo)識ID，并在唯一標(biāo)識中包括Probe ID，當(dāng)用戶想要查詢某一日志對應(yīng)的原始數(shù)據(jù)時，通過日志中的唯一標(biāo)識獲取ProbeID，并向指定Probe下發(fā)查詢請求，Probe根據(jù)請求中的查詢條件完成數(shù)據(jù)檢索，并將結(jié)果返回給用戶。

現(xiàn)有方案未考慮CPU和磁盤讀寫速率的差異，將數(shù)據(jù)的采集和解析、日志生成、數(shù)據(jù)存儲和查詢等功能集中在采集服務(wù)器的Probe進(jìn)程上，導(dǎo)致Probe性能極低，查詢和響應(yīng)延時較長，僅適用于小流量場景。當(dāng)流量較大時，容易出現(xiàn)處理能力不足、丟包等情況。且由于Probe將采集的流量全部存儲在本地，當(dāng)接入流量不同時，極易出現(xiàn)處理能力和存儲容量不均衡的情況；

因此，需要一種新的原始流量數(shù)據(jù)的處理方法、系統(tǒng)、電子設(shè)備及計算機(jī)可讀介質(zhì)。

在所述背景技術(shù)部分公開的上述信息僅用于加強對本申請的背景的理解，因此它可以包括不構(gòu)成對本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

發(fā)明內(nèi)容

有鑒于此，本申請?zhí)峁┮环N原始流量數(shù)據(jù)的處理方法、系統(tǒng)、電子設(shè)備及計算機(jī)可讀介質(zhì)，能夠有效解決單機(jī)處理能力不足和存儲能力不均衡等問題，據(jù)有較好的兼容性和擴(kuò)展性，特別適用于大流量場景。

本申請的其他特性和優(yōu)點將通過下面的詳細(xì)描述變得顯然，或部分地通過本申請的實踐而習(xí)得。

根據(jù)本申請的一方面，提出一種原始流量數(shù)據(jù)的處理方法，該方法包括：流量采集服務(wù)器基于網(wǎng)絡(luò)中的原始流量數(shù)據(jù)生成日志詳細(xì)記錄；流量采集服務(wù)器將所述日志詳細(xì)記錄和其對應(yīng)的原始流量數(shù)據(jù)發(fā)送至存儲服務(wù)器；存儲服務(wù)器將所述日志詳細(xì)記錄存儲在數(shù)據(jù)庫以供用戶查詢；存儲服務(wù)器將所述原始流量數(shù)據(jù)存儲在本地磁盤并建立快速查詢索引以供用戶查詢。

在本申請的一種示例性實施例中，還包括：業(yè)務(wù)服務(wù)器獲取來自用戶的查詢請求；基于所述查詢請求在本地數(shù)據(jù)庫進(jìn)行查詢；在本地數(shù)據(jù)庫查詢失敗時，將查詢請求轉(zhuǎn)發(fā)到存儲服務(wù)器中以進(jìn)行查詢。

在本申請的一種示例性實施例中，流量采集服務(wù)器基于網(wǎng)絡(luò)中的原始流量數(shù)據(jù)生成日志詳細(xì)記錄，包括：流量采集服務(wù)器采集網(wǎng)絡(luò)中的原始流量數(shù)據(jù)；對所述原始流量數(shù)據(jù)進(jìn)行解析；將解析后的原始流量數(shù)據(jù)按照預(yù)設(shè)格式整理以生成所述日志詳細(xì)記錄。

在本申請的一種示例性實施例中，流量采集服務(wù)器將所述日志詳細(xì)記錄和其對應(yīng)的原始流量數(shù)據(jù)發(fā)送至存儲服務(wù)器，包括：流量采集服務(wù)器確定存儲服務(wù)器中的存儲地址；將所述日志詳細(xì)記錄和其對應(yīng)的原始流量數(shù)據(jù)通過快速消息隊列發(fā)送至存儲服務(wù)器的所述存儲地址。