[發明專利]原始流量數據的處理方法及系統

在審

• 申請號: 202111642398.5
• 申請日: 2021-12-29
• 公開（公告）號: CN114301769A
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 趙旭強
• 申請（專利權）人: 杭州迪普信息技術有限公司
• 主分類號: H04L41/069
• 分類號: H04L41/069;G06F16/951
• 代理公司: 北京金訊知識產權代理事務所(特殊普通合伙) 11554
• 代理人: 黃劍飛

1.一種原始流量數據的處理方法，其特征在于，包括：

流量采集服務器基于網絡中的原始流量數據生成日志詳細記錄；

流量采集服務器將所述日志詳細記錄和其對應的原始流量數據發送至存儲服務器；

存儲服務器將所述日志詳細記錄存儲在數據庫以供用戶查詢；

存儲服務器將所述原始流量數據存儲在本地磁盤并建立快速查詢索引以供用戶查詢。

2.如權利要求1所述的處理方法，其特征在于，還包括：

業務服務器獲取來自用戶的查詢請求；

基于所述查詢請求在本地數據庫進行查詢；

在本地數據庫查詢失敗時，將查詢請求轉發到存儲服務器中以進行查詢。

3.如權利要求1所述的處理方法，其特征在于，流量采集服務器基于網絡中的原始流量數據生成日志詳細記錄，包括：

流量采集服務器采集網絡中的原始流量數據；

對所述原始流量數據進行解析；

將解析后的原始流量數據按照預設格式整理以生成所述日志詳細記錄。

4.如權利要求1所述的處理方法，其特征在于，流量采集服務器將所述日志詳細記錄和其對應的原始流量數據發送至存儲服務器，包括：

流量采集服務器確定存儲服務器中的存儲地址；

將所述日志詳細記錄和其對應的原始流量數據通過快速消息隊列發送至存儲服務器的所述存儲地址。

5.如權利要求1所述的處理方法，其特征在于，存儲服務器將所述日志詳細記錄存儲在數據庫以供用戶查詢，包括：

存儲服務器對接收的數據進行判斷；

所述數據為日志詳細記錄時，將其存儲在ES數據庫以供用戶查詢。

6.如權利要求1所述的處理方法，其特征在于，存儲服務器將所述原始流量數據存儲在本地磁盤并建立快速查詢索引以供用戶查詢，包括：

存儲服務器對接收的數據進行判斷；

所述數據為原始流量數據時，提取數據包的預設字節以獲取日志詳細記錄標識；

基于所述日志詳細記錄標識存儲所述原始流量數據并建立查詢索引。

7.如權利要求2所述的處理方法，其特征在于，業務服務器獲取來自用戶的查詢請求，包括：

業務服務器的遠程查詢代理獲取來自用戶的查詢請求。

8.如權利要求2所述的處理方法，其特征在于，基于所述查詢請求在本地數據庫進行查詢，包括：

基于所述查詢請求在本地redis數據庫進行查詢。

9.如權利要求2所述的處理方法，其特征在于，將查詢請求轉發到存儲服務器中以進行查詢，包括：

遠程查詢代理將查詢請求轉發到存儲服務器的本地查詢代理中以進行查詢。

10.如權利要求9所述的處理方法，其特征在于，遠程查詢代理將查詢請求轉發到存儲服務器的本地查詢代理中以進行查詢，包括：

遠程查詢代理將查詢請求轉發到存儲服務器的本地查詢代理中；

本地查詢代理在存儲服務器本地執行本地查詢，生成查詢結果；

本地查詢代理將查詢結果返回給遠程查詢代理。

11.一種原始流量數據的處理系統，其特征在于，包括：

流量采集服務器，用于流量采集服務器基于網絡中的原始流量數據生成日志詳細記錄；并將所述日志詳細記錄和其對應的原始流量數據發送至存儲服務器；

存儲服務器，用于將所述日志詳細記錄存儲在數據庫以供用戶查詢；并將所述原始流量數據存儲在本地磁盤并建立快速查詢索引以供用戶查詢。

12.如權利要求11所述的處理系統，其特征在于，還包括：

業務服務器，用于獲取來自用戶的查詢請求；基于所述查詢請求在本地數據庫進行查詢；在本地數據庫查詢失敗時，將查詢請求轉發到存儲服務器中以進行查詢。