[發明專利]一種PCAP數據包高速索引方法及系統

在審

• 申請號: 202110496025.5
• 申請日: 2021-05-07
• 公開（公告）號: CN113377764A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 弓睿智;李林
• 申請（專利權）人: 北京銳服信科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/2458
• 代理公司: 廣東高端專利代理事務所(特殊普通合伙) 44346
• 代理人: 李彩鳳

1.一種PCAP數據包高速索引方法，其特征在于，所述方法包括：

遍歷歷史數據包及歷史索引數據，得到數據包結構表及索引結構表；

基于所述數據包結構表建立若干分布式底層數據庫；

基于所述索引結構表建立索引分發規則；

結合所述若干分布式底層數據庫及所述索引分發規則建立緩存數據池；

通過所述索引分發規則在所述緩存數據池中獲取對應于查詢需求的數據。

2.根據權利要求1所述的方法，其特征在于，所述遍歷歷史數據包及歷史索引數據，得到數據包結構表及索引結構表，包括：

依據數據類型對所述歷史數據包進行一次遍歷，得到以數據類型為準的一級遍歷結構；

依據數據長度及數據存儲體積對所述一級遍歷結構進行二次遍歷，得到二級遍歷結構；

依據數據查詢頻率對所述二級遍歷結構進行三次遍歷，得到三級遍歷結構；

整合所述一級遍歷結構、所述二級遍歷結構及所述三級遍歷結構，得到所述數據包結構表；

以及，依據歷史查詢頻率對所述歷史索引數據進行一次遍歷，得到一級索引結構；

依據數據類型對所述一級索引結構進行二次遍歷，得到二級索引結構；

整合所述一級索引結構及所述二級索引結構，得到所述索引結構表。

3.根據權利要求2所述的方法，其特征在于，所述基于所述數據包結構表建立若干分布式底層數據庫，包括：

基于所述一級遍歷結構對所述歷史數據包進行拆分，得到按照數據類型進行分類的若干子歷史數據包；

基于所述二級遍歷結構，將所述若干子歷史數據包分別存儲于若干分布式底層數據庫中；

基于所述三級遍歷結構，為所述若干分布式底層數據庫中的數據設定數據權重。

4.根據權利要求2所述的方法，其特征在于，所述基于所述索引結構表建立索引分發規則，包括：

基于所述一級索引結構設定查詢權重，其中，查詢權重的數值與查詢頻率正相關；

基于所述二級索引結構設置與所述查詢需求的數據類型相對應的查詢信道；

綜合所述查詢權重及查詢信道作為衡量所述查詢需求的索引分發規則。

5.根據權利要求3或4所述的方法，其特征在于，所述結合所述若干分布式底層數據庫及所述索引分發規則建立緩存數據池，包括：

構建緩存數據池，基于所述數據權重及所述查詢權重為每一所述分布式底層數據庫分配緩存帶寬；

對所述數據權重與所述查詢權重構建尋址映射關系；

采用所述尋址映射關系適配所述緩存數據池。

6.一種一種PCAP數據包高速索引系統，其特征在于，所述系統包括：

遍歷單元，用于遍歷歷史數據包及歷史索引數據，得到數據包結構表及索引結構表；

數據庫建立單元，用于基于所述數據包結構表建立若干分布式底層數據庫；

規則建立單元，用于基于所述索引結構表建立索引分發規則；

緩存建立單元，用于結合所述若干分布式底層數據庫及所述索引分發規則建立緩存數據池；

索引查詢單元，用于通過所述索引分發規則在所述緩存數據池中獲取對應于查詢需求的數據。

7.根據權利要求6所述的系統，其特征在于，所述遍歷單元包括：

一級遍歷子單元，用于依據數據類型對所述歷史數據包進行一次遍歷，得到以數據類型為準的一級遍歷結構；

二級遍歷子單元，用于依據數據長度及數據存儲體積對所述一級遍歷結構進行二次遍歷，得到二級遍歷結構；

三級遍歷子單元，用于依據數據查詢頻率對所述二級遍歷結構進行三次遍歷，得到三級遍歷結構；

結構整合子單元，用于整合所述一級遍歷結構、所述二級遍歷結構及所述三級遍歷結構，得到所述數據包結構表；

一級索引子單元，用于依據歷史查詢頻率對所述歷史索引數據進行一次遍歷，得到一級索引結構；

二級索引子單元，用于依據數據類型對所述一級索引結構進行二次遍歷，得到二級索引結構；

索引整合子單元，用于整合所述一級索引結構及所述二級索引結構，得到所述索引結構表。