[發明專利]一種PCAP數據包高速索引方法及系統

在審

• 申請號: 202110496025.5
• 申請日: 2021-05-07
• 公開（公告）號: CN113377764A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 弓睿智;李林
• 申請（專利權）人: 北京銳服信科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/2458
• 代理公司: 廣東高端專利代理事務所(特殊普通合伙) 44346
• 代理人: 李彩鳳

本發明實施例涉及數據包索引技術領域，公開了一種PCAP數據包高速索引方法及系統，該方法包括：遍歷歷史數據包及歷史索引數據得到數據包結構表及索引結構表；基于數據包結構表建立若干分布式底層數據庫；基于索引結構表建立索引分發規則；結合若干分布式底層數據庫及索引分發規則建立緩存數據池；通過索引分發規則在緩存數據池中獲取對應于查詢需求的數據。本發明實施例中，PCAP數據包依據數據類型進行分布式存儲并設定數據權重，在接收到查詢需求時，根據查詢需求的數據類型及查詢權重，從分布式底層數據庫中將對應數據取出至緩存數據池，通過索引分發規則進行高效索引，并分配適配的緩存帶寬，避免索引效率受數據量影響而產生下降。

技術領域

本發明涉及數據包索引技術領域，尤其涉及一種PCAP數據包高速索引方法及系統。

背景技術

pcap是一種常用的數據包存儲格式，其廣泛應用于流量分析、安全監測、數據統計等領域。通過wireshark等抓包工具即可便捷地將抓取到的網絡數據轉化為pcap數據包，并將pcap數據包存儲于本地，在建立索引后，即可對pcap數據包進行讀取并應用到分析統計等場景中。

而在實際應用中，從pcap數據包中讀取網絡數據時，需要先將部分或完整的pcap數據包緩存至內存，再基于索引進行逐條匹配，直至讀取到所需讀取的網絡數據，這一索引方式的效率低下，且隨著數據存取流量的增大，索引效率將越來越低。

發明內容

本發明實施例公開一種PCAP數據包高速索引方法及系統，PCAP數據包依據數據類型進行分布式存儲，并基于查詢頻率設定數據權重，在接收到查詢需求時，將根據查詢需求所對應的數據類型及查詢權重，從分布式底層數據庫中將對應數據取出至緩存數據池中，通過索引分發規則進行高效索引，并分配適配的緩存帶寬，避免索引效率受數據量影響而產生下降。

本發明實施例第一方面公開一種PCAP數據包高速索引方法，所述方法包括：

遍歷歷史數據包及歷史索引數據，得到數據包結構表及索引結構表；

基于所述數據包結構表建立若干分布式底層數據庫；

基于所述索引結構表建立索引分發規則；

結合所述若干分布式底層數據庫及所述索引分發規則建立緩存數據池；

通過所述索引分發規則在所述緩存數據池中獲取對應于查詢需求的數據。

優選的，所述遍歷歷史數據包及歷史索引數據，得到數據包結構表及索引結構表，包括：

依據數據類型對所述歷史數據包進行一次遍歷，得到以數據類型為準的一級遍歷結構；

依據數據長度及數據存儲體積對所述一級遍歷結構進行二次遍歷，得到二級遍歷結構；

依據數據查詢頻率對所述二級遍歷結構進行三次遍歷，得到三級遍歷結構；

整合所述一級遍歷結構、所述二級遍歷結構及所述三級遍歷結構，得到所述數據包結構表；

以及，依據歷史查詢頻率對所述歷史索引數據進行一次遍歷，得到一級索引結構；

依據數據類型對所述一級索引結構進行二次遍歷，得到二級索引結構；

整合所述一級索引結構及所述二級索引結構，得到所述索引結構表。

優選的，所述基于所述數據包結構表建立若干分布式底層數據庫，包括：

基于所述一級遍歷結構對所述歷史數據包進行拆分，得到按照數據類型進行分類的若干子歷史數據包；

基于所述二級遍歷結構，將所述若干子歷史數據包分別存儲于若干分布式底層數據庫中；

基于所述三級遍歷結構，為所述若干分布式底層數據庫中的數據設定數據權重。