[發(fā)明專利]數(shù)據(jù)包檢索系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 201810092199.3
• 申請日: 2018-01-30
• 公開（公告）號: CN108446304A
• 公開（公告）日: 2018-08-24
• 發(fā)明（設計）人: 朱世文;葉志強;蔡曉華;楊光輝;賀曉麟;王濤;周育樑
• 申請（專利權(quán)）人: 上海天旦網(wǎng)絡科技發(fā)展有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海漢聲知識產(chǎn)權(quán)代理有限公司 31236
• 代理人: 莊文莉

本發(fā)明提供了一種數(shù)據(jù)包檢索方法和系統(tǒng)，包括：檢索數(shù)據(jù)獲取步驟：從緩沖區(qū)中的數(shù)據(jù)包中獲取檢索數(shù)據(jù)；數(shù)據(jù)包壓縮步驟：將緩沖區(qū)中的數(shù)據(jù)包壓縮后寫入磁場上的數(shù)據(jù)包文件中；概要信息存儲步驟：存儲所述檢索數(shù)據(jù)和所述檢索數(shù)據(jù)對應的數(shù)據(jù)塊在所述數(shù)據(jù)包文件中的存儲位置。本發(fā)明能夠快速檢索網(wǎng)絡會話包，利用索引顯著了提高了網(wǎng)絡數(shù)據(jù)包的檢索速度；解決了網(wǎng)絡會話包存儲中占用磁盤寫入負荷過高的問題；減少了系統(tǒng)開銷，使得網(wǎng)絡數(shù)據(jù)包能夠?qū)崟r存儲。

技術(shù)領域

本發(fā)明涉及網(wǎng)絡性能監(jiān)控領域，具體地，涉及數(shù)據(jù)包檢索系統(tǒng)和方法，尤其是一種網(wǎng)絡會話包實時存儲和快速檢索的系統(tǒng)和方法。

背景技術(shù)

隨著社會科技的發(fā)展，網(wǎng)絡已成為企業(yè)，尤其是金融企業(yè)，不可或缺的核心組成部分。

為了檢索網(wǎng)絡會話包等數(shù)據(jù)包，現(xiàn)有技術(shù)一，是不建立索引，每次檢索網(wǎng)絡會話包的時候都將原有存儲在磁盤上的網(wǎng)絡會話包文件全部讀出后過濾，占用大量磁盤讀入的資源，因此無法將網(wǎng)絡會話包快速的檢索出來。原因是，網(wǎng)絡適配器的速率在不斷增長，目前普遍已經(jīng)達到10000Mbps，而機械磁盤的讀寫速率無法滿足在網(wǎng)絡會話包實時存儲的情況下，根據(jù)指定的條件將網(wǎng)絡會話包快速的檢索出來。

為此技術(shù)人員進行了改進，現(xiàn)有技術(shù)二，是采用讀寫速率更快的SSD磁盤替換現(xiàn)有的機械磁盤，但是由于SSD磁盤價格遠高于機械磁盤的價格，因此無法大規(guī)模采用。

由于價格問題技術(shù)人員進行了進一步的嘗試，在仍舊使用機械磁盤的前提下，現(xiàn)有技術(shù)三，是傳統(tǒng)的索引技術(shù)，對每一個網(wǎng)絡會話包按照檢索條件建立索引記錄，例如專利文獻CN106446028A和專利文獻CN103281213A。雖然現(xiàn)有技術(shù)三相對而言優(yōu)于現(xiàn)有技術(shù)一，但是，由于在10000Mbps網(wǎng)絡適配器上普遍的每秒網(wǎng)絡會話包數(shù)量會超過200M個，導致索引數(shù)據(jù)數(shù)量大，占用大量磁盤寫入的資源和CPU資源，因此實際上導致網(wǎng)絡會話包還是無法實時存儲。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種數(shù)據(jù)包檢索系統(tǒng)和方法。

根據(jù)本發(fā)明提供的一種數(shù)據(jù)包檢索方法，包括：

檢索數(shù)據(jù)獲取步驟：從緩沖區(qū)中的數(shù)據(jù)包中獲取檢索數(shù)據(jù)；

數(shù)據(jù)包壓縮步驟：將緩沖區(qū)中的數(shù)據(jù)包壓縮后寫入磁場上的數(shù)據(jù)包文件中；

概要信息存儲步驟：存儲所述檢索數(shù)據(jù)和所述檢索數(shù)據(jù)對應的數(shù)據(jù)塊在所述數(shù)據(jù)包文件中的存儲位置；

優(yōu)選地，還包括：

索引生成步驟：根據(jù)所述檢索數(shù)據(jù)和所述存儲位置，生成索引數(shù)據(jù)。

數(shù)據(jù)包檢索步驟：從指定的檢索數(shù)據(jù)對應的數(shù)據(jù)塊在所述數(shù)據(jù)包文件中的存儲位置，讀取數(shù)據(jù)塊。

優(yōu)選地，還包括：

過濾步驟：根據(jù)指定的檢索數(shù)據(jù)，從讀取到的數(shù)據(jù)塊中過濾得到數(shù)據(jù)包。

優(yōu)選地，所述概要信息存儲步驟包括如下步驟：

概要信息壓縮步驟：將所述檢索數(shù)據(jù)和所述存儲位置壓縮后寫入磁盤上的概要文件中。

優(yōu)選地，所述檢索數(shù)據(jù)獲取步驟包括：

批量檢索數(shù)據(jù)提取步驟：從緩沖區(qū)中緩沖到設定體積的批量數(shù)據(jù)包中獲取檢索數(shù)據(jù)。

根據(jù)本發(fā)明提供的一種數(shù)據(jù)包檢索系統(tǒng)，包括：

檢索數(shù)據(jù)獲取模塊：從緩沖區(qū)中的數(shù)據(jù)包中獲取檢索數(shù)據(jù)；

數(shù)據(jù)包壓縮模塊：將緩沖區(qū)中的數(shù)據(jù)包壓縮后寫入磁場上的數(shù)據(jù)包文件中；

概要信息存儲模塊：存儲所述檢索數(shù)據(jù)和所述檢索數(shù)據(jù)對應的數(shù)據(jù)塊在所述數(shù)據(jù)包文件中的存儲位置；