[發(fā)明專利]一種以太網(wǎng)報文捕獲、過濾、存儲、實時解析方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011244358.0
• 申請日: 2020-11-10
• 公開（公告）號: CN112565338B
• 公開（公告）日: 2023-06-20
• 發(fā)明（設(shè)計）人: 張震;程章龍;陳祥;劉迪洋;張進;韓偉濤
• 申請（專利權(quán)）人: 中國人民解放軍戰(zhàn)略支援部隊信息工程大學(xué);網(wǎng)絡(luò)通信與安全紫金山實驗室
• 主分類號: H04L67/141
• 分類號: H04L67/141;H04L69/22
• 代理公司: 鄭州大通專利商標(biāo)代理有限公司 41111
• 代理人: 張立強

本發(fā)明提供一種以太網(wǎng)報文捕獲、過濾、存儲、實時解析方法及系統(tǒng)。該方法包括：確定需要捕獲報文的以太網(wǎng)接口，建立以太網(wǎng)連接；實時監(jiān)測用于設(shè)置過濾器的觸發(fā)信號，一旦監(jiān)測到觸發(fā)信號，則根據(jù)給定的過濾規(guī)則實時創(chuàng)建過濾器；采用零拷貝技術(shù)實時調(diào)整多線程無鎖隊列容量，捕獲以太網(wǎng)報文；將捕獲的以太網(wǎng)報文保存為pcap文件后存儲至磁盤，并根據(jù)捕獲以太網(wǎng)報文時的時間戳對pcap文件進行命名和標(biāo)號；根據(jù)時間戳和標(biāo)號選擇需要解析的以太網(wǎng)報文進行解析，將解析結(jié)果分類存儲至數(shù)據(jù)庫。通過采用設(shè)置過濾器信號觸發(fā)機制，實時監(jiān)測觸發(fā)信號，結(jié)合引入的libpcap過濾規(guī)則庫，可以實現(xiàn)過濾器的實時設(shè)置，同時大幅提高了過濾規(guī)則數(shù)目，進而大大提高了捕獲效率。

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)通信技術(shù)領(lǐng)域，尤其涉及一種以太網(wǎng)報文捕獲、過濾、存儲、實時解析方法及系統(tǒng)。

背景技術(shù)

近些年，隨著互聯(lián)網(wǎng)通信技術(shù)的不斷發(fā)展，通信應(yīng)用也得到了前所未有的普及，傳輸過程中產(chǎn)生的流量與日俱增。現(xiàn)階段以太網(wǎng)數(shù)據(jù)流量大多以數(shù)據(jù)包的形式傳輸，對日益劇增的海量以太網(wǎng)數(shù)據(jù)包能夠快速準(zhǔn)確地捕獲、過濾、存儲及解析提出了更高的要求。由于現(xiàn)有的數(shù)據(jù)包捕獲處理方法中，過濾器的大多設(shè)置方式是將規(guī)則寫入配置文件，每次捕獲報文時進行比對，不僅效率低，支持過濾器規(guī)則較少，且不支持實時設(shè)置的預(yù)置型過濾器。

發(fā)明內(nèi)容

針對現(xiàn)有方法存在的支持過濾器規(guī)則少、不支持實時設(shè)置過濾器的問題，本發(fā)明提供一種以太網(wǎng)報文捕獲、過濾、存儲、實時解析方法及系統(tǒng)。

本發(fā)明提供一種以太網(wǎng)報文捕獲、過濾、存儲、實時解析方法，該方法包括：

步驟1：確定需要捕獲報文的以太網(wǎng)接口，建立以太網(wǎng)連接；

步驟2：實時監(jiān)測用于設(shè)置過濾器的觸發(fā)信號，一旦監(jiān)測到所述觸發(fā)信號，則根據(jù)給定的過濾規(guī)則實時創(chuàng)建過濾器；

步驟3：采用零拷貝技術(shù)實時調(diào)整多線程無鎖隊列容量，捕獲以太網(wǎng)報文；

步驟4：將捕獲的以太網(wǎng)報文保存為pcap文件后存儲至磁盤，并根據(jù)捕獲以太網(wǎng)報文時的時間戳對所述pcap文件進行命名和標(biāo)號；

步驟5：根據(jù)時間戳和標(biāo)號選擇需要解析的以太網(wǎng)報文進行解析，將解析結(jié)果分類存儲至數(shù)據(jù)庫。

進一步地，步驟1中，采用自動搜索接口方式或者手動添加接口方式確定需要捕獲報文的以太網(wǎng)接口。

進一步地，步驟2包括：當(dāng)用戶實時輸入兼容libpcap規(guī)則庫的過濾規(guī)則時，立即生成觸發(fā)信號，進而根據(jù)輸入的過濾規(guī)則創(chuàng)建過濾器。

進一步地，步驟3中，所述采用零拷貝技術(shù)實時調(diào)整多線程無鎖隊列容量，包括：

在對隊列進行寫入操作和讀取操作完畢后，分別將對應(yīng)的標(biāo)志位立即置位；其中，在對隊列進行讀取操作完畢后，將其對應(yīng)的標(biāo)志位置位之前，根據(jù)以太網(wǎng)報文的流量速率大小動態(tài)調(diào)整寫入隊列容量。

進一步地，步驟4中還包括：對所述磁盤的磁盤容量進行實時監(jiān)控，當(dāng)所述磁盤容量達到預(yù)設(shè)限值時發(fā)出警報，并循環(huán)刪除所述磁盤中的存儲文件。

本發(fā)明提供一種以太網(wǎng)報文捕獲、過濾、存儲、實時解析系統(tǒng)，該系統(tǒng)包括：

連接模塊，用于確定需要捕獲報文的以太網(wǎng)接口，建立以太網(wǎng)連接；

過濾模塊，用于實時監(jiān)測用于設(shè)置過濾器的觸發(fā)信號，一旦監(jiān)測到所述觸發(fā)信號，則根據(jù)給定的過濾規(guī)則實時創(chuàng)建過濾器；

捕獲存儲模塊，用于采用零拷貝技術(shù)實時調(diào)整多線程無鎖隊列容量，捕獲以太網(wǎng)報文；以及將捕獲的以太網(wǎng)報文保存為pcap文件后存儲至磁盤，并根據(jù)捕獲以太網(wǎng)報文時的時間戳對所述pcap文件進行命名和標(biāo)號；

解析模塊，用于根據(jù)時間戳和標(biāo)號選擇需要解析的以太網(wǎng)報文進行解析，將解析結(jié)果分類存儲至數(shù)據(jù)庫。