[發(fā)明專利]用于網(wǎng)絡(luò)鏡像流量的數(shù)據(jù)質(zhì)量檢測方法、系統(tǒng)及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011342778.2
• 申請日: 2020-11-26
• 公開（公告）號: CN112468365A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計(jì)）人: 郭楊;鄭宇宏;鄭思文;李春利
• 申請（專利權(quán)）人: 上海閱維科技股份有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L12/24;H04L29/06
• 代理公司: 上海驍象知識(shí)產(chǎn)權(quán)代理有限公司 31315
• 代理人: 趙峰

本發(fā)明提供一種用于網(wǎng)絡(luò)鏡像流量的數(shù)據(jù)質(zhì)量檢測方法、系統(tǒng)及介質(zhì)；所述方法包括以下步驟：獲取網(wǎng)絡(luò)數(shù)據(jù)包；對網(wǎng)絡(luò)數(shù)據(jù)包進(jìn)行過濾，以獲取過濾后的目標(biāo)數(shù)據(jù)包；將目標(biāo)數(shù)據(jù)包分發(fā)至并行的多個(gè)工作流中；對每一工作流中的目標(biāo)數(shù)據(jù)包進(jìn)行協(xié)議識(shí)別；對工作流中的目標(biāo)數(shù)據(jù)包執(zhí)行解析操作；查找或創(chuàng)建數(shù)據(jù)流，并以數(shù)據(jù)流為單位對目標(biāo)數(shù)據(jù)包進(jìn)行統(tǒng)計(jì)分析和質(zhì)量分析；將對應(yīng)目標(biāo)數(shù)據(jù)包的數(shù)據(jù)流添加到流超時(shí)鏈表中進(jìn)行管理；在流超時(shí)后，生成對應(yīng)統(tǒng)計(jì)分析和質(zhì)量分析的分析結(jié)果并輸出；本發(fā)明能夠解決大流量下數(shù)據(jù)包質(zhì)量分析的痛點(diǎn)，其輸出結(jié)果能夠給網(wǎng)絡(luò)運(yùn)維人員或開發(fā)人員提供指導(dǎo)性建議，協(xié)助其解決網(wǎng)絡(luò)數(shù)據(jù)異常的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及物理領(lǐng)域，尤其涉及網(wǎng)絡(luò)通信中數(shù)據(jù)質(zhì)量檢測技術(shù)，特別是一種用于網(wǎng)絡(luò)鏡像流量的數(shù)據(jù)質(zhì)量檢測方法、系統(tǒng)及介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)中的數(shù)據(jù)流量成倍增長，特別是數(shù)據(jù)中心的流量，即使在分光后，流量速率也至少在Gbps級別，如何檢測高速網(wǎng)絡(luò)數(shù)據(jù)的完整性成為當(dāng)前行業(yè)中的難題。

目前最常用的網(wǎng)絡(luò)數(shù)據(jù)分析方式是采用Tcpdump+Wireshark的模式，然而Tcpdump無法實(shí)時(shí)保存高速的網(wǎng)絡(luò)數(shù)據(jù)包，并且巨大的網(wǎng)絡(luò)流量對磁盤空間也是一種挑戰(zhàn)，即使保存下來，Wireshark也很難一次性加載那么大的文件到內(nèi)存中，特別是當(dāng)網(wǎng)絡(luò)中一個(gè)TCP流的數(shù)據(jù)達(dá)到GB級別的時(shí)候，這種分析方式帶來的困難和誤差會(huì)急劇加大。

發(fā)明內(nèi)容

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種用于網(wǎng)絡(luò)鏡像流量的數(shù)據(jù)質(zhì)量檢測方法、系統(tǒng)及介質(zhì)，用于解決現(xiàn)有網(wǎng)絡(luò)數(shù)據(jù)分析方式存在誤差大、難度高的問題。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種用于網(wǎng)絡(luò)鏡像流量的數(shù)據(jù)質(zhì)量檢測方法，包括以下步驟：獲取網(wǎng)絡(luò)數(shù)據(jù)包；根據(jù)預(yù)設(shè)過濾規(guī)則對所述網(wǎng)絡(luò)數(shù)據(jù)包進(jìn)行過濾，以獲取過濾后的目標(biāo)數(shù)據(jù)包；將所述目標(biāo)數(shù)據(jù)包分發(fā)至并行的多個(gè)工作流中；對每一所述工作流中的目標(biāo)數(shù)據(jù)包進(jìn)行協(xié)議識(shí)別，確定所述工作流中的目標(biāo)數(shù)據(jù)包的協(xié)議類型；按照所述協(xié)議類型對所述工作流中的目標(biāo)數(shù)據(jù)包執(zhí)行解析操作，以提取協(xié)議關(guān)鍵信息；根據(jù)所述協(xié)議關(guān)鍵信息查找或創(chuàng)建數(shù)據(jù)流，并以所述數(shù)據(jù)流為單位對所述目標(biāo)數(shù)據(jù)包進(jìn)行統(tǒng)計(jì)分析和質(zhì)量分析；將對應(yīng)所述目標(biāo)數(shù)據(jù)包的數(shù)據(jù)流添加到流超時(shí)鏈表中進(jìn)行管理；在流超時(shí)后，生成對應(yīng)所述統(tǒng)計(jì)分析和所述質(zhì)量分析的分析結(jié)果并輸出。

于本發(fā)明的一實(shí)施例中，獲取網(wǎng)絡(luò)數(shù)據(jù)包包括以下步驟：初始化數(shù)據(jù)采集引擎；所述數(shù)據(jù)采集引擎包括：網(wǎng)絡(luò)流采集引擎和離線PCAP包采集引擎；根據(jù)配置項(xiàng)切換使用所述網(wǎng)絡(luò)流采集引擎或所述離線PCAP包采集引擎進(jìn)行所述網(wǎng)絡(luò)數(shù)據(jù)包的采集，以實(shí)現(xiàn)獲取所述網(wǎng)絡(luò)數(shù)據(jù)包。

于本發(fā)明的一實(shí)施例中，所述預(yù)設(shè)過濾規(guī)則采用ACL規(guī)則；根據(jù)預(yù)設(shè)過濾規(guī)則對所述網(wǎng)絡(luò)數(shù)據(jù)包進(jìn)行過濾，以獲取過濾后的目標(biāo)數(shù)據(jù)包包括以下步驟：根據(jù)所述ACL規(guī)則對所述網(wǎng)絡(luò)數(shù)據(jù)包進(jìn)行過濾；若所述網(wǎng)絡(luò)數(shù)據(jù)包不滿足所述ACL規(guī)則，則將所述網(wǎng)絡(luò)數(shù)據(jù)包丟棄，并重新獲取一網(wǎng)絡(luò)數(shù)據(jù)包，直至獲取的網(wǎng)絡(luò)數(shù)據(jù)包滿足所述ACL規(guī)則，將滿足所述ACL規(guī)則的網(wǎng)絡(luò)數(shù)據(jù)包作為所述目標(biāo)數(shù)據(jù)包。

于本發(fā)明的一實(shí)施例中，將所述目標(biāo)數(shù)據(jù)包分發(fā)至并行的多個(gè)工作流中包括以下步驟：判斷所述目標(biāo)數(shù)據(jù)包是否包裹在隧道協(xié)議中；若所述目標(biāo)數(shù)據(jù)包包裹在所述隧道協(xié)議中，則先剝離所述目標(biāo)數(shù)據(jù)包外層的所述隧道協(xié)議，然后執(zhí)行數(shù)據(jù)包分發(fā)步驟；若所述目標(biāo)數(shù)據(jù)包沒有包裹在所述隧道協(xié)議中，則直接執(zhí)行所述數(shù)據(jù)包分發(fā)步驟；其中，所述數(shù)據(jù)包分發(fā)步驟包括以下步驟：提取所述目標(biāo)數(shù)據(jù)包的IP地址和/或五元組，并以所述IP地址和/或所述五元組為關(guān)鍵字，計(jì)算出對應(yīng)所述目標(biāo)數(shù)據(jù)包的哈希值；將所述哈希值對所述并行的多個(gè)工作流的個(gè)數(shù)進(jìn)行取余處理，并將取余處理的結(jié)果作為要分發(fā)的工作流的索引，以實(shí)現(xiàn)將不同的所述目標(biāo)數(shù)據(jù)包分發(fā)到不同的工作流。