[發明專利]網絡流量數據的篩選方法及裝置、計算機可讀存儲介質

在審

• 申請號: 202110206701.0
• 申請日: 2021-02-24
• 公開（公告）號: CN112948460A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 韋云川;黃俞榮;潘文彬
• 申請（專利權）人: 山石網科通信技術股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/2455;G06F16/23
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 周春枚

本發明公開了一種網絡流量數據的篩選方法及裝置、計算機可讀存儲介質。其中，該篩選方法包括：通過確定每個流量維度的統計參考數量和待統計的網絡流量字段，之后讀取預設時間段內與每個網絡流量字段對應的所有流量數據，最后基于統計參考數量，采用預設統計算法篩選每個網絡流量字段對應的所有流量數據，以得到滿足統計參考數量的所有網絡流量字段的流量數據。本發明解決了相關技術中僅能實現單一維度的網絡流量統計，難以統計分析多維度流量數據的技術問題。

技術領域

本發明涉及數據處理技術領域，具體而言，涉及一種網絡流量數據的篩選方法及裝置、計算機可讀存儲介質。

背景技術

隨著企業級網絡設備流量日趨復雜，尋找一種在多維度上分析網絡主要流量顯得尤為重要。當前，網絡設備流量有源、目的、應用等任意組合產生的流量，可以通過統計多維度流量數據，分析網絡流量的關系。例如，已記錄最近一月的監控數據，需要統計某個IP在最近一月內訪問的目的IP排名、應用排名及趨勢。因此，可以考慮采用多維度流量統計數據以滿足此類靈活多變的統計需求，但是采用多維度流量統計數據，計算量很大，例如，規定每5分鐘統計一次，并記錄3種維度：源IP1萬個，目的IP10萬個，應用1000個，那么每5分鐘最多就要記錄1萬*10萬*1000＝1萬億條，如果直接全部記錄，數據量太大，超過一般網絡設備硬件的承載能力。

相關技術中，分析網絡流量的方式為：按照單一維度記錄，每個維度獨立統計，不做關聯，這樣無法得到完整的全維度信息，例如，需要查看最近一月內源IP【192.168.0.1】，應用為【FTP】，訪問了哪些目的IP，并且查看每個目的IP訪問的流量趨勢，使用以上方法無法滿足需求。如果自定義統計規則，例如，自定義規則為：源IP【192.168.0.1】，應用為【FTP】，統計【目的IP排名及趨勢】，那么，只有在流量經過時，篩選數據符合過濾條件的才進行記錄，這樣就能得到指定條件下的排名或者趨勢數據，但需要預設條件，無法滿足隨時變化查詢條件的需求。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種網絡流量數據的篩選方法及裝置、計算機可讀存儲介質，以至少解決相關技術中僅能實現單一維度的網絡流量統計，難以統計分析多維度流量數據的技術問題。

根據本發明實施例的一個方面，提供了一種網絡流量數據的篩選方法，包括：確定每個流量維度的統計參考數量和待統計的網絡流量字段；讀取預設時間段內與每個所述網絡流量字段對應的所有流量數據；基于所述統計參考數量，采用預設統計算法篩選每個所述網絡流量字段對應的所有流量數據，以得到滿足所述統計參考數量的所有網絡流量字段的流量數據。

可選地，確定每個流量維度的統計參考數量和待統計的網絡流量字段的步驟，包括：獲取當前統計設備的硬件參數和流量數據的篩選精度參數；基于所述硬件參數和所述篩選精度參數，確定每個所述流量維度的統計參考數量。

可選地，所述待統計的網絡流量字段包括下述至少之一：源IP、目的IP、應用、流量字節數和時間戳。

可選地，讀取預設時間段內與每個所述網絡流量字段對應的所有流量數據的步驟，包括：在當前統計設備的設備內存中建立多個臨時緩存區；讀取所述預設時間段內的所有流量會話數據；基于所述待統計的網絡流量字段，篩選所述所有流量會話數據，得到第一篩選結果；將所述第一篩選結果與所述臨時緩存區中的歷史流量數據進行匹配，得到匹配結果；若所述匹配結果指示流量會話數據中滿足所述網絡流量字段的流量數據與所述歷史流量數據都不相同，則向所述臨時緩存區插入所述流量會話數據；若所述匹配結果指示流量會話數據中滿足所述網絡流量字段的流量數據與所述歷史流量數據存在相同會話數據，則將所述臨時緩存區中存儲的歷史流量數據中的流量字節數進行更新處理。

可選地，采用預設統計算法篩選每個所述網絡流量字段對應的所有流量數據，以得到滿足所述統計參考數量的所有網絡流量字段的流量數據的步驟，包括：按照預設排序算法對所有流量數據進行排序；對排序位置在預設參考位置之后的流量數據刪除。