[發明專利]用于低內存和低流量開銷大流量對象檢測的系統和方法

有效

• 申請號: 201680090667.2
• 申請日: 2016-12-06
• 公開（公告）號: CN109952743B
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 西蒙·喬瓦達斯;洛倫佐·馬吉;杰瑞米·萊瓜伊;莫伊茲·杜艾夫;斯特凡諾·帕里斯
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/06
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;李稷芳

本發明涉及一種用于識別通信網絡中多條數據包流中的多條大流量對象(heavy?hitter，簡稱HH)流的標識和大小的系統和方法。在每臺路由設備處，根據可調整的過濾規則在可調整的基于略圖的表格入口處過濾所述數據包流，提供基于略圖的計數器用于檢測所述已過濾數據包流中的候選HH流，所述候選HH流是具有誤報的實際HH流。在組合中，在每臺路由設備處提供轉發面計數器，用于根據可調整的轉發面監控規則從數據包流集合中采集轉發面計數器。控制器以迭代的方式調整相應的監控規則，并基于所述候選HH流和所述轉發面計數器對每條HH流進行識別估計，直至獲得最終估計。

技術領域

本發明涉及一種用于監控通信網絡中的最大數據包流的系統和方法，尤其涉及一種用于檢測和識別大流量對象流的系統和方法。

背景技術

網絡監控在網絡管理中起著至關重要的作用。它提供了有關通常用于流量計費、流量工程、負載均衡或異常檢測的網絡流量的一些信息。

如圖1所示，傳統的網絡監控系統100可以包括探測器和采集器，所述探測器在本地采集統計數據并且單獨嵌入到諸如路由器等相應網絡設備中，所述采集器聚合由不同探測器報告的所有信息并分析或計算從所述網絡管理系統的不同探測器本地采集的統計數據。

所述網絡監控系統的目標之一是檢測并跟蹤最大數據流的集合，在文獻中通常稱為大流量對象(heavy-hitter，簡稱HH)。例如，該組數據流可以定義為第一大流或具有吞吐量大于預定閾值的流。識別這些數據流有助于了解消耗大部分資源的用戶(例如，應用程序或終端用戶)并決定是否應對自身應用特殊處理，例如使用負載均衡器或使用專用路由。

在最簡單的實現方式中，檢測所述最大流量需要監控每條流量，然后過濾最大流量。然而，由于流量呈爆炸式增長且監控資源有限(例如，設備內存以及所述探測器與所述采集器之間的數據面容量)，單獨監控每條流量具有挑戰性，效率低下甚至不可行。其中一種不切實際的解決方案包括使用為每條流量設置計數器并報告最大條目的表格。遺憾的是，所述網絡設備的訪問存儲器速度不足以維持這種數據結構。另一種不切實際的解決方案是將整個流量復制到所述采集器。然而，由于所述路由器與所述采集器之間的數據面的容量限制，在大多數情況下無法導出該流量。

因此，必須在網絡設備上應用低復雜度、低內存流采樣技術，以便克服這種資源限制。

最常用的流量監控技術是數據包采樣。數據包采樣規定將P個原始數據包中的一個報告給所述采集器，然后由所述采集器計算流量統計數據。該技術會在所述探測器與所述采集器之間產生大量信令流量，所述信令流量按監控時間窗期間流動的數據包數量排序。此外，這種采樣技術相對于基于略圖的方法精度較低。實際上，它具有相同的精度(用ε表示)，所采用的基于略圖的算法單獨使用比任何其它數據包采樣技術(O(1/ε²)的空間)更少的內存(O(1/ε)的空間)，例如，可參見：Graham Cormode，“用于近似查詢處理的略圖技術”，近似查詢處理概要：樣本、直方圖、小波和略圖，數據庫基礎和趨勢，NOW出版社，2011年。