[發明專利]基于群智網絡測量數據的高延遲異常檢測方法及系統

有效

• 申請號: 201811354840.2
• 申請日: 2018-11-14
• 公開（公告）號: CN109587000B
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 李揚;孫嘉辰;黃聞光;田曉華;王新兵
• 申請（專利權）人: 上海交通大學
• 主分類號: H04L12/26
• 分類號: H04L12/26
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 莊文莉

本發明提供了一種基于群智網絡測量數據的高延遲異常檢測方法及系統，包括：對原始數據集進行特征工程，去除異常值與缺失值，并將原始數據統一進行數值化與離散化；將包含相同特征的原始數據聚類為一個實例，計算對應權重并打上標簽，作為輸入決策樹模型的基本單位；將預處理后的原始數據集隨機采樣生成多個子數據集，并對每個子數據集進行CART決策樹建模得到子樹；基于每個子樹的拓撲信息與節點信息進行高延遲異常規則挖掘；基于樹節點的樣本子空間的網絡延遲狀況，對每條規則進行標定及置信度評分；將所有子樹的規則挖掘結果進行合并，生成最終的網絡高延遲異常檢測結果。本發明提高了算法泛化性和魯棒性，從而有效檢測出高延遲網絡異常。

技術領域

本發明涉及通信技術領域，具體地，涉及基于群智網絡測量數據的高延遲異常檢測方法及系統。

背景技術

如今，由于移動互聯網的廣泛覆蓋，Over The Top(OTT)服務發展迅速。在OTT中，用戶可以通過傳統的網絡操作系統提供各種各樣的服務，比如視頻流和文本傳輸。與傳統的通信服務不同，OTT只利用運營商的網絡，而服務是由互聯網公司提供的。例如，在從網絡運營商租借的寬帶網絡服務的幫助下，Skype可以以較低的成本提供全球范圍的IP(VOIP)服務。為了使OTT服務在全球范圍內可用，底層網絡的覆蓋率必須足夠大，才能覆蓋盡可能多的用戶。因此，許多網絡服務提供者(ISP)的集成網絡被作為每個OTT服務的主干網絡。不幸的是，主干網絡的不穩定性，例如頻繁的網絡故障異常，對服務質量(QoS)造成了嚴重的負面影響，導致了OTT公司的巨大損失。

OTT服務質量下降背后的根本原因是傳統網絡體系結構下缺乏有效的管理和維護機制。隨著網絡規模的擴大，如即將到來的物聯網(IOT)時代，網絡的復雜性也將急劇增加。然而，傳統的網絡管理和維護方法在支持可持續運行方面成本很高。圖1演示了網絡管理和維護的控制循環，整個過程被分為三個階段：監測、決策和執行。本發明重點研究如何提高監測階段的性能，該階段負責測量網絡性能和檢測網絡異常。

傳統的網絡測量方法可以分為兩類：(1)主動測量，通過發送數據包探針到目標網絡位置，從而測量網絡性能參數，如RTT和包損率；(2)被動測量，通過在網絡鏈路或節點上部署特定的設備來抓取流量信息。但是這兩種方法的成本太高，無法大規模應用。一方面，主動測量不能同時獲得所有網絡鏈路的信息，結果的優劣在很大程度上取決于網絡鏈路的選擇。另一方面，被動測量不能獲得端到端(E2E)的網絡性能，并且需要定制設備的支持。

由于傳統的網絡測量方法不能滿足OTT的要求，一些工作采用了從大量用戶收集網絡測量數據的群智策略。例如Mopeye，cniCloud可以提供基于端到端的群智大規模網絡性能數據，再利用傳統的數學統計方法對群智數據進行分析。然而，對于這種包含大量噪聲的大規模群智數據，傳統的數學統計方法缺乏魯棒性，并且難以發現數據間的關聯性。為了解決這個問題，目前迫切需要開發一種基于群智網絡測量數據的網絡異常分析的有效新方法。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種基于群智網絡測量數據的高延遲異常檢測方法及系統。

根據本發明提供的一種基于群智網絡測量數據的高延遲異常檢測方法，包括：

數據預處理步驟，包括：

步驟11：對原始數據集進行特征工程，去除異常值與缺失值，并將原始數據統一進行數值化與離散化；

步驟12：將包含相同特征的原始數據聚類為一個實例，計算對應權重并打上標簽，作為輸入決策樹模型的基本單位；

異常挖掘步驟，包括：

步驟21：將預處理后的原始數據集隨機采樣生成多個子數據集，并對每個子數據集進行CART(Classification And Regression Tree)決策樹建模得到子樹；

步驟22：基于每個子樹的拓撲信息與節點信息進行高延遲異常規則挖掘；