[發(fā)明專利]一種網絡流量數據填充方法、裝置、設備及存儲介質

有效

• 申請?zhí)枺?/td>: 201911145150.0
• 申請日: 2019-11-21
• 公開（公告）號: CN110941793B
• 公開（公告）日: 2023-10-27
• 發(fā)明（設計）人: 李思齊;謝鯤;歐陽與點;文吉剛
• 申請（專利權）人: 湖南大學
• 主分類號: G06F17/16
• 分類號: G06F17/16
• 代理公司: 長沙正奇專利事務所有限責任公司 43113
• 代理人: 馬強;曾利平

本發(fā)明公開了一種網絡流量數據填充方法、裝置、設備及存儲介質，將網絡流量數據建模成三維原始張量，深入挖掘網絡流量數據之間的周期性特征，反映了網絡流量數據的多維特性；將Expectile回歸與CP分解結合來構造損失函數，通過對設定權重w的選擇可以有針對性的進行數據的精準恢復，實現(xiàn)對大象流數據的精準恢復；同時，Expectile回歸既能描述數據的中心特性，又能描述數據的尾部特性，反映了數據的全貌特征，解決了傳統(tǒng)方法無法描述數據各部分局部特性的問題；該方法根據非負矩陣分解算法與Expectile回歸對因子矩陣進行更新，在更新過程中，既不需要像ALS算法計算矩陣的逆矩陣，又無需像SGD算法反復權衡一個合適的學習步長，極大地降低了計算的復雜度。

技術領域

本發(fā)明屬于計算機技術和網絡技術領域，尤其涉及一種網絡流量數據填充方法、裝置、設備及存儲介質。

背景技術

流量矩陣通常用來記錄源節(jié)點與目標節(jié)點之間的流量數據，被應用于諸如負載均衡、異常檢測和協(xié)議設計等網絡工程場景中。但是對于一個擁有復雜結構的網絡而言，通過獲取源節(jié)點與目標節(jié)點之間的網絡流量數據來構建流量矩陣不是一件容易的事情。一方面，流量數據需要在節(jié)點部署物理設備并進行測量獲得，復雜的網絡結構會產生眾多網絡節(jié)點，在各個節(jié)點均部署物理設備，顯然是不太現(xiàn)實的。Q.Zhao等在“Robust trafficmatrix estimation with imperfect information:Making use of multiple datasources”,in ACM SIGMETRICS Perform.Eval.Rev.,vol.34,no.1,pp.133–144,2006中明確指出了該現(xiàn)狀，并提出采用多種數據源來對流量矩陣進行估計。另一方面，如果網絡發(fā)生擁塞或者物理設備失效，接收端接收到的數據將會是不完整的。

流量數據填充算法就是用來解決這一問題，這類算法的關鍵就在于利用網絡中的部分流量數據來對整個網絡中的流量數據進行恢復，例如：申請?zhí)枮镃N201810543422.1，名稱為一種基于時空約束的交通數據張量填充方法的專利文獻。在早期這種對于缺失數據的恢復方法僅是從空間(可參見A.Lakhina et al.提出的“Structural analysis ofnetwork traffic flows,”in ACMSIGMETRICS Perform.Eval.Rev.,vol.32,no.1,pp.61–72,2004.)或時間(Y.Vardi等提出的“Network tomography:Estimating source-destination traffic intensities from link data,”in J.Amer.Statist.Assoc.,vol.91,no.433,pp.365–377,1996.)這樣一個維度上進行的，利用這類填充方法所得到的填充結果其準確率通常不高，尤其是在采樣率很低的情況下，這類填充方法并不占有優(yōu)勢?；诰仃嚨奶畛渌惴ǎ瑫r利用流量數據的時間和空間特性，將其構建成二維矩陣再進行數據填充，它是對上面一維填充算法的改進，它的填充結果在一定程度上優(yōu)于一維填充算法所得到的結果，但是在采樣率很低的情況下，這種二維的填充算法依舊不具備明顯優(yōu)勢?；诰仃嚨奶畛渌惴蓞⒖糓.Roughan等提出的“Spatio-temporal compressive sensingand Internet traffic matrices(extended version),”IEEE/ACM Trans.Netw.,vol.20,no.3,pp.662–676,Jun.2012，以及M.Mardani等提出的“Robust network trafficestimation via sparsity and low rank,”in Proc.IEEE ICASSP,May 2013,pp.4529–4533。