[發明專利]一種面向多層Sketch網絡測量的緩存分配方法

有效

• 申請號: 201911355884.1
• 申請日: 2019-12-25
• 公開（公告）號: CN111159063B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 齊恒;趙柯妍;李克秋;王軍曉
• 申請（專利權）人: 大連理工大學
• 主分類號: G06F12/0871
• 分類號: G06F12/0871;G06N20/00;H04L43/08
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 梅洪玉;劉秋彤

一種面向多層Sketch網絡測量的緩存分配方法，屬于計算機網絡技術和強化學習的交叉領域。首先通過數據采集模塊獲取相應的訓練數據；然后通過基于A3C的強化學習算法和相關訓練數據集來訓練并得到相應的模型；接著使用訓練好的模型來決策各層Sketch的緩存大小，使基于多層Sketch的網絡測量方法幾乎能夠達到最優準確度；最后使用Sketch緩存分配模塊決定的Sketch緩存分配方案進行相應的網絡測量，得到更準確的測量結果。本發明優勢在于不需要依靠經驗人為設置各層Sketch緩存的分配方案，可以通過強化學習的Sketch緩存分配方法決策各層Sketch的緩存大小，使網絡測量方法幾乎能夠達到最優準確度。

技術領域

本發明屬于計算機網絡和強化學習的交叉領域，更具體地說，涉及一種面向多層Sketch網絡測量的緩存分配方法。

背景技術

如今，互聯網已經成為人們日常生活中不可或缺的一部分，互聯網流量增長速度飛快，截至2018年，每年全球的互聯網流量已達到了1.6ZB。隨著網絡流量的飛速增長，對網絡進行有效管理變得愈發困難，其根本原因是我們無法全面的了解網絡行為。因此，網絡測量作為監控、認知和掌握網絡行為的重要方式，引起了研究人員的廣泛關注，使得網絡測量成為近幾年的研究熱點。

目前，基于Sketch的數據流統計算法被廣泛應用于網絡測量，如流大小估算，大象流檢測和流數量估算等。雖然研究人員已經在Sketch方法方面做出了重大貢獻，但是現有方法大多是基于多層的Sketch來進行網絡測量的，而各層Sketch緩存該如何分配目前沒有好的解決方法，基本都是靠經驗來人為設定的。

在實際的網絡測量中，對于基于多層Sketch的網絡測量方法，如果各層Sketch的緩存大小分配不同，那么網絡測量結果的準確度也會隨之變化。所以當依靠經驗人為設置的各層Sketch的緩存分配方案不適合當前網絡測量方法時，網絡測量的結果會變得不準確。進而可能導致網絡運營商不能做出正確的決策，難以保證網絡的正常運行。

因此如何確定各層Sketch的緩存分配，使基于多層Sketch的網絡測量方法在總緩存相同的情況下提高準確度，是十分重要的。

綜上，現有基于多層Sketch的網絡測量方法仍有改善的空間，為此，本發明在基于多層Sketch的網絡測量方法基礎上進行了創新，設計一種面向多層Sketch網絡測量的緩存分配方法，可以在總緩存相同的情況下提高網絡測量的準確度，使準確度幾乎能達到該網絡測量方法的最優值。

發明內容

為了克服上述不足，本發明提出了一種面向多層Sketch網絡測量的緩存分配方法，目的是在總緩存相同的情況下提高網絡測量的準確度，使準確度幾乎能達到該網絡測量方法的最優值。為此，首先我們借鑒了Actor-Critic算法的思想，設計了基于A3C算法的強化學習算法。然后，通過該基于A3C的強化學習算法和相關數據集來訓練得到相應的模型。該模型可以為基于多層Sketch的網絡測量方法調整各層Sketch的緩存分配，實現在總緩存相同的情況下提高網絡測量的準確度，使準確度幾乎能達到該網絡測量方法的最優值。圖1顯示的是本發明的整體流程圖。

為了達到上述目的，本發明的技術方案如下：

一種面向多層Sketch網絡測量的緩存分配方法，步驟如下：

步驟一、數據采集：采集基于多層Sketch的網絡測量方法中的數據作為訓練數據集，需要采集的數據包括各層Sketch的緩存分配以及對應的準確度；

步驟二、基于A3C算法構建強化學習模型：利用A3C算法中的強化學習算法以及步驟一中采集的數據集來訓練，得到強化學習模型；具體過程為：

(1)演員網絡和評價者網絡的輸入狀態s_t為數據采集模塊記錄的各層Sketch的緩存大??；

(2)演員網絡和評價者網絡具有相同的結構，都經過卷積網絡、全連接層和softmax，但輸出不同，其中：