[發明專利]一種面向多層Sketch網絡測量的緩存分配方法

有效

• 申請號: 201911355884.1
• 申請日: 2019-12-25
• 公開（公告）號: CN111159063B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 齊恒;趙柯妍;李克秋;王軍曉
• 申請（專利權）人: 大連理工大學
• 主分類號: G06F12/0871
• 分類號: G06F12/0871;G06N20/00;H04L43/08
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 梅洪玉;劉秋彤

1.一種面向多層Sketch網絡測量的緩存分配方法，其特征在于，步驟如下：

步驟一、數據采集：采集基于多層Sketch的網絡測量方法中的數據作為訓練數據集，需要采集的數據包括各層Sketch的緩存分配以及對應的準確度；

步驟二、基于A3C算法構建強化學習模型：利用A3C算法中的強化學習算法以及步驟一中采集的數據集來訓練，得到強化學習模型；具體過程為：

(1)演員網絡和評價者網絡的輸入狀態s_t為數據采集模塊記錄的各層Sketch的緩存大小；

(2)演員網絡和評價者網絡具有相同的結構，都經過卷積網絡、全連接層和softmax，但輸出不同，其中：

1)演員網絡：輸出向量π_θ(s_t，a_t)為動作a_t的概率分布，和為1，其中a_t為各層Sketch緩存大小調整的動作；不斷優化策略，使得其表現的越來越好；

2)評價者網絡：嘗試估計值函數，即輸出v^πθ(s_t)，使其更加準確；

(3)構建強化學習模型過程中的目標是最大化所能得到的獎勵，獎勵設計為：

1)當前的準確度accuracy_n大于等于上一次測量的準確度accuracy_n-1時：

獎勵＝accuracy_n/accuracy_n-1；

2)當前的準確度accuracy_n小于上一次測量的準確度accuracy_n-1時：

獎勵＝-accuracy_n-1/accuracy_n；

步驟三、Sketch緩存分配：將當前各層Sketch的緩存大小以及對應的準確度作為輸入，使用步驟二中訓練好的強化學習模型來決策各層Sketch的緩存大小，使基于Sketch的網絡測量方法能夠達到最優準確度；

步驟四、網絡測量模塊：根據步驟三得到的各層Sketch的緩存大小，進行網絡測量并得到測量結果。