[發明專利]基于強化學習的大流檢測方法

有效

• 申請號: 201810594740.0
• 申請日: 2018-06-11
• 公開（公告）號: CN109039797B
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 王雄;潘志豪;任婧;徐世中;王晟
• 申請（專利權）人: 電子科技大學
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L12/24;G06N3/08
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 李朝虎

1.基于強化學習的大流檢測方法，其特征在于，包括以下步驟：

S1：對數據流進行檢測得到流檢測數據；

S2：采用歷史樣本緩沖池對檢測數據模型進行優化；

S3：采用優化后的檢測數據模型對流檢測數據進行大流判斷，并對大流進行再次檢測；

S4：將流檢測數據放入歷史樣本緩沖池，并再次依次執行S2、S3和S4直至檢測結束；

其中，步驟S3包括以下子步驟：

S31：檢測數據模型根據當前狀態對數據流進行評分；

S32：選取k個流進行檢測，得到新的流檢測數據和新的網絡狀態；

S33：根據新的流檢測數據和新的網絡狀態得到當前檢測的獎勵值；

步驟S32包括以下子步驟：

設置概率門限epsilon_threshold；

當隨機概率小于概率門限epsilon_threshold時，隨機選取k個流進行檢測；

當隨機概率大于概率門限epsilon_threshold時，對流的評分進行倒序排序，并選取得分最高的k個流進行檢測；

所述概率門限epsilon_threshold通過下式得到：

式中steps為檢測的次數；ε_s為概率門限epsilon_threshold的上限；ε_e為概率門限epsilon_threshold的下限；ε_delay為速率參數；

步驟S33包括以下子步驟：

將檢測到的網絡流量比例占所有網絡流量的比例作為獎勵值reward；

reward通過下式得到：

式中，action為當前應該檢測流的集合；last為上一次檢測到流的大小的集合；measure為當前檢測到流的大小的集合，n為網絡中總的流數目；

步驟S4包括以下子步驟：

放入歷史樣本緩沖池的流檢測數據包括：當前網絡的狀態state；根據當前網絡狀態state做出的決策aciton；做出決策后的轉移到的狀態next_state；檢測流的獎勵值reward；

步驟S2還包括以下子步驟：

根據當前網絡狀態state和做出決策后的轉移到的狀態next_state得到檢測值和模型值的誤差；

根據檢測值和模型值的誤差對模型進行優化。

2.根據權利要求1所述的基于強化學習的大流檢測方法，其特征在于，所述模型采用神經網絡模型。