[發明專利]一種SSDDQN的網絡異常流量檢測方法

在審

• 申請號: 202110271456.1
• 申請日: 2021-03-12
• 公開（公告）號: CN113055384A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 董仕;夏元俊
• 申請（專利權）人: 周口師范學院
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L12/24;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安銘澤知識產權代理事務所(普通合伙) 61223
• 代理人: 耿路

本發明公開了一種基于深度強化學習Double Deep Q?Network的半監督式Double Deep Q?Network(semi?supervised Double Deep Q?Network，SSDDQN)的網絡異常流量檢測方法，涉及計算機網絡安全技術領域。方法包括：獲取計算機網絡流量數據的訓練樣本，建立神經網絡，采用SSDDQN的方式利用訓練樣本對神經網絡進行訓練，對神經網絡的參數進行更新，最后利用訓練好的神經網絡對網絡流量數據進行異常檢測。本發明SSDDQN的方式，不但可以降低人工標注成本，提高學習性能，而且神經網絡更簡單、快速，更易部署在苛刻的網絡環境當中，同時也提升了未知攻擊的檢測準確率。

技術領域

本發明涉及計算機網絡安全技術領域，特別是涉及一種半監督式Double Deep Q-Network(semi-supervised Double Deep Q-Network，SSDDQN)的網絡異常流量檢測方法。

背景技術

如今，互聯網中存在大量的網絡故障、濫用、攻擊等導致惡意后果的異常行為，這些行為往往會體現在網絡流量中，其中像蠕蟲，端口查看，拒絕服務攻擊和分布式拒絕服務攻擊等異常情況尤為常見。這些異常往往會浪費網絡資源，導致網絡設備和終端主機的性能下降，甚至涉及到大量網絡用戶的安全問題。

目前網絡流量入侵檢測大多數以誤用檢測或者是基于機器學習算法為主：誤用檢測是根據已知攻擊行為為主要特征，將異常行為與正常情況下的行為根據已知特征加以區分來實現入侵行為的檢測，但對未知的攻擊類型檢測效果極差且誤報率極高，而特征的維護多采用人工方式完成；傳統的機器學習檢測算法依靠于手工提取流量特征，并進行標注，人為干預比較嚴重，分類效果很大程度上取決于手工提取特征的優劣。上述二者都依賴于人工，人工代價極大。

深度學習作為機器學習的一個高級分支，能過處理復雜數據，且只需要通過訓練就能自動學習數據特征，但是因其復雜的網絡，無法快速訓練預測，因此無法部署在實時響應的苛刻環境當中。

發明內容

本發明提供的一種SSDDQN的網絡異常流量檢測方法，可以解決現有技術中存在的問題。

本發明提供了一種SSDDQN的網絡異常流量檢測方法，包括以下步驟：

步驟1，從計算機網絡流量數據中獲取樣本數據，所述樣本數據包括訓練樣本；

步驟2，建立神經網絡，將訓練樣本中當前流量數據中的流量特征s_t和所有流量特征的標簽A輸入神經網絡，根據每個標簽預測當前流量特征下的所有Q函數值，通過貪心策略算法求取最大Q函數值，通過該最大Q函數值求取當前流量特征下的預測流量標簽a'_t；

步驟3，將預測流量標簽a'_t與訓練樣本中的真實標簽a^*_t進行對比，如果一致，獲得獎勵r_t，獎勵值為1；如果不一致，獎勵r_t的值為0；

步驟4，接收訓練樣本中下一階段的流量特征s_t+1，通過無監督學習算法預測其對應標簽A’，通過目標網絡計算所有Q函數值，并求取最大的Q函數值，根據Q函數值和經驗回放集合中的獎勵r_t計算目標Q函數值；

步驟5，通過當前流量特征s_t和預測流量標簽a'_t計算當前神經網絡訓練時的當前Q函數值，通過當前Q函數值與目標Q函數值求得損失函數，通過反向傳播算法更新當前神經網絡的參數，并將網絡參數定期復制給目標網絡，得到訓練好的神經網絡；

步驟6，對于待檢測的流量數據，將其輸入到訓練好的神經網絡中進行異常流量檢測。