[發(fā)明專利]一種SSDDQN的網(wǎng)絡(luò)異常流量檢測方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110271456.1
• 申請(qǐng)日: 2021-03-12
• 公開（公告）號(hào): CN113055384A
• 公開（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 董仕;夏元俊
• 申請(qǐng)（專利權(quán)）人: 周口師范學(xué)院
• 主分類號(hào): H04L29/06
• 分類號(hào): H04L29/06;H04L12/24;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安銘澤知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61223
• 代理人: 耿路

1.一種SSDDQN的網(wǎng)絡(luò)異常流量檢測方法，其特征在于，包括以下步驟：

步驟1，從計(jì)算機(jī)網(wǎng)絡(luò)流量數(shù)據(jù)中獲取樣本數(shù)據(jù)，所述樣本數(shù)據(jù)包括訓(xùn)練樣本；

步驟2，建立神經(jīng)網(wǎng)絡(luò)，將訓(xùn)練樣本中當(dāng)前流量數(shù)據(jù)中的流量特征s_t和所有流量特征的標(biāo)簽A輸入神經(jīng)網(wǎng)絡(luò)，根據(jù)每個(gè)標(biāo)簽預(yù)測當(dāng)前流量特征下的所有Q函數(shù)值，通過貪心策略算法求取最大Q函數(shù)值，通過該最大Q函數(shù)值求取當(dāng)前流量特征下的預(yù)測流量標(biāo)簽a'_t；

步驟3，將預(yù)測流量標(biāo)簽a'_t與訓(xùn)練樣本中的真實(shí)標(biāo)簽a^*_t進(jìn)行對(duì)比，如果一致，獲得獎(jiǎng)勵(lì)r_t，獎(jiǎng)勵(lì)值為1；如果不一致，獎(jiǎng)勵(lì)r_t的值為0；

步驟4，接收訓(xùn)練樣本中下一階段的流量特征s_t+1，通過無監(jiān)督學(xué)習(xí)算法預(yù)測其對(duì)應(yīng)標(biāo)簽A’，通過目標(biāo)網(wǎng)絡(luò)計(jì)算所有Q函數(shù)值，并求取最大的Q函數(shù)值，根據(jù)Q函數(shù)值和經(jīng)驗(yàn)回放集合中的獎(jiǎng)勵(lì)r_t計(jì)算目標(biāo)Q函數(shù)值；

步驟5，通過當(dāng)前流量特征s_t和預(yù)測流量標(biāo)簽a'_t計(jì)算當(dāng)前神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)的當(dāng)前Q函數(shù)值，通過當(dāng)前Q函數(shù)值與目標(biāo)Q函數(shù)值求得損失函數(shù)，通過反向傳播算法更新當(dāng)前神經(jīng)網(wǎng)絡(luò)的參數(shù)，并將網(wǎng)絡(luò)參數(shù)定期復(fù)制給目標(biāo)網(wǎng)絡(luò)，得到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)；

步驟6，對(duì)于待檢測的流量數(shù)據(jù)，將其輸入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中進(jìn)行異常流量檢測。

2.如權(quán)利要求1所述的一種SSDDQN的網(wǎng)絡(luò)異常流量檢測方法，其特征在于，步驟3在得到s_t、r_t、a'_t、s_t+1后，將其放在經(jīng)驗(yàn)回放集合中，步驟4使用時(shí)從經(jīng)驗(yàn)回放集合中隨機(jī)取出。

3.如權(quán)利要求1所述的一種SSDDQN的網(wǎng)絡(luò)異常流量檢測方法，其特征在于，步驟2具體包括：

將訓(xùn)練樣本中當(dāng)前流量數(shù)據(jù)中的流量特征s_t和所有流量特征的標(biāo)簽A＝(a₀,a₁,…,a_t,…,a_n)輸入神經(jīng)網(wǎng)絡(luò)，計(jì)算所有Q函數(shù)值：

Q(s,a)＝E[R_t|s_t＝s,a_t＝a]

其中，E表示期望，為時(shí)間t時(shí)的回報(bào)，γ為衰減因子，避免連續(xù)性任務(wù)時(shí)R_t＝∞，T為時(shí)間步長，n為標(biāo)簽數(shù)量；

根據(jù)每個(gè)標(biāo)簽預(yù)測當(dāng)前流量特征下的所有Q函數(shù)值：

Q(s_t,a)＝[Q(s_t,a₀),Q(s_t,a₁),...,Q(s_t,a_t),...,Q(s_t,a_n)]

通過貪心策略算法求取最大Q函數(shù)值：

Policy(s_t)＝arg_amax(Q(s_t,a))

通過該最大Q函數(shù)值求取當(dāng)前流量特征下的預(yù)測流量標(biāo)簽a'_t。

4.如權(quán)利要求1所述的SSDDQN的網(wǎng)絡(luò)異常流量檢測方法，其特征在于，步驟4具體包括：

接收訓(xùn)練樣本中下一階段的流量特征s_t+1，通過無監(jiān)督學(xué)習(xí)算法預(yù)測其標(biāo)簽A’，使用預(yù)測的標(biāo)簽A’和流量特征s_t+1來計(jì)算所有Q函數(shù)值，并求取最大值：

Q's_t+1＝maxQ'(s_t+1A')

再同經(jīng)驗(yàn)回放集合中的獎(jiǎng)勵(lì)r_t計(jì)算目標(biāo)Q函數(shù)值：

Q^*＝r_t+γ·Q's_t+1。