[發(fā)明專利]一種基于隱馬爾可夫模型的惡意網(wǎng)絡(luò)爬蟲檢測方法

在審

• 申請?zhí)枺?/td>: 201710281763.1
• 申請日: 2017-04-26
• 公開（公告）號: CN106961444A
• 公開（公告）日: 2017-07-18
• 發(fā)明（設(shè)計）人: 羅日紅;蔡君
• 申請（專利權(quán)）人: 廣東億榮電子商務(wù)有限公司;廣東技術(shù)師范學(xué)院
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L12/24;H04L29/08;G06F17/30
• 代理公司: 廣州市深研專利事務(wù)所44229
• 代理人: 陳雅平

1.一種基于隱馬爾可夫模型的惡意網(wǎng)絡(luò)爬蟲檢測方法，其特征是，

HTTP流量行為模型的構(gòu)建方法

1.1基本定義：

觀測值：以HTTP請求的資源類型為觀測值，則HTTP流量的觀測序列表示為其中表示第c個連接在t時刻請求的資源類型。觀測值空間為：V＝{1,2,...,N}；

狀態(tài)值為t時刻連接c請求的頁面，表示為y＝y(tǒng)₁,y₂,...y_T，狀態(tài)值空間為S＝{1,2,...,M}；

HTTP流量行為的參數(shù)模型表示為：θ＝{π,A,B}，其中，π為初始模型的初始狀態(tài)概率，A為狀態(tài)轉(zhuǎn)移概率，B為觀測概率；

1.2基于前向后向算法的HTTP流量行為模型的參數(shù)估計技術(shù)

HTTP流量行為模型參數(shù)估計任務(wù)是由采集到的觀測值序列估計出對應(yīng)的隱半馬爾可夫模型的參數(shù)；本發(fā)明采用著名的前向后向算法解決HTTP流量行為模型的參數(shù)估計問題，具體如下所述；

1)定義前向后向變量：

α_t(j)＝P[S_t＝j(luò),o_1:t|θ]

β_t(j)＝P[o_t+1:T|S_t＝j(luò),θ]

2)前向后向算法的初始化：

α₁(j)＝π_j，

β_T(j)＝1；

3)迭代推導(dǎo)過程：

4)計算中間變量：

ξ_t(i,j)＝P[S_t＝i,S_t+1＝j(luò),o_1:T|λ]＝α_t(i)a_ijb_j(o_t+1)β_t+1(j)

5)參數(shù)更新公式

其中，當(dāng)o_t＝v_k時，I(o_t＝v_k)＝1，否則I(o_t＝v_k)＝0；

1.3網(wǎng)絡(luò)爬蟲的檢測方法

HTTP流量包括了一般用戶的HTTP流量以及網(wǎng)絡(luò)爬蟲的HTTP流量，要檢測惡意網(wǎng)絡(luò)爬蟲流量，首先要把網(wǎng)絡(luò)爬蟲流量和一般用戶的流量分離，為此本發(fā)明專利通過異常檢測的方法來識別網(wǎng)絡(luò)爬蟲流量。

計算一般用戶的HTTP流量行為模型觀測序列的熵：

計算一般用戶的HTTP流量的觀測序列的熵的標(biāo)準(zhǔn)方差為σ₀，均值為μ₀，

檢測網(wǎng)絡(luò)爬蟲時，首先計算監(jiān)測序列的熵的均值為μ，再以|μ-μ₀|為異常檢測量，如果|μ-μ₀|≥3σ₀，則為異常狀態(tài)。

2.根據(jù)權(quán)利要求1所述的基于隱馬爾可夫模型的惡意網(wǎng)絡(luò)爬蟲檢測方法，其特征是，其特征是

HTTP流量行為模型的構(gòu)建方法

1.4惡意網(wǎng)絡(luò)爬蟲的檢測方法

計算良性網(wǎng)絡(luò)爬蟲行為模型觀測序列的熵：

計算良性網(wǎng)絡(luò)爬蟲的觀測序列的熵的標(biāo)準(zhǔn)方差為σ₀，均值為μ₀，

檢測惡意網(wǎng)絡(luò)爬蟲時，首先計算監(jiān)測序列的熵的均值為μ，再以|μ-μ₀|為異常檢測量，如果|μ-μ₀|≥3σ₀，則為異常狀態(tài)。

3.根據(jù)權(quán)利要求1所述的基于隱馬爾可夫模型的惡意網(wǎng)絡(luò)爬蟲檢測方法，其特征是，HTTP流量行為模型的構(gòu)建方法

實施流程

步驟1：訓(xùn)練數(shù)據(jù)預(yù)處理，生成網(wǎng)絡(luò)爬蟲檢測的訓(xùn)練數(shù)據(jù)集；

步驟2：采用前向后向算法估計模型的參數(shù)，得到基于HMM的HTTP流量模型；

步驟3：使用訓(xùn)練好的模型計算監(jiān)測序列的熵；

步驟4：計算流量異常檢測量|μ-μ₀|；

步驟5：通過判斷|μ-μ₀|≥3σ₀是否成立，來識別網(wǎng)絡(luò)爬蟲流量；

步驟6：提取良性爬蟲檢測的訓(xùn)練數(shù)據(jù)集；

步驟7：采用前向后向算法估計良性網(wǎng)絡(luò)爬蟲的模型參數(shù)；

步驟8：使用訓(xùn)練好的良性網(wǎng)絡(luò)爬蟲模型計算網(wǎng)絡(luò)爬蟲序列的熵；

步驟9：計算異常檢測量|μ-μ₀|；

步驟10：通過判斷|μ-μ₀|≥3σ₀是否成立，來識別惡意網(wǎng)絡(luò)爬蟲流量。