[發明專利]一種Web服務器的惡意爬蟲防御策略選擇方法

有效

• 申請號: 201710601523.5
• 申請日: 2017-07-21
• 公開（公告）號: CN107517200B
• 公開（公告）日: 2020-05-26
• 發明（設計）人: 曾劍平;張曉惠
• 申請（專利權）人: 復旦大學
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;H04L12/26
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

1.一種Web服務器的惡意爬蟲防御策略選擇方法，其特征在于，邏輯架構包括Web服務器和爬蟲，在這樣的邏輯架構下，爬蟲有兩種爬行方式，即正常爬行和惡意爬行；當爬蟲采取正常爬行方式時，即對應于用戶的正常訪問方式和爬蟲程序的正常訪問方式，反之當采取惡意爬行時，即代表爬蟲程序或用戶的惡意訪問；在這邏輯架構下，惡意爬蟲防御策略選擇方法的具體步驟為：

(1)計算Web服務器和爬蟲的收益與代價

對于Web服務器而言，其付出的代價在于部署各種軟硬件設施用于辨別正常訪問行為和惡意訪問行為，以及對惡意行為實施阻斷；而其收益在于廣告推送、信息反饋；對于爬蟲而言，其代價在于惡意訪問所需要的投入，其收益在于在預期的時間內獲得所需要的頁面內容；

(2)基于不完全信息動態博弈，計算博弈模型的均衡解

根據步驟(1)的收益與代價，計算Web服務器采取防御策略的期望收益和采取不防御策略時的期望收益，當這兩個收益相等時即可得到服務器選擇防御或不防御策略的臨界點；

(3)基于不完全信息重復博弈，計算博弈模型的均衡解

從爬蟲方的角度，計算當某時刻之前爬蟲采取正常訪問行為；

而之后分別選擇惡意訪問行為和正常訪問行為時所獲得的收益，當正常訪問行為時所獲得的收益大于惡意訪問行為時所獲得的收益，爬蟲不會采取惡意訪問行為的策略，因此，滿足這個條件的博弈參數是服務器策略的最佳選擇；

步驟(1)中所述的Web服務器和爬蟲的收益與代價如下：

Web服務器的收益、代價：

b_c：服務器方的防御成本；

b_s：服務器方成功防御之后的收益；

b₁：服務器不加以防御帶來的損失；

R：服務器被正常訪問時帶來的收益，或者是惡意爬蟲給Web服務器帶來的正面反饋；

I：爬蟲惡意爬取時給Web服務器帶來的損失；

爬蟲的收益、代價：

a_c：爬蟲方的攻擊成本，即選擇惡意爬行所需要的付出；

a₁：惡意爬蟲被Web服務器識別出后所帶來的懲罰；

a₂：爬蟲以正常方式訪問Web服務器時所獲得的收益；

a_s：爬蟲方成功實現惡意爬取之后所帶來的收益；

在計算收益時，定義兩個變量表明Web服務器檢測惡意爬蟲的性能：

p_d：Web服務器將采取惡意爬行方式的爬蟲判斷為惡意爬蟲的概率，即正確檢測；

p_n：Web服務器將采取正常訪問方式的爬蟲判斷為惡意爬蟲的概率，即錯誤檢測；

基于前述定義的變量，Web服務器和爬蟲在各自策略下的收益矩陣如下表所示；矩陣中的每個元素的形式是(a,b)，其中a表示爬蟲的收益，b表示Web服務器的收益；

步驟(2)所述基于不完全信息動態博弈，計算博弈模型的均衡解的流程如下：

在不完全信息下，Web服務器無法知道爬蟲的信息，但是可以根據歷史數據或其他途徑對每個來訪的爬蟲做事先估計，判斷其為惡意爬蟲訪問的概率，即假設惡意爬行的先驗概率為p，則正常行為爬蟲的先驗概率為1-p；爬蟲在爬行過程中能采取惡意爬行或正常爬行，假設這兩種行為出現的概率分別為T、1-T；因此，對于Web服務器而言，其采取防御策略的期望收益為：

E_f＝p[T(-b_c+p_db_s-(1-p_d)(b₁+I-R))+(1-T)(-b_c-p_nR+(1-p_n))R]+(1-p)(-b_c-p_nR+(1-p_n)R) (1)

當采取不防御的策略時，其期望收益為：

E_nf＝p[T(-b₁-I+R)+(1-T)R]+(1-p)R (2)

那么，當Web服務器決定采取何種策略時，在理性的情況下，當E_f＜E_nf時，采取不防御的策略，當E_f＞E_nf時，它應當采取防御策略；

因此，當E_f＝E_nf時，服務器選擇防御策略與不防御策略時的收益相當，此時求得的惡意爬行概率T為臨界點T*，求得：

當爬蟲選擇惡意爬行方式的概率TT*時，則Web服務器選擇不防御所能獲得的收益大于Web服務器選擇防御所能獲得的收益，反之則采取防御策略為最佳選擇。

2.根據權利要求1所述的Web服務器的惡意爬蟲防御策略選擇方法，其特征在于，步驟(3)所述基于不完全信息重復博弈，計算博弈模型的均衡解的流程如下：

假設p_t為在t時段爬蟲采取正常爬行方式的先驗概率，那么，在t時間，爬蟲的期望收益為：

ED_t＝(1-p_t)(-a_c-p_da_l+(1-p_d)a_s)+p_t(-a_c+a_s) (4)

假設在t-1時間之前爬蟲方都沒有暴露身份，即采取正常爬行方式，而在t-1發起惡意爬取行為，令δ為時段t的貼現因子，把未來的收益乘以貼現值折算成現值，即把將來的收益放在當前考慮，則爬蟲方的期望收益為：

在t-1時段不發起惡意行為，而等到t時間再發起惡意爬行時的收益：

ED_t-1+δED_t＝(1-p_t-1)(a₂-p_na₂-p_na₁)+p_t-1(a₂)+δ(-a_c+a_s) (6)

假設兩個時段的先驗概率相等，即p_t-1＝p_t；

由此，根據公式(5)、(6)，得到：

a₂+p_n(a₁+a₂)(p_t-1)-a_s+a_c+p_d(a₁+a_s)(1-p_t+δ)＞0 (7)

為了使得爬蟲繼續采取正常爬行行為，應當保證t-1時段正常爬行的收益大于惡意爬行的收益，而Web服務器可以通過改變一些參數來確保該條件成立；根據(7)式條件，Web服務器采取的具體措施包括：增大懲罰a₁，減小爬蟲方成功實現惡意爬取之后所帶來的收益a_s。