[發明專利]一種提升爬蟲識別召回率的方法、裝置、介質及設備

有效

• 申請號: 201811548489.0
• 申請日: 2018-12-18
• 公開（公告）號: CN111343127B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 王坤;劉鑫琪;叢磊
• 申請（專利權）人: 北京數安鑫云信息技術有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 北京名華博信知識產權代理有限公司 11453
• 代理人: 白瑩;苗源

本發明提供了一種提升爬蟲識別召回率的方法、裝置、介質及設備，本方法中使用決策樹集成算法建立集成的決策樹模型，對決策樹模型進行訓練，抽取決策規則，經測試通過后將決策規則和經驗規則合并，得到爬蟲識別規則，將規則上線到爬蟲攔截系統。本發明可以有效提高爬蟲識別召回率。

技術領域

本發明涉及網絡技術領域，尤其涉及反爬蟲技術領域。

背景技術

現有的反爬蟲策略，是基于用戶訪問網絡的web日志，根據以往判斷正常用戶與爬蟲的訪問行為的經驗，并據此建立反爬蟲策略。基于經驗主義制定的爬蟲規則，爬蟲識別率低。

發明內容

本發明旨在解決上面描述存在的爬蟲識別率低的問題，本發明的目的是提供一種突破經驗主義的局限，發現爬蟲攻擊的潛在特征的方法，來提升爬蟲識別召回率。具體的，本發明提供一種能有效提升web日志中爬蟲識別召回率的方法。

步驟1，使用決策樹集成算法建立集成的決策樹模型，使用訓練樣本集對所述決策樹模型進行訓練；

步驟2，在每一個決策樹模型的多條決策流中使用抽取規則選擇決策流，形成決策規則；

步驟3，對所述決策規則進行測試；

步驟4，判斷測試精確率是否達到預設數值，如果是，執行步驟6，如果否，執行步驟5；

步驟5，對抽取規則進行調試，轉回至步驟3；

步驟6，使用決策規則對測試樣本集進行預測，獲得預測樣本；對歷次預測樣本累加，得到累加預測樣本集合；

步驟7，將累加預測樣本集合與使用經驗規則預測出的樣本進行對比，判斷是否存在新增樣本，如果是，執行步驟8；

步驟8，將歷次形成的決策規則與經驗規則合并作為爬蟲識別規則。

上述方法還具有以下特點：步驟7中判斷不存在新增樣本時，從訓練樣本集中剔除預測樣本，轉回至步驟1。

上述方法還具有以下特點：在每一個決策樹模型的多條決策流中按抽取規則選擇決策流的方法為在所有決策流中選取葉節點預測值為正且基尼系數值≤m的葉節點所在的決策流作為決策規則。

上述方法還具有以下特點：對抽取規則進行調試的手段包括，新增經驗條件和/或調整特征劃分數值。

本發明還提供了一種提升爬蟲識別召回率的處理裝置，包括：

模型建立模塊，用于使用決策樹集成算法建立集成的決策樹模型；

模型訓練模塊，用于使用訓練樣本集對決策樹模型進行訓練；

規則選擇模塊，用于在每一個決策樹模型的多條決策流中使用抽取規則選擇決策流，形成決策規則；

測試模塊，用于對所述決策規則進行測試；

第一判斷模塊，用于判斷測試精確率是否達到預設數值，如果是，觸發預測模塊，如果否，觸發調試模塊；

調試模塊，用于對抽取規則進行調試，將調試后的抽取規則發送至測試模塊；

預測模塊，用于使用經驗規則和決策規則對測試樣本集進行預測，獲得預測樣本；確定歷次預測樣本的累加預測樣本集合；

第二判斷模塊，用于將累加預測樣本集合與使用經驗規則預測出的樣本進行對比，判斷是否存在新增樣本，如果是，觸發規則合并模塊；

規則合并模塊，用于將歷次形成的決策規則與經驗規則合并作為新的爬蟲識別規則。

上述裝置還具有以下特點：當第二判斷模塊判斷到沒有新增樣本時則觸發剔除模塊，剔除模塊用于從訓練樣本集中剔除預測樣本，將剔除預測樣本后的訓練樣本集發送至模型訓練模塊。