[發明專利]一種提升爬蟲識別召回率的方法、裝置、介質及設備

有效

• 申請號: 201811548489.0
• 申請日: 2018-12-18
• 公開（公告）號: CN111343127B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 王坤;劉鑫琪;叢磊
• 申請（專利權）人: 北京數安鑫云信息技術有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 北京名華博信知識產權代理有限公司 11453
• 代理人: 白瑩;苗源

1.一種提升爬蟲識別召回率的方法，包括：

步驟1，使用決策樹集成算法建立集成的決策樹模型，使用訓練樣本集對所述決策樹模型進行訓練；

步驟2，在每一個決策樹模型的多條決策流中使用抽取規則選擇決策流，形成決策規則；

步驟3，對所述決策規則進行測試；

步驟4，判斷測試精確率是否達到預設數值，如果是，執行步驟6，如果否，執行步驟5；

步驟5，對抽取規則進行調試，轉回至步驟3；

步驟6，使用所述決策規則對測試樣本集進行預測，獲得預測樣本；對歷次預測樣本累加，得到累加預測樣本集合；

步驟7，將所述累加預測樣本集合與使用經驗規則預測出的樣本進行對比，判斷是否存在新增樣本，如果是，執行步驟8；

步驟8，將歷次形成的決策規則與所述經驗規則合并作為爬蟲識別規則。

2.如權利要求1所述的提升爬蟲識別召回率的方法，其特征在于，所述步驟7中判斷不存在新增樣本時，從所述訓練樣本集中剔除所述預測樣本，轉回至所述步驟1。

3.如權利要求1所述的提升爬蟲識別召回率的方法，其特征在于，所述在每一個決策樹模型的多條決策流中按抽取規則選擇決策流的方法為在所有決策流中選取葉節點預測值為正且基尼系數值≤m的葉節點所在的決策流作為決策規則。

4.如權利要求1所述的提升爬蟲識別召回率的方法，其特征在于，所述的對抽取規則進行調試的手段包括，新增經驗條件。

5.一種提升爬蟲識別召回率的處理裝置，其特征在于，包括：

模型建立模塊，用于使用決策樹集成算法建立集成的決策樹模型；

模型訓練模塊，用于使用訓練樣本集對所述決策樹模型進行訓練；

規則選擇模塊，用于在每一個決策樹模型的多條決策流中使用抽取規則選擇決策流，形成決策規則；

測試模塊，用于對所述決策規則進行測試；

第一判斷模塊，用于判斷測試精確率是否達到預設數值，如果是，觸發預測模塊，如果否，觸發調試模塊；

調試模塊，用于對抽取規則進行調試，將調試后的抽取規則發送至測試模塊；

預測模塊，用于使用經驗規則和所述決策規則對測試樣本集進行預測，獲得預測樣本；確定歷次預測樣本的累加預測樣本集合；

第二判斷模塊，用于將所述累加預測樣本集合與使用經驗規則預測出的樣本進行對比，判斷是否存在新增樣本，如果是，觸發規則合并模塊；

規則合并模塊，用于將歷次形成的決策規則與所述經驗規則合并作為新的爬蟲識別規則。

6.如權利要求5所述提升爬蟲識別召回率的處理裝置，其特征在于，當所述第二判斷模塊判斷到沒有新增樣本時則觸發剔除模塊，所述剔除模塊用于從所述訓練樣本集中剔除所述預測樣本，將剔除所述預測樣本后的訓練樣本集發送至模型訓練模塊。

7.如權利要求5所述提升爬蟲識別召回率的處理裝置，其特征在于，所述規則選擇模塊在每一個決策樹模型的多條決策流中選擇葉節點預測值為正且基尼系數值≤m的葉節點所在的決策流作為決策規則。

8.如權利要求5所述的提升爬蟲識別召回率的處理裝置，其特征在于，所述調試模塊對抽取規則進行調試的手段包括新增經驗條件。

9.一種計算機可讀存儲介質，其特征在于，所述存儲介質上存儲有計算機程序，所述程序被處理器執行時實現權利要求1至4中任意一項所述方法的步驟。

10.一種計算機設備，其特征在于，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述程序時實現權利要求1至4中任意一項所述方法的步驟。