[發明專利]一種網絡爬蟲的處理方法、系統及設備

在審

• 申請號: 202010027254.8
• 申請日: 2020-01-10
• 公開（公告）號: CN113132336A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 朱傳江;高力
• 申請（專利權）人: 上海云盾信息技術有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L12/26;H04L12/24
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 王奎宇;甘章乖

1.一種網絡爬蟲的處理方法，其中，所述方法包括：

接收訪問流量，將所述訪問流量牽引到設有防火墻邊緣的防護節點，對所述訪問流量進行識別，確定出已知爬蟲以及已知爬蟲所屬的爬蟲類別；

對未確定出所屬的爬蟲類別的訪問流量進行行為分析識別，確定出未知爬蟲的威脅值，根據所述威脅值確定所述未知爬蟲所屬的爬蟲類別；

根據所述已知爬蟲所屬的爬蟲類別以及所述未知爬蟲所屬的類別進行訪問流量可視化展示，并調整所述當前業務的訪問流量。

2.根據權利要求1所述的方法，其中，所述對所述訪問流量進行識別，包括：

根據歷史爬蟲網絡地址以及行為特征信息來識別訪問流量的爬蟲信息，其中，所述歷史爬蟲網絡地址為已知的爬蟲信息。

3.根據權利要求1所述的方法，其中，所述爬蟲類別包括惡意爬蟲和合法爬蟲，所述方法包括：

根據預設的處置動作對已知爬蟲中的惡意爬蟲以及未知爬蟲中的惡意爬蟲進行處置處理得到處置后的潔凈流量，將所述潔凈流量返回源站。

4.根據權利要求1所述的方法，其中，所述對未確定出所屬的爬蟲類別的訪問流量進行行為分析識別，包括：

根據歷史瀏覽數據以及歷史爬蟲抓取數據構建數據集，利用所述數據集訓練人工智能模型，得到預設的人工智能模型；

通過所述預設的人工智能模型對未確定出所屬的爬蟲類別的訪問流量進行行為分析識別。

5.根據權利要求1所述的方法，其中，所述根據所述已知爬蟲所屬的爬蟲類別以及所述未知爬蟲所屬的類別進行訪問流量可視化展示包括：

根據所述已知爬蟲所屬的爬蟲類別以及所述未知爬蟲所屬的類別統計所述已知爬蟲及所述未知爬蟲的信息，根據統計到的所述已知爬蟲及所述未知爬蟲的信息進行聚類分析，確定爬蟲類別信息，其中，所述爬蟲類別信息包括：爬蟲請求次數、已知爬蟲的信息、未知爬蟲的信息、合法爬蟲的信息以及惡意爬蟲的信息；

將所述訪問流量按照對應的爬蟲類別信息進行可視化展示。

6.根據權利要求1所述的方法，其中，所述方法包括：

根據所述未知爬蟲所屬的類別、設備指紋、網絡地址段、根據網站業務進行的行為對所述未知爬蟲進行可視化展示。

7.根據權利要求3所述的方法，其中，所述預設的處置動作包括：

根據用戶的業務標識進行以下任意一項或多項組合處理：返回假數據、觀察、放行、攔截、人機識別以及預設自定義字體庫。

8.根據權利要求7所述的方法，其中，所述方法還包括：

添加由控制策略組成的規則集以限制請求頻率不在預設閾值內的訪問流量。

9.一種用于管理爬蟲的系統，其中，所述系統包括：爬蟲檢測模塊、爬蟲識別模塊以及爬蟲展示模塊，其中，

所述爬蟲檢測模塊用于接收訪問流量，將所述訪問流量牽引到設有防火墻邊緣的防護節點，根據歷史爬蟲網絡地址庫以及行為特征信息對所述訪問流量進行識別，確定出已知爬蟲以及已知爬蟲所屬的爬蟲類別；

所述爬蟲識別模塊用于對未確定出所屬的爬蟲類別的訪問流量進行行為分析識別，確定出未知爬蟲的威脅值，根據所述威脅值確定所述未知爬蟲所屬的爬蟲類別；

所述爬蟲展示模塊用于根據所述已知爬蟲所屬的爬蟲類別以及所述未知爬蟲所屬的類別進行訪問流量可視化展示，并調整所述當前業務的訪問流量。

10.根據權利要求9所述的系統，其中，所述系統包括爬蟲處理模塊，所述爬蟲處理模塊用于根據預設的處置動作對已知爬蟲中的惡意爬蟲以及未知爬蟲中的惡意爬蟲進行處置處理得到處置后的潔凈流量，將所述潔凈流量返回源站。

11.一種計算機可讀介質，其上存儲有計算機可讀指令，所述計算機可讀指令可被處理器執行以實現如權利要求1至8中任一項所述的方法。

12.一種網絡爬蟲的處理設備，其中，所述設備包括：

一個或多個處理器；以及

存儲有計算機可讀指令的存儲器，所述計算機可讀指令在被執行時使所述處理器執行如權利要求1至8中任一項所述方法的操作。