[發明專利]網絡爬蟲識別方法、系統、裝置及計算機存儲介質

在審

• 申請號: 202010741262.9
• 申請日: 2020-07-28
• 公開（公告）號: CN114006711A
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 肖軍;歐懷谷;王梟卿;張盼
• 申請（專利權）人: 云盾智慧安全科技有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40
• 代理公司: 廣州德科知識產權代理有限公司 44381
• 代理人: 萬振雄;楊中強

一種網絡爬蟲識別方法、系統、裝置及計算機存儲介質，該方法包括：獲取植入至客戶端的前端系統回傳的鼠標移動數據，所述鼠標移動數據包括若干個采樣點分別對應的鼠標采樣信息；按照預設的異常檢測規則對所述若干個采樣點分別對應的鼠標采樣信息進行異常檢測；在檢測到所述鼠標移動數據存在異常時，將所述客戶端識別為網絡爬蟲；攔截被識別為網絡爬蟲的客戶端發送的訪問請求。實施本發明實施例，能夠通過鼠標移動數據對網絡爬蟲進行識別，即使網絡爬蟲試圖通過偽造瀏覽器UA或者更換IP地址的方式進行偽裝，也可以準確識別。

技術領域

本發明涉及網絡安全技術領域，具體涉及一種網絡爬蟲識別方法、系統、服務器及計算機存儲介質。

背景技術

網絡爬蟲，指按照一定的規則自動地抓取網站信息的程序或者腳本。網絡爬蟲在一定程度上會對網站造成負擔，容易導致服務器崩潰，也容易導致數據泄露。目前，已有基于用戶代理(User Agent，UA)匹配或者基于網際互連協議(Internet Protocol，IP)地址識別的網絡爬蟲識別方法。但是，基于UA匹配的方法可以通過偽造瀏覽器UA的方式破解，基于IP地址識別的方法可以通過更換IP地址的方式破解。因此，需要開發一種新的網絡爬蟲識別方法。

發明內容

本發明實施例公開了一種網絡爬蟲識別方法、系統、服務器及計算機存儲介質，可以準確識別網絡爬蟲。

本發明實施例公開一種網絡爬蟲識別方法，所述方法包括：獲取植入至客戶端的前端系統回傳的鼠標移動數據，所述鼠標移動數據包括若干個采樣點分別對應的鼠標采樣信息；按照預設的異常檢測規則對所述若干個采樣點分別對應的鼠標采樣信息進行異常檢測；在檢測到所述鼠標移動數據存在異常時，將所述客戶端識別為網絡爬蟲；攔截被識別為網絡爬蟲的客戶端發送的訪問請求。

本申請實施例公開一種網絡爬蟲識別系統，其特征在于，包括：前端系統和后端系統；所述前端系統部署于客戶端，所述后端系統部署于識別裝置；所述前端系統，用于獲取鼠標移動數據；所述鼠標移動數據包括若干個采樣點分別對應的鼠標采樣信息；所述后端系統，用于按照預設的異常檢測規則對所述若干個采樣點分別對應的鼠標采樣信息進行異常檢測；以及，在檢測出所述鼠標移動數據異常時，將所述客戶端識別為網絡爬蟲；以及，攔截被識別為網絡爬蟲的客戶端發送的訪問請求。

本申請實施例公開一種爬蟲識別裝置，包括存儲器及處理器，所述存儲器中存儲有計算機程序，所述計算機程序被所述處理器執行時，使得所述處理器實現本申請實施例公開的網絡爬蟲識別方法。

本申請實施例公開一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行本申請實施例公開的網絡爬蟲識別方法。

與現有技術相比，本發明實施例具有以下有益效果：

在本申請實施例中，可以通過植入至客戶端的前端系統獲取鼠標移動數據，并判斷鼠標移動數據是否存在異常；在檢測到鼠標移動數據存在異常時，將客戶端識別為網絡爬蟲，并對被識別為網絡爬蟲的客戶端發送的訪問請求進行攔截，從而可以減輕網絡爬蟲對網站造成的負擔。在本申請實施例中，即使網絡爬蟲試圖通過偽造瀏覽器UA或者更換IP地址的方式進行偽裝，也可以通過鼠標移動數據準確地對網絡爬蟲進行識別。

附圖說明

為了更清楚地說明本發明實施例中的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1是本申請實施例公開的一種網絡爬蟲識別系統的結構示意圖；

圖2A本申請實施例公開的一種網絡爬蟲識別系統在網絡服務器側部署的示例圖；

圖2B本申請實施例公開的一種網絡爬蟲識別系統進行本地化部署的示例圖；