[發明專利]一種爬蟲檢測方法、裝置及電子設備

有效

• 申請號: 202110257287.6
• 申請日: 2021-03-09
• 公開（公告）號: CN112953958B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 陳曉峰;范曉鋒
• 申請（專利權）人: 拉扎斯網絡科技（上海）有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 周嗣勇

本申請提供一種爬蟲檢測方法、裝置、電子設備及機器可讀存儲介質，應用于服務端；所述方法包括：響應于待檢測客戶端發送的針對目標web頁面的訪問請求，向所述待檢測客戶端下發探測數據；從與所述待檢測客戶端對應的終端設備的物理緩存信息中讀取與所述探測數據對應的緩存信息；如果未讀取到與所述探測數據對應的緩存信息，則確定所述待檢測客戶端為爬蟲程序。

技術領域

本申請涉及反爬蟲技術領域，尤其涉及一種爬蟲檢測方法、裝置、電子設備及機器可讀存儲介質。

背景技術

爬蟲(spider)，是一種可以用于自動地抓取互聯網信息的程序或腳本。如果黑客利用爬蟲程序攻擊網站的服務器，可能會威脅到互聯網信息的安全，甚至導致該服務器無法正常地為用戶提供服務。因此，需要利用反爬蟲技術準確地檢測出爬蟲程序，從而使得反爬蟲方可以采取相關的安全防護手段進行防御。

蜜罐(honeypot)，本質上是一種對爬蟲方進行欺騙的防御技術，可以布置一些作為誘餌的主機、網絡服務或信息，誘使爬蟲方對其實施攻擊，從而可以對攻擊行為進行捕獲與分析。

在實際應用中，當爬蟲方對反爬蟲方基于蜜罐技術布置的“蜜罐”進行攻擊時，反爬蟲方可以對攻擊行為進行捕獲與分析，了解爬蟲方所使用的工具與方法，鎖定爬蟲方的身份信息，推測爬蟲方的攻擊意圖，從而能夠清楚了解所面對的安全威脅，并有針對性地提高自身的安全防護能力。

發明內容

本申請提供一種爬蟲檢測方法，應用于服務端，所述方法包括：

響應于待檢測客戶端發送的針對目標web頁面的訪問請求，向所述待檢測客戶端下發探測數據；

從與所述待檢測客戶端對應的終端設備的物理緩存信息中讀取與所述探測數據對應的緩存信息；

如果未讀取到與所述探測數據對應的緩存信息，則確定所述待檢測客戶端為爬蟲程序。

可選的，響應于待檢測客戶端發送的針對目標web頁面的訪問請求，向所述待檢測客戶端下發探測數據，包括：

響應于待檢測客戶端發送的針對目標web頁面的訪問請求，針對所述待檢測客戶端進行身份識別；

如果未識別出所述待檢測客戶端對應的身份，則向所述待檢測客戶端下發探測數據。

可選的，所述探測數據包括所述目標web頁面對應的頁面數據中的部分數據。

可選的，所述目標web頁面對應的頁面數據包括所述目標web頁面對應的頁面內容；以及，在所述目標web頁面中展示的與所述頁面內容無關的頁面數據；所述部分數據包括與所述目標web頁面對應的頁面內容無關的頁面數據。

可選的，與所述目標web頁面對應的頁面內容無關的頁面數據包括在所述目標web頁面中展示的廣告數據。

可選的，從與所述待檢測客戶端對應的終端設備的物理緩存信息中讀取與所述探測數據對應的緩存信息之前，還包括：

讀取與所述待檢測客戶端對應的終端設備的物理緩存信息；

如果讀取到與所述待檢測客戶端對應的終端設備的物理緩存信息，則進一步從所述物理緩存信息中讀取與所述探測數據對應的緩存信息。

可選的，所述方法還包括：

如果未讀取到與所述待檢測客戶端對應的終端設備的物理緩存信息，則確定所述待檢測客戶端為爬蟲程序。

可選的，所述方法還包括：

如果讀取到與所述探測數據對應的緩存信息，則檢測所述讀取到的緩存信息與所述探測數據是否匹配；

如果不匹配，則確定所述待檢測客戶端為爬蟲程序。