[發明專利]防止惡意抓取的方法和防護裝置

有效

• 申請號: 201410806643.5
• 申請日: 2014-12-22
• 公開（公告）號: CN104506525B
• 公開（公告）日: 2018-04-20
• 發明（設計）人: 李紀峰
• 申請（專利權）人: 北京奇安信科技有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 北京路浩知識產權代理有限公司11002
• 代理人: 李相雨

技術領域

本發明涉及通信技術領域，尤其涉及一種防止惡意抓取的方法和防護裝置。

背景技術

對網站資源的抓取是指按照預設的規則抓取網站服務器中的相應資源。一般的，針對網站服務器中資源的抓取請求主要包括由搜索引擎的爬蟲蜘蛛發起的正常抓取請求以及由其他非搜索引擎發起的惡意抓取請求。惡意抓取請求一般涉及到兩種情況，一種是由競爭對手或者黑客發起的抓取請求，通過高并發長時間不間斷的抓取導致網站服務器超負荷運轉最終使網站服務器癱瘓。這樣的抓取行為會嚴重損害企業形象。另一種主要是盜取網站服務器中的原創資源用于轉載，這種抓取行為會使網站服務器中的原創資源的作者的知識產權遭到侵害。

由于惡意抓取一般是偽裝成合法的搜索引擎進行抓取，因此現有技術中對惡意抓取的攔截效果非常不理想。

發明內容

本發明的目的是提供一種有效的防止惡意抓取的方法和防護裝置。

第一方面，提供了一種防止惡意抓取的防護裝置，包括：

識別模塊，用于識別用于抓取網站服務器中的資源的抓取請求；

判斷模塊，用于判斷所述識別模塊識別的所述抓取請求的來源互聯網協議IP地址是否屬于IP地址白名單中的IP地址；

攔截模塊，用于在所述判斷模塊判斷所述來源IP地址不屬于IP地址白名單中的IP地址，攔截所述抓取請求。

進一步的，所述識別模塊用于檢測到訪問所述網站服務器中資源的訪問請求，獲取檢測到的訪問請求中攜帶的用戶代理UA信息和/或引用referer信息；根據所述UA信息/或referer信息，確定檢測到的訪問請求是否為用于抓取所述網站服務器中的資源的抓取請求。

進一步的，還包括：IP地址白名單獲取模塊，用于在所述判斷模塊判斷所述來源IP地址是否屬于IP地址白名單中的IP地址之前，獲取包含搜索引擎域名的搜索引擎域名白名單，對搜索引擎域名白名單中的搜索引擎域名進行反向查詢獲取各個搜索引擎域名的IP地址，得到IP地址白名單。

進一步的，還包括：上報模塊，用于在所述判斷模塊判斷所述來源IP地址不屬于IP地址白名單中的IP地址時，將所述來源IP地址發送給服務器，以使所述服務器確定所述來源IP地址是否屬于搜索引擎的IP地址。

進一步的，所述IP地址白名單為由服務器生成并下發的白名單。

再一方面，提供了一種防止惡意抓取的方法，包括：

位于網站服務器側的防護裝置識別用于抓取所述網站服務器中資源的抓取請求；

判斷所述抓取請求的來源互聯網協議IP地址是否屬于IP地址白名單中的IP地址；

如果所述來源IP地址不屬于IP地址白名單中的IP地址，則攔截所述抓取請求。

進一步的，所述位于網站服務器側的防護裝置識別用于抓取所述網站服務器中的資源的抓取請求，包括：

所述防護裝置檢測用于訪問所述網站服務器中資源的訪問請求，獲取檢測到的訪問請求中攜帶的用戶代理UA信息和/或引用referer信息；根據所述UA信息和/或referer信息，判斷檢測到的訪問請求是否為用于抓取所述網站服務器中的資源的抓取請求。

進一步的，所述判斷所述抓取請求的來源IP地址是否屬于IP地址白名單中的IP地址之前，所述方法還包括：

獲取包括搜索引擎域名的搜索引擎域名白名單，對搜索引擎域名白名單中的搜索引擎域名進行反向查詢獲取各個搜索引擎域名的IP地址，生成IP地址白名單。

進一步的，所述方法還包括：如果所述來源IP地址不屬于IP地址白名單中的IP地址，將所述來源IP地址發送至服務器，以使所述服務器確定所述來源IP地址是否屬于搜索引擎的IP地址。

進一步的，所述IP地址白名單為由服務器生成并下發的白名單。

本發明中，位于網站服務器側的防護裝置識別用于抓取所述網站服務器中的資源的抓取請求；判斷所述抓取請求的來源IP地址是否為IP地址白名單中的IP地址；如果所述來源IP地址不是IP地址白名單中的IP地址，攔截所述抓取請求。本發明提供的技術方案對于偽裝搜索引擎發起的惡意抓取請求能夠進行有效的攔截。

附圖說明

圖1為本發明的一個實施例提供的一種防止惡意抓取的方法的流程示意圖；

圖2為本發明的一個實施例提供的一種防止惡意抓取的方法的流程示意圖；

圖3為圖2所示的方法中獲取IP地址白名單的流程示意圖；

圖4為本發明的一個實施例提供的一種防護裝置的結構示意圖；