[發明專利]防止惡意抓取的方法和防護裝置

有效

• 申請號: 201410806643.5
• 申請日: 2014-12-22
• 公開（公告）號: CN104506525B
• 公開（公告）日: 2018-04-20
• 發明（設計）人: 李紀峰
• 申請（專利權）人: 北京奇安信科技有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 北京路浩知識產權代理有限公司11002
• 代理人: 李相雨

1.一種防止惡意抓取的防護裝置，其特征在于，包括：

識別模塊，用于識別用于抓取網站服務器中的資源的抓取請求；

判斷模塊，用于判斷所述識別模塊識別的所述抓取請求的來源互聯網協議IP地址是否屬于IP地址白名單中的IP地址；

攔截模塊，用于在所述判斷模塊判斷所述來源IP地址不屬于IP地址白名單中的IP地址，攔截所述抓取請求；

還包括上報模塊，用于將IP地址白名單上傳至服務器；

IP地址白名單獲取模塊，用于接受服務器發送的IP地址白名單，更新自身生成的IP地址白名單；所述服務器發送的IP地址白名單是多個客戶端上報的IP地址白名單生成的包含更多IP地址的IP地址白名單；

判斷所述識別模塊識別的所述抓取請求的來源互聯網協議IP地址是否屬于IP地址白名單中的IP地址，具體包括：確定發起該抓取請求的搜索引擎的域名，在搜素引擎域名與IP地址的對應關系表中查找該域名對應的IP地址，如果查找到的IP地址與該抓取請求的來源IP地址一致，則認為該來源IP地址為IP地址白名單中的地址，如果不一致，則判定該來源IP地址不是IP地址白名單中的地址。

2.如權利要求1所述的防護裝置，其特征在于，所述識別模塊用于檢測到訪問所述網站服務器中資源的訪問請求，獲取檢測到的訪問請求中攜帶的用戶代理UA信息和/或引用referer信息；根據所述UA信息/或referer信息，確定檢測到的訪問請求是否為用于抓取所述網站服務器中的資源的抓取請求。

3.如權利要求1所述的防護裝置，其特征在于，所述IP地址白名單獲取模塊，還包括用于在所述判斷模塊判斷所述來源IP地址是否屬于IP地址白名單中的IP地址之前，獲取包含搜索引擎域名的搜索引擎域名白名單，對搜索引擎域名白名單中的搜索引擎域名進行反向查詢獲取各個搜索引擎域名的IP地址，得到IP地址白名單。

4.如權利要求1所述的防護裝置，其特征在于，所述上報模塊，還包括用于在所述判斷模塊判斷所述來源IP地址不屬于IP地址白名單中的IP地址時，將所述來源IP地址發送給服務器，以使所述服務器確定所述來源IP地址是否屬于搜索引擎的IP地址。

5.如權利要求1所述的防護裝置，其特征在于，所述IP地址白名單為由服務器生成并下發的白名單。

6.一種防止惡意抓取的方法，其特征在于，包括：

位于網站服務器側的防護裝置識別用于抓取所述網站服務器中資源的抓取請求；

判斷所述抓取請求的來源互聯網協議IP地址是否屬于IP地址白名單中的IP地址；

如果所述來源IP地址不屬于IP地址白名單中的IP地址，則攔截所述抓取請求；

還包括將IP地址白名單上傳至服務器并接受服務器發送的IP地址白名單，更新自身生成的IP地址白名單；所述服務器發送的IP地址白名單是多個客戶端上報的IP地址白名單生成的包含更多IP地址的IP地址白名單；

判斷所述抓取請求的來源互聯網協議IP地址是否屬于IP地址白名單中的IP地址，具體包括：確定發起該抓取請求的搜索引擎的域名，在搜素引擎域名與IP地址的對應關系表中查找該域名對應的IP地址，如果查找到的IP地址與該抓取請求的來源IP地址一致，則認為該來源IP地址為IP地址白名單中的地址，如果不一致，則判定該來源IP地址不是IP地址白名單中的地址。

7.如權利要求6所述的方法，其特征在于，所述位于網站服務器側的防護裝置識別用于抓取所述網站服務器中的資源的抓取請求，包括：

所述防護裝置檢測用于訪問所述網站服務器中資源的訪問請求，獲取檢測到的訪問請求中攜帶的UA信息和/或referer信息；根據所述用戶代理UA信息和/或引用referer信息，判斷檢測到的訪問請求是否為用于抓取所述網站服務器中的資源的抓取請求。

8.如權利要求6所述的方法，其特征在于，所述判斷所述抓取請求的來源IP地址是否屬于IP地址白名單中的IP地址之前，所述方法還包括：

獲取包括搜索引擎域名的搜索引擎域名白名單，對搜索引擎域名白名單中的搜索引擎域名進行反向查詢獲取各個搜索引擎域名的IP地址，生成IP地址白名單。