[發明專利]反爬蟲系統及方法

在審

• 申請號: 201910938012.1
• 申請日: 2019-09-29
• 公開（公告）號: CN110708309A
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 毛琴;謝強;陳晨
• 申請（專利權）人: 武漢極意網絡科技有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;H04L29/12
• 代理公司: 44287 深圳市世紀恒程知識產權代理事務所
• 代理人: 梁馨怡

1.一種反爬蟲系統，其特征在于，所述系統包括：域名解析服務器、反爬蟲服務器集群和目標服務器；

所述域名解析服務器，用于從接收到的流量請求中提取所述目標服務器對應的域名，根據預存的互聯網協議IP地址映射表，確定所述域名對應的所述目標服務器的IP地址和所述反爬蟲服務器集群的虛擬IP地址，并通過所述IP地址將所述流量請求發送至所述目標服務器，通過所述虛擬IP地址將所述流量請求發送至所述反爬蟲服務器集群，所述IP地址映射關系表中包括所述域名、目標服務器對應的IP地址，以及所述虛擬IP地址之間的對應關系；

所述反爬蟲服務器集群，用于根據預設的流量請求分析標準對所述流量請求進行分析，并將所述分析結果發送至所述目標服務器；

所述目標服務器，用于在接收到所述反爬蟲服務器集群發送的所述分析結果之后，根據所述分析結果對所述流量請求進行處理。

2.如權利要求1所述的系統，其特征在于，所述反爬蟲服務器集群為基于層次結構構建的負載均衡服務器集群，包括主負載均衡節點和若干個子負載均衡節點；

所述主負載均衡節點，用于接收所述域名解析服務器發送的所述流量請求，在接收到所述流量請求后，獲取各個子負載均衡節點對應的負載狀態，根據各個子負載均衡節點對應的負載狀態，從所述若干個子負載均衡節點中選取一個子負載均衡節點作為目標子負載均衡節點，并將所述流量請求發送至所述目標子負載均衡節點；

所述目標子負載均衡節點，用于根據預設的流量請求分析標準對所述流量請求進行分析，并將所述分析結果發送至所述目標服務器。

3.如權利要求2所述的系統，其特征在于，所述反爬蟲服務器集群還包括從負載均衡節點，所述主負載均衡節點和所述從負載均衡節點之間預先建立有通信通道；

所述從負載均衡節點，用于通過所述通信通道向所述主負載均衡節點發送檢測報文，并在預設時間內未接收到來自所述主負載均衡節點作出的針對所述檢測報文的應答報文時，接收所述域名解析服務器發送的所述流量請求，在接收到所述流量請求后，獲取各個子負載均衡節點對應的負載狀態，根據各個子負載均衡節點對應的負載狀態，從所述若干個子負載均衡節點中選取一個子負載均衡節點作為目標子負載均衡節點，并將所述流量請求發送至所述目標子負載均衡節點。

4.如權利要求2或3所述的系統，其特征在于，所述域名解析服務器，還用于在確定所述域名對應的所述反爬蟲服務器集群的虛擬IP地址后，根據預存的第一對應關系，通過所述主負載均衡節點的物理地址將所述流量請求發送至所述主負載均衡節點，所述第一對應關系為所述虛擬IP地址與所述主負載均衡節點的物理地址之間的對應關系；

或者，所述域名解析服務器，還用于在確定所述域名對應的所述反爬蟲服務器集群的虛擬IP地址后，根據預存的第二對應關系，通過所述從負載均衡節點的物理地址將所述流量請求發送至所述從負載均衡節點，所述第二對應關系為所述虛擬IP地址與所述從負載均衡節點的物理地址之間的對應關系。

5.如權利要求1所述的系統，其特征在于，所述反爬蟲服務器集群，還用于根據所述分析結果制定反爬蟲策略，并將所述反爬蟲策略發送至所述目標服務器；

相應地，所述目標服務器，還用于根據所述分析結果和所述反爬蟲策略，對所述流量請求進行處理。

6.一種反爬蟲方法，其特征在于，應用于反爬蟲系統，所述反爬蟲系統包括：域名解析服務器、反爬蟲服務器集群和目標服務器；

所述反爬蟲方法包括以下步驟：

所述域名解析服務器從接收到的流量請求中提取所述目標服務器對應的域名，根據預存的互聯網協議IP地址映射表，確定所述域名對應的所述目標服務器的IP地址和所述反爬蟲服務器集群的虛擬IP地址，并通過所述IP地址將所述流量請求發送至所述目標服務器，通過所述虛擬IP地址將所述流量請求發送至所述反爬蟲服務器集群，所述IP地址映射關系表中包括所述域名、目標服務器對應的IP地址，以及所述虛擬IP地址之間的對應關系；

所述反爬蟲服務器集群根據預設的流量請求分析標準對所述流量請求進行分析，并將所述分析結果發送至所述目標服務器；

所述目標服務器在接收到所述反爬蟲服務器集群發送的所述分析結果之后，根據所述分析結果對所述流量請求進行處理。