[發明專利]反爬蟲系統及方法

在審

• 申請號: 201910938012.1
• 申請日: 2019-09-29
• 公開（公告）號: CN110708309A
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 毛琴;謝強;陳晨
• 申請（專利權）人: 武漢極意網絡科技有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;H04L29/12
• 代理公司: 44287 深圳市世紀恒程知識產權代理事務所
• 代理人: 梁馨怡

本發明公開了一種反爬蟲系統及方法。該系統包括：域名解析服務器，用于從接收到的流量請求中提取目標服務器對應的域名，根據預存的IP地址映射表，確定域名對應的目標服務器的IP地址和反爬蟲服務器集群的虛擬IP地址，并通過IP地址將流量請求發送至目標服務器，通過虛擬IP地址將流量請求發送至反爬蟲服務器集群；反爬蟲服務器集群，用于根據預設的流量請求分析標準對流量請求進行分析，并將分析結果發送至目標服務器；目標服務器，用于在接收到反爬蟲服務器集群發送的分析結果之后，根據分析結果對流量請求進行處理。通過該方式，有效阻止了基于爬蟲技術非法爬取未授權平臺數據的現象，大大降低了爬蟲風險對未授權平臺的業務影響。

技術領域

本發明涉及信息處理技術領域，尤其涉及一種反爬蟲系統及方法。

背景技術

在當今大數據時代，數據已經成為企業的核心資產之一。隨著各類企業對網絡數據采集的需求不斷增長，爬蟲行業在快速增長，基于爬蟲技術非法爬取未授權平臺數據的現象越來越常見，大量的爬蟲行為不僅會影響正常用戶的訪問，還會給企業帶來極大的威脅。

因此，提供一種反爬蟲系統及方法顯得尤為重要。

上述內容僅用于輔助理解本發明的技術方案，并不代表承認上述內容是現有技術。

發明內容

本發明的主要目的在于提供一種反爬蟲系統及方法，旨在阻止基于爬蟲技術非法爬取未授權平臺數據的現象，從而降低了爬蟲風險對未授權平臺的業務影響。

為實現上述目的，本發明提供一種反爬蟲系統，所述反爬蟲系統包括：域名解析服務器、反爬蟲服務器集群和目標服務器；

所述域名解析服務器，用于從接收到的流量請求中提取所述目標服務器對應的域名，根據預存的互聯網協議IP地址映射表，確定所述域名對應的所述目標服務器的IP地址和所述反爬蟲服務器集群的虛擬IP地址，并通過所述IP地址將所述流量請求發送至所述目標服務器，通過所述虛擬IP地址將所述流量請求發送至所述反爬蟲服務器集群，所述IP地址映射關系表中包括所述域名、目標服務器對應的IP地址，以及所述虛擬IP地址之間的對應關系；

所述反爬蟲服務器集群，用于根據預設的流量請求分析標準對所述流量請求進行分析，并將所述分析結果發送至所述目標服務器；

所述目標服務器，用于在接收到所述反爬蟲服務器集群發送的所述分析結果之后，根據所述分析結果對所述流量請求進行處理。

優選地，所述反爬蟲服務器集群為基于層次結構構建的負載均衡服務器集群，包括主負載均衡節點和若干個子負載均衡節點；

所述主負載均衡節點，用于接收所述域名解析服務器發送的所述流量請求，在接收到所述流量請求后，獲取各個子負載均衡節點對應的負載狀態，根據各個子負載均衡節點對應的負載狀態，從所述若干個子負載均衡節點中選取一個子負載均衡節點作為目標子負載均衡節點，并將所述流量請求發送至所述目標子負載均衡節點；

所述目標子負載均衡節點，用于根據預設的流量請求分析標準對所述流量請求進行分析，并將所述分析結果發送至所述目標服務器。

優選地，所述反爬蟲服務器集群還包括從負載均衡節點，所述主負載均衡節點和所述從負載均衡節點之間預先建立有通信通道；

所述從負載均衡節點，用于通過所述通信通道向所述主負載均衡節點發送檢測報文，并在預設時間內未接收到來自所述主負載均衡節點作出的針對所述檢測報文的應答報文時，接收所述域名解析服務器發送的所述流量請求，在接收到所述流量請求后，獲取各個子負載均衡節點對應的負載狀態，根據各個子負載均衡節點對應的負載狀態，從所述若干個子負載均衡節點中選取一個子負載均衡節點作為目標子負載均衡節點，并將所述流量請求發送至所述目標子負載均衡節點。