[發(fā)明專利]一種攔截爬蟲(chóng)的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201610286250.5
• 申請(qǐng)日: 2016-05-03
• 公開(kāi)（公告）號(hào): CN107341395B
• 公開(kāi)（公告）日: 2020-03-03
• 發(fā)明（設(shè)計(jì)）人: 王向維;韓笑躍;王飛;謝剛;費(fèi)艷茹;韓勇
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司
• 主分類號(hào): G06F21/55
• 分類號(hào): G06F21/55
• 代理公司: 北京德琦知識(shí)產(chǎn)權(quán)代理有限公司 11018
• 代理人: 梁少微;王麗琴

本發(fā)明公開(kāi)了一種攔截爬蟲(chóng)的方法，該方法包括：服務(wù)器端接收到客戶端發(fā)送的訪問(wèn)頁(yè)面的訪問(wèn)請(qǐng)求后，獲取訪問(wèn)請(qǐng)求中的用戶IP字段、用戶代理UA字段、Referer字段以及cookie字段；根據(jù)過(guò)濾條件，選擇所述字段的任意組合同時(shí)進(jìn)行過(guò)濾，確定出不符合要求的字段；服務(wù)器端對(duì)不符合要求的字段所對(duì)應(yīng)的訪問(wèn)請(qǐng)求進(jìn)行攔截，將要訪問(wèn)頁(yè)面的分類第一頁(yè)響應(yīng)給客戶端。采用本發(fā)明能夠有效攔截爬蟲(chóng)訪問(wèn)。

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)技術(shù)，特別涉及一種攔截爬蟲(chóng)的方法。

背景技術(shù)

網(wǎng)絡(luò)爬蟲(chóng)是搜索引擎技術(shù)的基礎(chǔ)組成部分。網(wǎng)絡(luò)爬蟲(chóng)技術(shù)是從一個(gè)或若干初始網(wǎng)頁(yè)的URL(Uniform Resource Locator，統(tǒng)一資源定位符)開(kāi)始，獲得初始網(wǎng)頁(yè)上的URL，在抓取網(wǎng)頁(yè)信息的過(guò)程中，根據(jù)網(wǎng)頁(yè)的抓取策略，不斷從當(dāng)前網(wǎng)頁(yè)上抽取新的URL放入隊(duì)列，直到滿足某種停止條件。然后將抓取到的網(wǎng)頁(yè)信息存儲(chǔ)在搜索引擎的服務(wù)器中。

現(xiàn)有技術(shù)中，為了確保正常用戶的訪問(wèn)，有些網(wǎng)站采取過(guò)濾用戶IP的方法，或者過(guò)濾HTTP請(qǐng)求的特定UA(User-Agent，用戶代理)頭的方法來(lái)攔截來(lái)自網(wǎng)絡(luò)爬蟲(chóng)的訪問(wèn)，但是，在訪問(wèn)量非常大的情況下，當(dāng)很多正常用戶共用一個(gè)IP的情況下，會(huì)將這些正常用戶誤認(rèn)為是網(wǎng)絡(luò)爬蟲(chóng)從而被過(guò)濾掉。另一方面，根據(jù)HTTP協(xié)議規(guī)范，User-Agent頭的值是可以任意設(shè)置的，因此很多網(wǎng)絡(luò)爬蟲(chóng)都把自己的User-Agent頭設(shè)置成與普通的瀏覽器一樣來(lái)逃避過(guò)濾，所以導(dǎo)致攔截網(wǎng)絡(luò)爬蟲(chóng)的效率不高。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種攔截爬蟲(chóng)的方法，能夠有效攔截爬蟲(chóng)訪問(wèn)。

為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提供了一種攔截爬蟲(chóng)的方法，該方法包括：

服務(wù)器端接收到客戶端發(fā)送的訪問(wèn)頁(yè)面的訪問(wèn)請(qǐng)求后，獲取訪問(wèn)請(qǐng)求中的用戶IP字段、用戶代理UA字段、Referer字段以及cookie字段；根據(jù)過(guò)濾條件，選擇所述字段的任意組合同時(shí)進(jìn)行過(guò)濾，確定出不符合要求的字段；

服務(wù)器端對(duì)不符合要求的字段所對(duì)應(yīng)的訪問(wèn)請(qǐng)求進(jìn)行攔截，將要訪問(wèn)頁(yè)面的分類第一頁(yè)響應(yīng)給客戶端。

綜上所述，本發(fā)明實(shí)施例提供的攔截爬蟲(chóng)的方法，在本發(fā)明實(shí)施例中，服務(wù)器端接收到客戶端發(fā)送的訪問(wèn)頁(yè)面的訪問(wèn)請(qǐng)求后，獲取訪問(wèn)請(qǐng)求中的用戶IP字段、用戶代理UA字段、Referer字段以及cookie字段；根據(jù)過(guò)濾條件，選擇所述字段的任意組合同時(shí)進(jìn)行過(guò)濾，確定出不符合要求的字段；對(duì)不符合要求的字段所對(duì)應(yīng)的訪問(wèn)請(qǐng)求進(jìn)行攔截，將要訪問(wèn)頁(yè)面的分類第一頁(yè)響應(yīng)給客戶端。由此可見(jiàn)，本發(fā)明為防止爬蟲(chóng)影響正常用戶訪問(wèn)服務(wù)器端，通過(guò)四種攔截手段，并行處理，來(lái)保證攔截爬蟲(chóng)率。因此，應(yīng)用本發(fā)明之后，有效提高了爬蟲(chóng)的攔截率，降低了服務(wù)器的壓力，保證網(wǎng)站穩(wěn)定和高并發(fā)。并且正常用戶的訪問(wèn)也不會(huì)被攔截。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例攔截爬蟲(chóng)的方法流程示意圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下參照附圖并舉實(shí)施例，對(duì)本發(fā)明所述方案作進(jìn)一步地詳細(xì)說(shuō)明。

本發(fā)明為確保瀏覽器的正常訪問(wèn)，有效攔截爬蟲(chóng)，通過(guò)四種攔截手段，并行處理，來(lái)保證攔截爬蟲(chóng)率。這四種攔截手段包括設(shè)置IP黑名單、設(shè)置UA黑名單、判斷Referer字段非法、判斷cookie值非法，每種攔截手段都是獨(dú)立并行的，互相不會(huì)影響，可以根據(jù)具體網(wǎng)站訪問(wèn)情況，在接收到客戶端發(fā)送的訪問(wèn)頁(yè)面的HTTP請(qǐng)求后，采用多個(gè)攔截手段的組合，在最大程度上攔截爬蟲(chóng)。

本發(fā)明實(shí)施例公開(kāi)了一種攔截爬蟲(chóng)的方法，包括以下步驟，流程示意圖如圖1所示。