[發(fā)明專利]一種網(wǎng)站內(nèi)容防抓取的方法

在審

• 申請?zhí)枺?/td>: 201110222891.1
• 申請日: 2011-08-04
• 公開（公告）號(hào): CN102916935A
• 公開（公告）日: 2013-02-06
• 發(fā)明（設(shè)計(jì)）人: 劉翔;黃有富;彭平源;管燕卿
• 申請（專利權(quán)）人: 深圳華強(qiáng)電子交易網(wǎng)絡(luò)有限公司
• 主分類號(hào): H04L29/06
• 分類號(hào): H04L29/06;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種網(wǎng)站內(nèi)容防抓取的方法，包括以下步驟：

(1)首先建立判斷抓取行為的規(guī)則；

(2)WEB服務(wù)器端獲取客戶端信息，獲取后傳遞給防抓系統(tǒng)服務(wù)器；

(3)防抓系統(tǒng)服務(wù)器根據(jù)WEB服務(wù)器端傳遞的信息進(jìn)行驗(yàn)證，將驗(yàn)證標(biāo)識(shí)結(jié)果返回給WEB服務(wù)器端，而WEB服務(wù)器端根據(jù)驗(yàn)證結(jié)果決定是否執(zhí)行請求頁面的數(shù)據(jù)查詢或者輸出拒絕訪問的提示。

2.如權(quán)利要求1所述的網(wǎng)站內(nèi)容防抓取的方法，其特征在于：所述步驟(1)中的規(guī)則由客戶端IP單位時(shí)間內(nèi)請求服務(wù)器端的次數(shù)、請求訪問的路徑組成。

3.如權(quán)利要求1所述的網(wǎng)站內(nèi)容防抓取的方法，其特征在于：所述步驟(2)中的客戶端信息包括IP地址、請求URL地址以及當(dāng)前請求的時(shí)間。

4.如權(quán)利要求1所述的網(wǎng)站內(nèi)容防抓取的方法，其特征在于：所述步驟(3)中防抓系統(tǒng)服務(wù)器設(shè)定單位時(shí)間和請求上限數(shù)，超出該時(shí)間及次數(shù)則判為屬于抓取行為。

5.如權(quán)利要求1所述的網(wǎng)站內(nèi)容防抓取的方法，其特征在于：所述步驟(3)中設(shè)定列入黑名單的限制時(shí)長，在該時(shí)間內(nèi)，該客戶端都屬被拒絕。

6.如權(quán)利要求1所述的網(wǎng)站內(nèi)容防抓取的方法，其特征在于：所述步驟(3)進(jìn)一步包括黑名單表和客戶狀態(tài)表，存儲(chǔ)于服務(wù)器內(nèi)存中；

黑名單表存儲(chǔ)客戶端IP地址、被列入黑名單時(shí)的時(shí)間以及限制時(shí)長；

客戶狀態(tài)表存儲(chǔ)單位時(shí)間所有請求的客戶端信息，包括客戶端IP地址、首次請求的時(shí)間及請求的總次數(shù)。

7.如權(quán)利要求1或6所述的網(wǎng)站內(nèi)容防抓取的方法，其特征在于：所述步驟(3)中，還設(shè)有定時(shí)自動(dòng)更新機(jī)制，在預(yù)定時(shí)間內(nèi)對黑名單表及客戶狀態(tài)表的數(shù)據(jù)進(jìn)行更新。

8.如權(quán)利要求1或7所述的網(wǎng)站內(nèi)容防抓取的方法，其特征在于：所述定時(shí)更新的過程中，首先取出黑名單表所有客戶端的記錄進(jìn)行循環(huán)，根據(jù)每筆記錄的限制時(shí)長進(jìn)行判斷，判斷當(dāng)時(shí)被列入黑名單時(shí)的時(shí)間與當(dāng)前時(shí)間間隔是否大于等于限制時(shí)長，如果是，則將該筆客戶端記錄從黑名單表中移除；如果否，則不作處理。

9.如權(quán)利要求1或7所述的網(wǎng)站內(nèi)容防抓取的方法，其特征在于：所述定時(shí)更新的過程中，首先取出客戶狀態(tài)表數(shù)據(jù)進(jìn)行循環(huán)，判斷首次請求時(shí)間與當(dāng)前時(shí)間間隔是否大于等于單位時(shí)間，如果是，則將該客戶端從客戶狀態(tài)表移除；如果否，則不作處理。

10.如權(quán)利要求1或6所述的網(wǎng)站內(nèi)容防抓取的方法，其特征在于：所述黑名單表中所有客戶端的限制時(shí)長值都是默認(rèn)全局設(shè)定的限制時(shí)長值，通過修改黑名單表的限制時(shí)長值即可修改客戶端的限制時(shí)長。