[發(fā)明專利]頁面防抓取方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201711389232.0
• 申請(qǐng)日: 2017-12-21
• 公開（公告）號(hào): CN108173823A
• 公開（公告）日: 2018-06-15
• 發(fā)明（設(shè)計(jì)）人: 張文選
• 申請(qǐng)（專利權(quán)）人: 五八有限公司
• 主分類號(hào): H04L29/06
• 分類號(hào): H04L29/06
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 董建姣;劉芳

本發(fā)明實(shí)施例提供一種頁面防抓取方法及裝置，應(yīng)用于業(yè)務(wù)集群服務(wù)器，所述方法包括：對(duì)于所述業(yè)務(wù)集群服務(wù)器所支持的各項(xiàng)業(yè)務(wù)，均執(zhí)行如下步驟：接收客戶端發(fā)送的頁面獲取請(qǐng)求，所述頁面獲取請(qǐng)求中包括所述頁面獲取請(qǐng)求對(duì)應(yīng)的訪問信息；根據(jù)所述訪問信息和預(yù)設(shè)檢測(cè)策略，確定所述頁面獲取請(qǐng)求的安全檢測(cè)結(jié)果；根據(jù)所述安全檢測(cè)結(jié)果，指示對(duì)應(yīng)的服務(wù)器處理所述頁面獲取請(qǐng)求。提高了對(duì)校驗(yàn)邏輯進(jìn)行維護(hù)的靈活性和效率。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種頁面防抓取方法及裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，網(wǎng)站中包括的數(shù)據(jù)越來越多，且網(wǎng)站中的很多數(shù)據(jù)具有較高的價(jià)值。

目前，很多不良商家為了個(gè)人利益，通過不法手段(例如爬蟲)從其它網(wǎng)站惡意抓取頁面內(nèi)容，這樣，不但導(dǎo)致網(wǎng)站的核心內(nèi)容被盜取，還有可能導(dǎo)致網(wǎng)站的業(yè)務(wù)服務(wù)器出現(xiàn)癱瘓。在現(xiàn)有技術(shù)中，為了避免頁面中的內(nèi)容被惡意抓取，在業(yè)務(wù)服務(wù)器接收到客戶端發(fā)送的頁面獲取請(qǐng)求之后，業(yè)務(wù)服務(wù)器通常會(huì)對(duì)該頁面獲取請(qǐng)求進(jìn)行校驗(yàn)，例如，可以對(duì)頁面獲取請(qǐng)求中的IP地址等信息進(jìn)行校驗(yàn)，在校驗(yàn)通過之后，再向客戶端發(fā)送頁面內(nèi)容。

然而，在現(xiàn)有技術(shù)中，業(yè)務(wù)服務(wù)器對(duì)頁面獲取請(qǐng)求的校驗(yàn)過程嵌入在業(yè)務(wù)服務(wù)器向客戶端提供頁面服務(wù)的業(yè)務(wù)邏輯中，當(dāng)需要對(duì)校驗(yàn)過程進(jìn)行修改時(shí)，均需要對(duì)整個(gè)業(yè)務(wù)邏輯進(jìn)行修改，導(dǎo)致頁面防抓取方法的靈活性差。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種頁面防抓取方法及裝置，提高了對(duì)校驗(yàn)邏輯進(jìn)行維護(hù)的靈活性和效率。

第一方面，本發(fā)明實(shí)施例提供一種頁面防抓取方法，應(yīng)用于業(yè)務(wù)集群服務(wù)器，所述方法包括：

對(duì)于所述業(yè)務(wù)集群服務(wù)器所支持的各項(xiàng)業(yè)務(wù)，均執(zhí)行如下步驟：

接收客戶端發(fā)送的頁面獲取請(qǐng)求，所述頁面獲取請(qǐng)求中包括所述頁面獲取請(qǐng)求對(duì)應(yīng)的訪問信息；

根據(jù)所述訪問信息和預(yù)設(shè)檢測(cè)策略，確定所述頁面獲取請(qǐng)求的安全檢測(cè)結(jié)果；

根據(jù)所述安全檢測(cè)結(jié)果，指示對(duì)應(yīng)的服務(wù)器處理所述頁面獲取請(qǐng)求。

在一種可能的實(shí)施方式中，所述訪問信息中包括所述客戶端的互聯(lián)網(wǎng)協(xié)議IP地址；根據(jù)所述訪問信息和預(yù)設(shè)檢測(cè)策略，確定所述頁面獲取請(qǐng)求的安全檢測(cè)結(jié)果，包括：

根據(jù)所述客戶端的IP地址，判斷預(yù)設(shè)緩存中是否存儲(chǔ)有所述客戶端的IP地址對(duì)應(yīng)的安全檢測(cè)結(jié)果；

若是，則將所述客戶端的IP地址對(duì)應(yīng)的安全檢測(cè)結(jié)果確定為所述訪問信息對(duì)應(yīng)的安全檢測(cè)結(jié)果；

若否，則確定所述訪問信息對(duì)應(yīng)的安全檢測(cè)結(jié)果為安全。

在另一種可能的實(shí)施方式中，確定所述訪問信息對(duì)應(yīng)的安全檢測(cè)結(jié)果為安全之后，還包括：

通過分布式消息系統(tǒng)在所述訪問信息中獲取所述客戶端的超文本傳輸協(xié)議HTTP請(qǐng)求信息；

根據(jù)所述客戶端的IP地址和HTTP請(qǐng)求信息中的至少一種，按照所述預(yù)設(shè)檢測(cè)策略，確定所述客戶端的IP地址對(duì)應(yīng)安全檢測(cè)結(jié)果；

將所述客戶端的IP地址和所述安全檢測(cè)結(jié)果存儲(chǔ)至所述預(yù)設(shè)緩存中。

在另一種可能的實(shí)施方式中，根據(jù)所述客戶端的IP地址和HTTP請(qǐng)求信息中的至少一種，確定所述客戶端的IP地址對(duì)應(yīng)安全檢測(cè)結(jié)果，包括：

獲取預(yù)設(shè)黑名單或者預(yù)設(shè)白名單，所述預(yù)設(shè)黑名單和所述預(yù)設(shè)白名單在多個(gè)業(yè)務(wù)線之間共享；

若所述客戶端的IP地址在所述預(yù)設(shè)黑名單中，則確定所述客戶端的IP地址對(duì)應(yīng)的安全檢測(cè)結(jié)果為不安全；

若所述客戶端的IP地址在所述預(yù)設(shè)白名單中，則確定所述客戶端的IP地址對(duì)應(yīng)的安全檢測(cè)結(jié)果為安全。