[發(fā)明專利]一種反爬蟲方法、服務(wù)器和客戶端有效
| 申請?zhí)枺?/td> | 201810118999.8 | 申請日: | 2018-02-06 |
| 公開(公告)號: | CN108449316B | 公開(公告)日: | 2020-07-03 |
| 發(fā)明(設(shè)計)人: | 蘇思洋;李濤 | 申請(專利權(quán))人: | 麒麟合盛網(wǎng)絡(luò)技術(shù)股份有限公司 |
| 主分類號: | H04L29/06 | 分類號: | H04L29/06;H04L29/08 |
| 代理公司: | 北京國昊天誠知識產(chǎn)權(quán)代理有限公司 11315 | 代理人: | 許志勇 |
| 地址: | 100085 北京市海淀區(qū)信息路2號(北京*** | 國省代碼: | 北京;11 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 爬蟲 方法 服務(wù)器 客戶端 | ||
1.一種反爬蟲方法,其特征在于,所述方法應(yīng)用于服務(wù)器,所述方法包括:
根據(jù)預(yù)設(shè)亂序規(guī)則,對原始數(shù)據(jù)進(jìn)行亂序處理,得到與所述原始數(shù)據(jù)對應(yīng)的亂序數(shù)據(jù);
確定與所述預(yù)設(shè)亂序規(guī)則對應(yīng)的亂序標(biāo)識,其中,所述亂序標(biāo)識用于在客戶端進(jìn)行網(wǎng)頁展示時將所述亂序數(shù)據(jù)轉(zhuǎn)換為所述原始數(shù)據(jù);
根據(jù)所述亂序數(shù)據(jù)和所述亂序標(biāo)識,生成與所述亂序數(shù)據(jù)對應(yīng)的網(wǎng)頁源碼;
在接收到所述客戶端發(fā)送的網(wǎng)頁訪問請求后,向所述客戶端返回所述網(wǎng)頁源碼,以供所述客戶端展示所述原始數(shù)據(jù);
在根據(jù)預(yù)設(shè)亂序規(guī)則,對原始數(shù)據(jù)進(jìn)行亂序處理,得到與所述原始數(shù)據(jù)對應(yīng)的亂序數(shù)據(jù)之前,所述方法還包括:根據(jù)所述原始數(shù)據(jù),隨機(jī)生成所述預(yù)設(shè)亂序規(guī)則;
確定與所述預(yù)設(shè)亂序規(guī)則對應(yīng)的亂序標(biāo)識,包括:
確定所述預(yù)設(shè)亂序規(guī)則對應(yīng)的哈希值;
將所述哈希值確定為所述亂序標(biāo)識;
根據(jù)所述亂序數(shù)據(jù)和所述亂序標(biāo)識,生成與所述亂序數(shù)據(jù)對應(yīng)的網(wǎng)頁源碼,包括:將所述亂序標(biāo)識確定為與所述亂序數(shù)據(jù)對應(yīng)的標(biāo)簽的屬性值。
2.一種反爬蟲方法,其特征在于,所述方法應(yīng)用于客戶端,所述方法包括:
向服務(wù)器發(fā)送用于訪問目標(biāo)網(wǎng)頁的網(wǎng)頁訪問請求;
接收所述服務(wù)器返回的與所述目標(biāo)網(wǎng)頁對應(yīng)的網(wǎng)頁源碼;
根據(jù)所述網(wǎng)頁源碼中與亂序數(shù)據(jù)對應(yīng)的亂序標(biāo)識,將所述亂序數(shù)據(jù)轉(zhuǎn)換為原始數(shù)據(jù),其中,所述亂序數(shù)據(jù)是在所述服務(wù)器中對所述原始數(shù)據(jù)進(jìn)行亂序處理之后得到的;
根據(jù)所述原始數(shù)據(jù),生成所述目標(biāo)網(wǎng)頁;
根據(jù)所述網(wǎng)頁源碼中與亂序數(shù)據(jù)對應(yīng)的亂序標(biāo)識,將所述亂序數(shù)據(jù)轉(zhuǎn)換為原始數(shù)據(jù),包括:
將所述亂序數(shù)據(jù)對應(yīng)的標(biāo)簽的屬性值,確定為與所述亂序數(shù)據(jù)對應(yīng)的亂序標(biāo)識;
根據(jù)所述亂序標(biāo)識,從服務(wù)器獲取與所述亂序標(biāo)識對應(yīng)的預(yù)設(shè)亂序規(guī)則;
根據(jù)所述預(yù)設(shè)亂序規(guī)則,將所述亂序數(shù)據(jù)轉(zhuǎn)換為所述原始數(shù)據(jù)。
3.一種服務(wù)器,其特征在于,包括:
亂序模塊,用于根據(jù)預(yù)設(shè)亂序規(guī)則,對原始數(shù)據(jù)進(jìn)行亂序處理,得到與所述原始數(shù)據(jù)對應(yīng)的亂序數(shù)據(jù);
確定模塊,用于確定與所述預(yù)設(shè)亂序規(guī)則對應(yīng)的亂序標(biāo)識,其中,所述亂序標(biāo)識用于在客戶端進(jìn)行網(wǎng)頁展示時將所述亂序數(shù)據(jù)轉(zhuǎn)換為所述原始數(shù)據(jù);
生成模塊,用于根據(jù)所述亂序數(shù)據(jù)和所述亂序標(biāo)識,生成與所述亂序數(shù)據(jù)對應(yīng)的網(wǎng)頁源碼;
發(fā)送模塊,用于在接收到所述客戶端發(fā)送的網(wǎng)頁訪問請求后,向所述客戶端返回所述網(wǎng)頁源碼,以供所述客戶端展示所述原始數(shù)據(jù);
所述服務(wù)器還包括:隨機(jī)生成模塊,用于根據(jù)所述原始數(shù)據(jù),隨機(jī)生成所述預(yù)設(shè)亂序規(guī)則;
所述確定模塊具體用于:
確定所述預(yù)設(shè)亂序規(guī)則對應(yīng)的哈希值;
將所述哈希值確定為所述亂序標(biāo)識;
所述生成模塊具體用于:將所述亂序標(biāo)識確定為與所述亂序數(shù)據(jù)對應(yīng)的標(biāo)簽的屬性值。
4.一種客戶端,其特征在于,包括:
發(fā)送模塊,用于向服務(wù)器發(fā)送用于訪問目標(biāo)網(wǎng)頁的網(wǎng)頁訪問請求;
接收模塊,用于接收所述服務(wù)器返回的與所述目標(biāo)網(wǎng)頁對應(yīng)的網(wǎng)頁源碼;
確定模塊,用于根據(jù)所述網(wǎng)頁源碼中與亂序數(shù)據(jù)對應(yīng)的亂序標(biāo)識,將所述亂序數(shù)據(jù)轉(zhuǎn)換為原始數(shù)據(jù),其中,所述亂序數(shù)據(jù)是在所述服務(wù)器中對所述原始數(shù)據(jù)進(jìn)行亂序處理之后得到的;
生成模塊,用于根據(jù)所述原始數(shù)據(jù),生成所述目標(biāo)網(wǎng)頁;
所述確定模塊具體用于:
將所述亂序數(shù)據(jù)對應(yīng)的標(biāo)簽的屬性值,確定為與所述亂序數(shù)據(jù)對應(yīng)的亂序標(biāo)識;
根據(jù)所述亂序標(biāo)識,從服務(wù)器獲取與所述亂序標(biāo)識對應(yīng)的預(yù)設(shè)亂序規(guī)則;
根據(jù)所述預(yù)設(shè)亂序規(guī)則,將所述亂序數(shù)據(jù)轉(zhuǎn)換為所述原始數(shù)據(jù)。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于麒麟合盛網(wǎng)絡(luò)技術(shù)股份有限公司,未經(jīng)麒麟合盛網(wǎng)絡(luò)技術(shù)股份有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201810118999.8/1.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 檢測反爬蟲策略安全性的方法及裝置
- 一種監(jiān)控網(wǎng)絡(luò)爬蟲的方法、裝置和系統(tǒng)
- 一種通過爬蟲狀態(tài)機(jī)管理爬蟲的方法及裝置
- 爬蟲協(xié)議管理方法及裝置、爬蟲系統(tǒng)
- 基于APP客戶端的爬蟲及爬取方法
- 視頻業(yè)務(wù)處理方法、裝置及電子設(shè)備
- 一種爬蟲方法、裝置、系統(tǒng)、設(shè)備及可讀存儲介質(zhì)
- 分布式爬蟲系統(tǒng)架構(gòu)、爬取數(shù)據(jù)的方法和計算機(jī)設(shè)備
- 基于scrapy爬蟲框架的數(shù)據(jù)采集系統(tǒng)及方法
- 多中心綜合網(wǎng)絡(luò)爬蟲系統(tǒng)





