[發(fā)明專利]一種網(wǎng)絡(luò)爬蟲識別方法在審
| 申請?zhí)枺?/td> | 202011628116.1 | 申請日： | 2020-12-31 |
| 公開（公告）號： | CN112583857A | 公開（公告）日： | 2021-03-30 |
| 發(fā)明（設(shè)計）人： | 李茜;阮沐陽;劉慧斯;張桂福 | 申請（專利權(quán)）人： | 湘潭大學 |
| 主分類號： | H04L29/06 | 分類號： | H04L29/06;G06F16/955;G06F16/951 |
| 代理公司： | 暫無信息 | 代理人： | 暫無信息 |
| 地址： | 411105 湖南*** | 國省代碼： | 湖南;43 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 網(wǎng)絡(luò) 爬蟲 識別 方法 | ||
1.一種網(wǎng)絡(luò)爬蟲識別方法，其特征在于，步驟包括：
S1、設(shè)置黑名單，將已知的爬蟲請求對應(yīng)的源IP地址記錄在黑名單中；
S2、對接收到的請求的源IP地址進行判斷，如果在黑名單中，則將該請求識別為網(wǎng)絡(luò)爬蟲，并執(zhí)行步驟S5；
S3、統(tǒng)計請求次數(shù)，計算請求頻率，如果平均每分鐘內(nèi)請求次數(shù)大于60次，則將該請求識別為網(wǎng)絡(luò)爬蟲，將該請求的源IP加入黑名單，并執(zhí)行步驟S5；
S4、對接收到的請求的URL鏈接進行判斷，如果為特殊設(shè)置的URL則將該請求識別為網(wǎng)絡(luò)爬蟲，并將該請求的源IP加入黑名單；
S5、結(jié)束識別。
2.根據(jù)權(quán)利要求1所述的一種網(wǎng)絡(luò)爬蟲識別方法，其特征在于，步驟S2中，進行判斷需要將接收到的請求的源IP地址與黑名單中全部的IP地址進行比對。
3.根據(jù)權(quán)利要求1所述的一種網(wǎng)絡(luò)爬蟲識別方法，其特征在于，步驟S3中，計算請求頻率的規(guī)則為用10分鐘內(nèi)請求的總次數(shù)除以10，計算出平均每分鐘內(nèi)請求的次數(shù)。
4.根據(jù)權(quán)利要求1所述的一種網(wǎng)絡(luò)爬蟲識別方法，其特征在于，步驟S4中，所述特殊設(shè)置的URL的格式為：a href=“URL_LINK”/a。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于湘潭大學，未經(jīng)湘潭大學許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011628116.1/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 網(wǎng)絡(luò)和網(wǎng)絡(luò)終端
- 網(wǎng)絡(luò)DNA
- 網(wǎng)絡(luò)地址自適應(yīng)系統(tǒng)和方法及應(yīng)用系統(tǒng)和方法
- 網(wǎng)絡(luò)系統(tǒng)及網(wǎng)絡(luò)至網(wǎng)絡(luò)橋接器
- 一種電力線網(wǎng)絡(luò)中根節(jié)點網(wǎng)絡(luò)協(xié)調(diào)方法和系統(tǒng)
- 一種多網(wǎng)絡(luò)定位方法、存儲介質(zhì)及移動終端
- 網(wǎng)絡(luò)裝置、網(wǎng)絡(luò)系統(tǒng)、網(wǎng)絡(luò)方法以及網(wǎng)絡(luò)程序
- 從重復(fù)網(wǎng)絡(luò)地址自動恢復(fù)的方法、網(wǎng)絡(luò)設(shè)備及其存儲介質(zhì)
- 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、裝置及存儲介質(zhì)
- 網(wǎng)絡(luò)管理方法和裝置
- 檢測反爬蟲策略安全性的方法及裝置
- 一種監(jiān)控網(wǎng)絡(luò)爬蟲的方法、裝置和系統(tǒng)
- 一種通過爬蟲狀態(tài)機管理爬蟲的方法及裝置
- 爬蟲協(xié)議管理方法及裝置、爬蟲系統(tǒng)
- 基于APP客戶端的爬蟲及爬取方法
- 視頻業(yè)務(wù)處理方法、裝置及電子設(shè)備
- 一種爬蟲方法、裝置、系統(tǒng)、設(shè)備及可讀存儲介質(zhì)
- 分布式爬蟲系統(tǒng)架構(gòu)、爬取數(shù)據(jù)的方法和計算機設(shè)備
- 基于scrapy爬蟲框架的數(shù)據(jù)采集系統(tǒng)及方法
- 多中心綜合網(wǎng)絡(luò)爬蟲系統(tǒng)
