[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡(luò)的反爬蟲方法

在審

• 申請?zhí)枺?/td>: 201910044091.1
• 申請日: 2019-01-17
• 公開（公告）號: CN109818949A
• 公開（公告）日: 2019-05-28
• 發(fā)明（設(shè)計）人: 王子彤;姜凱;李朋
• 申請（專利權(quán)）人: 濟(jì)南浪潮高新科技投資發(fā)展有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 孫晶偉

1.一種基于神經(jīng)網(wǎng)絡(luò)的反爬蟲方法，其特征是

部署神經(jīng)網(wǎng)絡(luò)于服務(wù)器入口處，對遠(yuǎn)端爬蟲請求特征進(jìn)行識別學(xué)習(xí)，提取爬蟲請求特征的特定內(nèi)容，訓(xùn)練得到相應(yīng)的神經(jīng)網(wǎng)絡(luò)模型與參數(shù)，利用神經(jīng)網(wǎng)絡(luò)模型與參數(shù)檢測遠(yuǎn)端爬蟲請求，輸出當(dāng)前遠(yuǎn)端爬蟲訪問為惡意爬蟲的概率，并反饋至服務(wù)器管理模塊進(jìn)行決策。

2.根據(jù)權(quán)利要求1所述的方法，其特征是部署一種或多種組合神經(jīng)網(wǎng)絡(luò)于服務(wù)器入口處，對遠(yuǎn)端爬蟲請求特征進(jìn)行識別學(xué)習(xí)，提取爬蟲請求特征的特定內(nèi)容，訓(xùn)練并更新得到相應(yīng)的神經(jīng)網(wǎng)絡(luò)模型與參數(shù)。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征是爬蟲請求特征的特定內(nèi)容包括爬蟲特征字段中與正常訪問不一致的特定內(nèi)容，

和/或包括爬蟲當(dāng)前時刻占用頻率最高的IP地址及端口號，限時限定IP地址及端口號訪問權(quán)限的特定內(nèi)容，

和/或包括針對爬蟲時間機(jī)械性訪問特征的特定內(nèi)容。

4.根據(jù)權(quán)利要求3所述的方法，其特征是部署神經(jīng)網(wǎng)絡(luò)于服務(wù)器入口處，對遠(yuǎn)端爬蟲請求的User-Agent字段內(nèi)容、Cookies狀態(tài)數(shù)據(jù)的特征字段進(jìn)行識別學(xué)習(xí)，提取爬蟲特征字段中與正常訪問不一致的特定內(nèi)容，訓(xùn)練并更新相應(yīng)的神經(jīng)網(wǎng)絡(luò)模型與參數(shù)。

5.根據(jù)權(quán)利要求3所述的方法，其特征是部署神經(jīng)網(wǎng)絡(luò)于服務(wù)器入口處，對遠(yuǎn)端爬蟲請求的源IP地址及端口號進(jìn)行識別學(xué)習(xí)，提取出爬蟲當(dāng)前時刻占用頻率最高的IP地址及端口號，限時限定IP地址及端口號訪問權(quán)限的特定內(nèi)容，訓(xùn)練并更新得到相應(yīng)的神經(jīng)網(wǎng)絡(luò)模型與參數(shù)。

6.根據(jù)權(quán)利要求4或5所述的方法，其特征是部署神經(jīng)網(wǎng)絡(luò)于服務(wù)器入口處，對遠(yuǎn)端爬蟲當(dāng)前及歷史時刻的請求中的訪問頻率與間隔時間進(jìn)行識別學(xué)習(xí)，提取出針對爬蟲時間機(jī)械性訪問特征的特定內(nèi)容，訓(xùn)練并更新相應(yīng)的神經(jīng)網(wǎng)絡(luò)模型與參數(shù)。

7.根據(jù)權(quán)利要求6所述的方法，其特征是部署神經(jīng)網(wǎng)絡(luò)于服務(wù)器入口的流量節(jié)點(diǎn)處，對服務(wù)器返回至請求端的流量大小、數(shù)據(jù)所處數(shù)據(jù)庫位置、服務(wù)器與訪問端交互時間的特征進(jìn)行識別學(xué)習(xí)，同時提取出針對爬蟲時間機(jī)械性訪問特征的特定內(nèi)容，訓(xùn)練并更新相應(yīng)的神經(jīng)網(wǎng)絡(luò)模型與參數(shù)。

8.根據(jù)權(quán)利要求1或6所述的方法，其特征是采用硬件加速方式，以專用設(shè)備形式部署于服務(wù)器的各機(jī)器中；

或者采用軟件程序形式，嵌入至服務(wù)器管理系統(tǒng)中；

或者采用硬件加速及軟件程序結(jié)合方式，對爬蟲進(jìn)行限制。