[發(fā)明專利]基于代理IP地址池的爬蟲行為檢測方法、裝置及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011164587.1
• 申請日: 2020-10-27
• 公開（公告）號: CN112383513B
• 公開（公告）日: 2023-03-14
• 發(fā)明（設(shè)計）人: 許祥
• 申請（專利權(quán)）人: 杭州數(shù)夢工場科技有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40;H04L61/5061;H04L61/59
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張大威

1.一種基于代理IP地址池的爬蟲行為檢測方法，其特征在于，包括：

獲取待測請求數(shù)據(jù)；

若所述待測請求數(shù)據(jù)的源IP地址為待測代理IP地址，則確定所述待測代理IP地址屬于的目標代理IP地址池，所述目標代理IP地址池屬于至少一個代理IP地址池，所述代理IP地址池具有對應(yīng)的訪問行為特征，其中，所述訪問行為特征用于描述所述代理IP地址池中的代理IP地址的整體的訪問情況；

根據(jù)所述目標代理IP地址池的目標訪問行為特征，檢測所述待測請求數(shù)據(jù)是否存在惡意爬蟲行為；

在所述獲取待測請求數(shù)據(jù)之前，所述方法還包括：

獲取針對網(wǎng)絡(luò)應(yīng)用的多條請求數(shù)據(jù)，所述請求數(shù)據(jù)包括：源IP地址，并從多個所述源IP地址中確定出代理IP地址；

解析所述請求數(shù)據(jù)，得到對應(yīng)的Cookie和/或User＿agent；

根據(jù)所述Cookie和/或所述User＿agent，結(jié)合分組策略對所述代理IP地址進行分組，以形成至少一個所述代理IP地址池；

其中，所述代理IP地址池內(nèi)的代理IP地址對應(yīng)相同的用戶側(cè)設(shè)備；

其中，通過抽取所述請求數(shù)據(jù)之中Cookie字段的鍵值對應(yīng)的session數(shù)據(jù)作為所述Cookie。

2.如權(quán)利要求1所述的方法，其特征在于，在所述從多個所述源IP地址中確定出代理IP地址之后，還包括：

根據(jù)多個所述源IP地址中除所述代理IP地址之外的其他源IP地址，形成源IP地址列表；

在所述獲取待測請求數(shù)據(jù)后，還包括：

判斷所述待測請求數(shù)據(jù)的源IP地址是否在所述源IP地址列表中；

若所述待測請求數(shù)據(jù)的源IP地址在所述源IP地址列表中，則采用通用的惡意爬蟲行為檢測方法檢測所述待測請求數(shù)據(jù)是否存在惡意爬蟲行為。

3.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述Cookie和/或所述User＿agent，結(jié)合分組策略對所述代理IP地址進行分組，以形成至少一個所述代理IP地址池，包括：

判斷各個所述代理IP地址的Cookie對應(yīng)的目標鍵值是否相同；

將具有相同所述目標鍵值的代理IP地址劃分至同一個第一代理IP地址分組中，得到多個所述第一代理IP地址分組；

根據(jù)所述第一代理IP地址分組形成基于所述Cookie的代理IP地址池。

4.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述Cookie和/或所述User＿agent，結(jié)合分組策略對所述代理IP地址進行分組，以形成至少一個所述代理IP地址池，包括：

判斷各個所述代理IP地址的User＿agent是否相同；

將具有相同的User＿agent的代理IP地址劃分至同一個第二代理IP地址分組中，得到多個所述第二代理IP地址分組；

根據(jù)所述第二代理IP地址分組中各個代理IP地址的訪問參數(shù)，對所述第二代理IP地址分組進行優(yōu)化調(diào)整；

根據(jù)優(yōu)化調(diào)整后的第二代理IP地址分組形成基于所述User＿agent字段的代理IP地址池。

5.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述Cookie和/或所述User＿agent，結(jié)合分組策略對所述代理IP地址進行分組，以形成至少一個所述代理IP地址池，包括：

判斷各個所述代理IP地址的Cookie對應(yīng)的目標鍵值是否相同，并判斷各個所述代理IP地址的User＿agent是否相同；

將具有相同所述目標鍵值的代理IP地址劃分至同一個第一代理IP地址分組中，得到多個所述第一代理IP地址分組；

將具有相同的User＿agent的代理IP地址劃分至同一個第二代理IP地址分組中，得到多個所述第二代理IP地址分組；

根據(jù)所述第二代理IP地址分組中各個代理IP地址的訪問參數(shù)，對所述第二代理IP地址分組進行優(yōu)化調(diào)整；

根據(jù)所述第一代理IP地址分組形成基于所述Cookie的代理IP地址池，并根據(jù)優(yōu)化調(diào)整后的第二代理IP地址分組形成基于所述User＿agent字段的代理IP地址池。