[發明專利]爬蟲識別方法、裝置、電子設備及計算機可讀存儲介質

在審

• 申請號: 202210937673.4
• 申請日: 2022-08-05
• 公開（公告）號: CN114996623A
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 左磊;李揚
• 申請（專利權）人: 天聚地合(蘇州)科技股份有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/951;G06F16/955
• 代理公司: 北京德崇智捷知識產權代理有限公司 11467
• 代理人: 王欣

1.一種爬蟲識別方法，應用于網站服務器中，其特征在于，所述方法包括：

復制用戶在預設時間段內的訪問請求至大數據集群；

所述大數據集群對所述訪問請求進行分布式計算；

所述分布式計算包括，單個IP訪問的URL分布和/或單個UA訪問的URL分布；

當所述URL的分布比例超過所述URL的分布比例閾值，和/或所述URL的訪問次序超過所述URL的訪問次序閾值，和/或所述URL的訪問頻率超過所述URL的訪問頻率閾值，和/或所述URL的訪問次數超過所述URL的訪問次數閾值時，判斷所述訪問是爬蟲。

2.如權利要求1所述的方法，其特征在于，所述URL的分布比例閾值包括：

所述URL的分布比例的平均值；

或，所述URL的分布比例的中值；

或，所述URL的分布比例的平均值與所述平均值的權重值相乘獲得第一乘積，所述URL的分布比例的中值與所述URL的分布比例的中值權重值相乘獲得第二乘積，所述第一乘積與所述第二乘積之和作為所述URL的分布比例閾值。

3.如權利要求1所述的方法，其特征在于，所述URL的訪問頻率閾值包括：

所述URL的訪問頻率的平均值；

或，所述URL的訪問頻率的中值；

或，所述URL的訪問頻率的平均值與所述URL的訪問頻率的平均值的權重值相乘獲得第三乘積，所述URL的訪問頻率的中值與所述URL的訪問頻率的中值的權重值相乘獲得第四乘積，所述第三乘積與所述第四乘積之和作為所述URL的訪問頻率閾值。

4.如權利要求1所述的方法，其特征在于，所述URL的訪問次數閾值包括：

所述URL的訪問次數的平均值；

或，所述URL的訪問次數的中值；

或，所述URL的訪問次數的平均值與所述URL的訪問次數平均值的權重值相乘獲得第五乘積，所述URL的訪問次數的中值與所述URL的訪問次數的中值的權重值相乘獲得第六乘積，所述第五乘積與所述第六乘積之和作為所述URL的訪問次數閾值。

5.如權利要求1所述的方法，其特征在于，所述URL的訪問次序閾值包括：

所述URL的訪問對應的時間間隙。

6.一種爬蟲識別裝置，應用于網絡服務器中，其特征在于，包括：

統計模塊，所述統計模塊用于復制用戶在預設時間段內的訪問請求至大數據集群；

大數據集群，所述大數據集群用于對所述訪問請求進行分布式計算；

所述分布式計算包括，單個IP訪問的URL分布和/或單個UA訪問的URL分布；

數據處理模塊，所述數據處理模塊用于當所述URL的分布比例超過所述URL的分布比例閾值，和/或所述URL的訪問次序超過所述URL的訪問次序閾值，和/或所述URL的訪問頻率超過所述URL的訪問頻率閾值，和/或所述URL的訪問次數超過所述URL的訪問次數閾值時，判斷所述訪問是爬蟲。

7.如權利要求6所述的裝置，其特征在于，所述URL的分布比例閾值包括：

所述URL的分布比例的平均值；

或，所述URL的分布比例的中值；

或，所述URL的分布比例的平均值與所述平均值的權重值相乘獲得第一乘積，所述URL的分布比例的中值與所述URL的分布比例的中值權重值相乘獲得第二乘積，所述第一乘積與所述第二乘積之和作為所述URL的分布比例閾值。

8.如權利要求6所述的裝置，其特征在于，所述URL的訪問頻率閾值包括：

所述URL的訪問頻率的平均值；

或，所述URL的訪問頻率的中值；

或，所述URL的訪問頻率的平均值與所述URL的訪問頻率的平均值的權重值相乘獲得第三乘積，所述URL的訪問頻率的中值與所述URL的訪問頻率的中值的權重值相乘獲得第四乘積，所述第三乘積與所述第四乘積之和作為所述URL的訪問頻率閾值。