[發明專利]基于Web訪問日志的爬蟲行為識別方法及裝置

在審

• 申請號: 201810889455.1
• 申請日: 2018-08-07
• 公開（公告）號: CN109241733A
• 公開（公告）日: 2019-01-18
• 發明（設計）人: 樊恒陽;潘鈞康
• 申請（專利權）人: 北京神州綠盟信息安全科技股份有限公司;北京神州綠盟科技有限公司
• 主分類號: G06F21/55
• 分類號: G06F21/55;G06F16/951
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

1.一種基于Web訪問日志的爬蟲行為識別方法，其特征在于，所述方法包括：

獲取待識別訪問源的訪問日志，所述待識別訪問源是由源IP地址和客戶端的用戶代理標識確定的；

根據所述訪問日志中的訪問時間、訪問統一資源定位符URL和所述訪問URL對應的引用URL，獲取預設時間段內的所述待識別訪問源所訪問獨立頁面的訪問特征信息，其中，所述獨立頁面為所述訪問URL出度不為0的頁面，所述訪問特征信息為所述待識別訪問源所訪問獨立頁面的訪問行為信息；

根據所述訪問特征信息，確定所述待識別訪問源具有爬蟲行為。

2.如權利要求1所述的方法，其特征在于，所述訪問特征信息包括訪問速率，以及訪問隨機性和訪問數量中的至少一種訪問特征信息；

所述根據所述訪問日志中的訪問時間、訪問URL和所述訪問URL對應的引用URL，獲取所述待識別訪問源所訪問獨立頁面的訪問特征信息，包括：

根據所述訪問日志中的訪問URL和所述訪問URL對應的引用URL，提取所述訪問URL中的所述至少兩個獨立頁面；

根據所述訪問時間和提取的所述至少兩個獨立頁面，獲取預設時間段內的訪問速率、以及訪問隨機性和訪問數量中的至少一種訪問特征信息。

3.如權利要求2所述的方法，其特征在于，所述根據所述訪問特征信息，確定所述待識別訪問源具有爬蟲行為，包括：

若所述訪問特征信息滿足所述預設爬蟲訪問條件，則確定所述待識別訪問源具有爬蟲行為；

其中，當所述訪問特征信息包括所述訪問速率和所述訪問隨機性時，所述預設爬蟲訪問條件包括：所述訪問速率大于預設訪問速率和訪問不具有隨機性；

當所述訪問特征信息包括所述訪問速率、所述訪問隨機性、所述訪問數量時，所述預設爬蟲訪問條件包括：所述訪問速率大于預設訪問速率、訪問不具有隨機性和所述訪問數量大于預設訪問數量；

當所述訪問特征信息包括所述訪問速率和所述訪問數量時，所述預設爬蟲訪問條件包括：所述訪問速率大于預設訪問速率、所述訪問數量大于預設訪問數量。

4.如權利要求3所述的方法，其特征在于，所述訪問特征信息還包括重復訪問率；

若所述訪問特征信息滿足所述預設爬蟲訪問條件，則確定所述待識別訪問源具有爬蟲行為，包括：

當所述訪問特征信息包括所述訪問速率、所述訪問隨機性、所述訪問數量和所述重復訪問率時，所述預設爬蟲訪問條件包括：所述訪問速率大于預設訪問速率、訪問不具有隨機性、所述訪問數量大于預設訪問數量和所述重復訪問率小于預設重復訪問率；

當所述訪問特征信息包括所述訪問速率、所述訪問隨機性和所述重復訪問率時，所述預設爬蟲訪問條件包括：所述訪問速率大于預設訪問速率、訪問不具有隨機性和所述重復訪問率小于預設重復訪問率；

當所述訪問特征信息包括所述訪問速率、所述訪問數量和所述重復訪問率時，所述預設爬蟲訪問條件包括：所述訪問速率大于預設訪問速率、所述訪問數量大于預設訪問數量和所述重復訪問率小于預設重復訪問率。

5.如權利要求1所述的方法，其特征在于，所述確定所述待識別訪問源具有爬蟲行為之后，所述方法還包括：

向客戶端發送提示信息，所述提示信息用于向用戶展示所述待識別訪問源具有爬蟲行為。

6.如權利要求1所述的方法，其特征在于，獲取預設時間段內的所述待識別訪問源所訪問獨立頁面的訪問特征信息之前，所述方法還包括：

查詢所述待識別訪問源的訪問日志，獲取所述訪問日志中的多個訪問路徑，所述訪問路徑為所述待識別訪問源所訪問的訪問URL形成的路徑；

提取所述多個訪問路徑中訪問URL的出度不為0的頁面作為獨立頁面。