[發明專利]網絡爬蟲識別方法、裝置、計算機設備和存儲介質

有效

• 申請號: 201810031350.2
• 申請日: 2018-01-12
• 公開（公告）號: CN108228864B
• 公開（公告）日: 2019-08-20
• 發明（設計）人: 李武奇
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 謝曲曲

1.一種網絡爬蟲識別方法，所述方法包括：

接收多個資源訪問請求，每個資源訪問請求中包含請求端標識和資源標識；

提取相同請求端標識所對應的資源標識，形成每個請求端的資源標識集合；

將所述資源標識集合中的所有資源標識和預設的資源結構樹中的資源節點進行匹配，將與所述資源標識相匹配的資源節點作為訪問節點；

若一個訪問節點的父節點不是訪問節點，將所述訪問節點標記為孤立的訪問節點；

當存在孤立的訪問節點時，判定所述資源標識集合對應的請求端為通過網絡爬蟲發起資源訪問請求的請求端。

2.根據權利要求1所述的方法，其特征在于，在所述將所述資源標識集合中的所有資源標識和預設的資源結構樹中的資源節點進行匹配，將與所述資源標識相匹配的資源節點作為訪問節點之后，還包括：

當不存在孤立的訪問節點時，統計每個訪問節點與資源標識集合中的資源標識匹配的匹配次數；

獲取每個訪問節點的節點權重；

根據每個訪問節點的匹配次數和相應的節點權重進行計算，得到與所述資源標識集合對應的綜合權重；

當所述綜合權重小于預設權重時，則判定所述資源標識集合對應的請求端為通過網絡爬蟲發起資源訪問請求的請求端。

3.根據權利要求2所述的方法，其特征在于，所述獲取每個訪問節點的節點權重，包括：

計算訪問節點所對應的子頁面資源與所述訪問節點的父節點所對應的父頁面資源的頁面相似度；

統計所述子頁面資源中包含的無關資源的第一數量，和所述子頁面資源中包含的更新資源的第二數量，所述更新資源為父頁面資源中不包含的無關資源；

根據所述頁面相似度、第一數量和第二數量進行計算，得到每個訪問節點的節點權重。

4.根據權利要求3所述的方法，其特征在于，所述無關資源包括圖片資源、JS腳本資源及廣告資源中的至少一種。

5.根據權利要求1所述的方法，其特征在于，在所述將所述資源標識集合中的所有資源標識和預設的資源結構樹中的資源節點進行匹配，將與所述資源標識相匹配的資源節點作為訪問節點之后，還包括：

當不存在孤立的訪問節點時，統計每個訪問節點與資源標識集合中的資源標識匹配的匹配次數；

當存在所述匹配次數大于預設次數的訪問節點時，則判定所述資源標識集合對應的請求端為通過網絡爬蟲發起資源訪問請求的請求端。

6.根據權利要求1至5任意一項所述的方法，其特征在于，在所述判定所述資源標識集合對應的請求端為通過網絡爬蟲發起資源訪問請求的請求端之后，還包括：

發送身份驗證頁面至所述網絡爬蟲所對應的請求端進行身份驗證。

7.根據權利要求1至5任意一項所述的方法，其特征在于，在所述判定所述資源標識集合對應的請求端為通過網絡爬蟲發起資源訪問請求的請求端之后，還包括：

判斷所述網絡爬蟲所對應的請求端標識是否為白名單爬蟲標識；

若是，則通過所述網絡爬蟲發起的資源訪問請求；

若否，則拒絕所述網絡爬蟲發起的資源訪問請求。

8.一種網絡爬蟲識別裝置，其特征在于，所述裝置包括：

資源訪問請求接收模塊，用于接收多個資源訪問請求，每個資源訪問請求中包含請求端標識和資源標識；

資源標識提取模塊，用于提取相同請求端標識所對應的資源標識，形成每個請求端的資源標識集合；

資源節點匹配模塊，用于將所述資源標識集合中的所有資源標識和預設的資源結構樹中的資源節點進行匹配，將與所述資源標識相匹配的資源節點作為訪問節點；若一個訪問節點的父節點不是訪問節點，將所述訪問節點標記為孤立的訪問節點；

網絡爬蟲識別模塊，用于當存在孤立的訪問節點時，判定所述資源標識集合對應的請求端為通過網絡爬蟲發起資源訪問請求的請求端。