[發明專利]識別網絡爬蟲的方法及系統

有效

• 申請號: 201710321154.4
• 申請日: 2017-05-09
• 公開（公告）號: CN107147640B
• 公開（公告）日: 2019-12-31
• 發明（設計）人: 黃梅芬
• 申請（專利權）人: 網宿科技股份有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 11573 北京華智則銘知識產權代理有限公司
• 代理人: 王昌貴

1.一種識別網絡爬蟲的方法，其特征在于，包括：

接收客戶端發起的頁面請求；

判斷所述頁面請求是否是爬蟲識別程序的請求；

如果所述頁面請求是爬蟲識別程序的請求，根據所述爬蟲識別程序的請求數據判斷所述客戶端是否為正常客戶端，并修改數據庫中的爬蟲判斷記錄；

如果所述頁面請求不是爬蟲識別程序的請求，在響應內容類型為超文本標記語言HTML或JavaScript的頁面添加爬蟲識別程序代碼，并發送給所述客戶端。

2.如權利要求1所述的識別網絡爬蟲的方法，其特征在于，根據所述爬蟲識別程序的請求數據判斷所述客戶端是否為正常客戶端，并修改數據庫中的爬蟲判斷記錄，包括：

判斷所述頁面請求是否是獲取焦點請求；

如果是獲取焦點請求，則將所述客戶端的爬蟲判斷記錄中的緩沖時間修改為當前時間；

如果不是獲取焦點請求，則判斷所述頁面請求是否是失去焦點請求、關閉頁面請求和用戶行為請求中的任一個；

如果是失去焦點請求、關閉頁面請求和用戶行為請求中的任一個，則確定所述客戶端為正常客戶端，并修改所述客戶端的爬蟲判斷記錄中的對應字段；

如果不是失去焦點請求、關閉頁面請求和用戶行為請求中的任一個，則判斷所述頁面請求是否是需要再下發爬蟲識別程序代碼的請求；

如果是需要再下發爬蟲識別程序代碼的請求，則修改所述客戶端的爬蟲判斷記錄中的對應字段；

如果不是需要再下發爬蟲識別程序代碼的請求，則不做任何處理。

3.如權利要求1或2所述的識別網絡爬蟲的方法，其特征在于，所述爬蟲判斷記錄包括以下字段：客戶端標識、緩沖時間、更新時間、下發狀態和爬蟲標識位；其中，所述緩沖時間表示所述爬蟲識別程序的請求的接收時間范圍的計算起點；所述更新時間表示修改所述爬蟲標識位的時間；所述下發狀態表示所述爬蟲識別程序代碼是否下發給客戶端，0表示默認值，1表示已下發，2表示再下發；爬蟲標識位包括：0表示默認值，1表示正常客戶端，2表示爬蟲可疑客戶端。

4.如權利要求2所述的識別網絡爬蟲的方法，其特征在于，

確定所述客戶端為正常客戶端，并修改所述客戶端的爬蟲判斷記錄中的對應字段，包括：將緩沖時間修改為0，更新時間修改為當前時間，下發狀態修改為0，爬蟲標識位修改為1；

如果是需要再下發爬蟲識別程序代碼的請求，則修改所述客戶端的爬蟲判斷記錄中的對應字段，包括：將緩沖時間修改為0，更新時間修改為0，下發狀態修改為2。

5.如權利要求1所述的識別網絡爬蟲的方法，其特征在于，在響應內容類型為HTML或JavaScript的頁面添加爬蟲識別程序代碼，并發送給所述客戶端，包括：

判斷所述頁面請求是否是HTML頁面且支持JavaScript；

如果不是HTML頁面和/或不支持JavaScript，則確定不需要下發所述爬蟲識別程序代碼，直接響應所述頁面請求；

如果是HTML頁面且支持JavaScript，則確定需要下發所述爬蟲識別程序代碼。

6.如權利要求5所述的識別網絡爬蟲的方法，其特征在于，在確定需要下發所述爬蟲識別程序代碼之后，所述方法還包括：

根據客戶端標識判斷所述數據庫中是否存儲有所述客戶端的爬蟲判斷記錄；

如果否，則確定所述客戶端未做過爬蟲識別處理，在響應中添加所述爬蟲識別程序代碼，發給所述客戶端，并在所述數據庫中添加所述客戶端的爬蟲判斷記錄；

如果是，則確定所述客戶端做過爬蟲識別處理，根據所述客戶端的爬蟲判斷記錄中的下發狀態判斷是否需要再下發所述爬蟲識別程序代碼；

如果下發狀態為2，則確定需要再下發所述爬蟲識別程序代碼，在響應中添加所述爬蟲識別程序代碼，發給所述客戶端，并將所述客戶端的爬蟲判斷記錄中的緩沖時間修改為當前時間，下發狀態修改為1；

如果下發狀態不為2，則確定不需要再下發所述爬蟲識別程序代碼，直接響應所述頁面請求。