[發明專利]web機器人流量識別方法及裝置

在審

• 申請號: 201510563145.7
• 申請日: 2015-09-07
• 公開（公告）號: CN105262720A
• 公開（公告）日: 2016-01-20
• 發明（設計）人: 李凱
• 申請（專利權）人: 深信服網絡科技（深圳）有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種web機器人流量識別方法，其特征在于，所述方法包括以下步驟：

解析網絡數據流中請求訪問的頁面資源信息，根據所述頁面資源信息建立頁面訪問模型；

基于所述頁面訪問模型對訪問頁面的行為進行分析；

根據分析結果識別所述網絡數據流中的web機器人流量。

2.如權利要求1所述的web機器人流量識別方法，其特征在于，所述解析網絡數據流中請求訪問的頁面資源信息，根據所述頁面資源信息建立頁面訪問模型的步驟包括：

對網絡數據流中的頁面訪問請求進行解析獲取URI請求信息，并根據所述URI請求信息建立URI請求序列的鏈接關系圖，將所述鏈接關系圖作為頁面訪問模型。

3.如權利要求2所述的web機器人流量識別方法，其特征在于，所述基于所述頁面訪問模型對訪問頁面的行為進行分析的步驟包括：

根據網絡數據流中的頁面訪問請求獲取所述頁面訪問請求在瀏覽器中的響應內容，解析所述響應內容獲取對應的瀏覽器URI請求，根據所述瀏覽器URI請求建立所述瀏覽器URI請求序列的鏈接關系圖，將所述瀏覽器URI請求序列的鏈接關系圖作為正常頁面訪問模型；

將所述頁面訪問模型與所述正常頁面訪問模型進行比對；

所述根據分析結果識別所述網絡數據流中的web機器人流量的步驟包括：當根據比對結果分析在所述頁面訪問模型中訪問頁面的行為出現至少以下兩種行為時，則識別為web機器人流量；該行為包括：

未訪問與所述響應內容相關的瀏覽器URI請求鏈接；

對同一頁面的訪問次數超過預設次數；

訪問失敗的頁面的比例超過預設比例；

訪問的頁面資源類型單一。

4.如權利要求3所述的web機器人流量識別方法，其特征在于，所述根據分析結果識別所述網絡數據流中的web機器人流量的步驟之后還包括：

記錄所述web機器人流量的源IP地址，并封鎖所述源IP地址的流量。

5.如權利要求3所述的web機器人流量識別方法，其特征在于，所述根據分析結果識別所述網絡數據流中的web機器人流量的步驟之后還包括：

記錄所有識別的web機器人流量日志，并對所有識別的web機器人流量進行歸類展示，以配置對應的安全策略。

6.一種web機器人流量識別裝置，其特征在于，所述web機器人流量識別裝置包括：

解析建立模塊，用于解析網絡數據流中請求訪問的頁面資源信息，根據所述頁面資源信息建立頁面訪問模型；

分析模塊，用于基于所述頁面訪問模型對訪問頁面的行為進行分析；

識別模塊，用于根據分析結果識別所述網絡數據流中的web機器人流量。

7.如權利要求6所述的web機器人流量識別裝置，其特征在于，所述解析建立模塊具體用于：

對網絡數據流中的頁面訪問請求進行解析獲取URI請求信息，并根據所述URI請求信息建立URI請求序列的鏈接關系圖，將所述鏈接關系圖作為頁面訪問模型。

8.如權利要求7所述的web機器人流量識別裝置，其特征在于，所述分析模塊具體用于：根據網絡數據流中的頁面訪問請求獲取所述頁面訪問請求在瀏覽器中的響應內容，解析所述響應內容獲取對應的瀏覽器URI請求，根據所述瀏覽器URI請求建立所述瀏覽器URI請求序列的鏈接關系圖，將所述瀏覽器URI請求序列的鏈接關系圖作為正常頁面訪問模型；將所述頁面訪問模型與所述正常頁面訪問模型進行比對；

所述識別模塊具體用于：

當根據比對結果分析在所述頁面訪問模型中訪問頁面的行為出現至少以下兩種行為時，則識別為web機器人流量；該行為包括：

未訪問與所述響應內容相關的瀏覽器URI請求鏈接；

對同一頁面的訪問次數超過預設次數；

訪問失敗的頁面的比例超過預設比例；

訪問的頁面資源類型單一。

9.如權利要求8所述的web機器人流量識別裝置，其特征在于，還包括：

封鎖模塊，用于記錄所述web機器人流量的源IP地址，并封鎖所述源IP地址的流量。

10.如權利要求8所述的web機器人流量識別裝置，其特征在于，還包括：

歸類模塊，用于記錄所有識別的web機器人流量日志，并對所有識別的web機器人流量進行歸類展示，以配置對應的安全策略。