[發明專利]web機器人流量識別方法及裝置

在審

• 申請號: 201510563145.7
• 申請日: 2015-09-07
• 公開（公告）號: CN105262720A
• 公開（公告）日: 2016-01-20
• 發明（設計）人: 李凱
• 申請（專利權）人: 深信服網絡科技（深圳）有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

技術領域

本發明涉及網絡安全技術領域，尤其涉及一種web機器人流量識別方法及裝置。

背景技術

據分析統計，目前，Web機器人流量在網站流量中占到了50％以上，如在Bash漏洞爆出來后，互聯網上立即出現了大量利用這個漏洞對全網Web服務器進行攻擊的機器人流量，據統計，全球大概存在142000主機受到這個漏洞的影響。此外，除了一般定義中的攻擊者，還有另一類攻擊系統，攻擊系統會對全世界的網站進行持續的掃描，并對網站的版本信息，網絡的架構，以及服務器開放的端口、服務甚至漏洞等全部進行記錄。一旦發現存在漏洞，攻擊者就可以第一時間發送攻擊，這種方式也將帶來大量的Web機器人流量。攻擊者還可利用Web機器人收集Web站點上發布的敏感信息，如Email地址、身份證號碼、生日、電話號碼等，用來發送垃圾郵件或者傳播病毒。Web機器人蠕蟲還可通過Web機器人自動在Web站點上發表文章、評論等，使得Web站點充斥各種垃圾信息或者散布謠言、反動言論等。上述攻擊行為均會在網站流量中帶來大量的Web機器人流量，影響網站的正常運營。

現有的識別web機器人流量方法中一般是由WAF、IPS系統利用字符串、正則表達式等來定義攻擊和漏洞的特征碼，通過對數據包進行深度內容檢測如字符串搜索、正則表達式匹配等來識別是否為攻擊，但存在如下不足：

1、特征碼是通過分析現有的攻擊手段和漏洞提取出來的，因此只能識別已知的攻擊和漏洞，無法識別出Web機器人利用未知漏洞或者新的攻擊內容來進行的攻擊。

2、現有系統通過定義攻擊來識別異常，如SQL注入、XSS攻擊等。對于網站的正常功能使用則不會識別為攻擊，如發表評論、訪問頁面。但Web機器人利用的正好是網站提供的正常功能，如訪問頁面收集Email信息，自動發布垃圾評論和文章，攻擊系統掃描網站收集網站的架構信息等行為。對于Web機器人的這些攻擊行為，WAF和IPS系統都無法提取出特征碼，因此也無法對Web機器人進行識別。

上述內容僅用于輔助理解本發明的技術方案，并不代表承認上述內容是現有技術。

發明內容

本發明的主要目的在于提供一種web機器人流量識別方法及裝置，旨在有效地對Web機器人流量進行識別。

為實現上述目的，本發明提供的一種web機器人流量識別方法，所述方法包括以下步驟：

解析網絡數據流中請求訪問的頁面資源信息，根據所述頁面資源信息建立頁面訪問模型；

基于所述頁面訪問模型對訪問頁面的行為進行分析；

根據分析結果識別所述網絡數據流中的web機器人流量。

優選地，所述解析網絡數據流中請求訪問的頁面資源信息，根據所述頁面資源信息建立頁面訪問模型的步驟包括：

對網絡數據流中的頁面訪問請求進行解析獲取URI請求信息，并根據所述URI請求信息建立URI請求序列的鏈接關系圖，將所述鏈接關系圖作為頁面訪問模型。

優選地，所述基于所述頁面訪問模型對訪問頁面的行為進行分析的步驟包括：

根據網絡數據流中的頁面訪問請求獲取所述頁面訪問請求在瀏覽器中的響應內容，解析所述響應內容獲取對應的瀏覽器URI請求，根據所述瀏覽器URI請求建立所述瀏覽器URI請求序列的鏈接關系圖，將所述瀏覽器URI請求序列的鏈接關系圖作為正常頁面訪問模型；

將所述頁面訪問模型與所述正常頁面訪問模型進行比對；

所述根據分析結果識別所述網絡數據流中的web機器人流量的步驟包括：當根據比對結果分析在所述頁面訪問模型中訪問頁面的行為出現至少以下兩種行為時，則識別為web機器人流量；該行為包括：

未訪問與所述響應內容相關的瀏覽器URI請求鏈接；

對同一頁面的訪問次數超過預設次數；

訪問失敗的頁面的比例超過預設比例；

訪問的頁面資源類型單一。

優選地，所述根據分析結果識別所述網絡數據流中的web機器人流量的步驟之后還包括：

記錄所述web機器人流量的源IP地址，并封鎖所述源IP地址的流量。

優選地，所述根據分析結果識別所述網絡數據流中的web機器人流量的步驟之后還包括：

記錄所有識別的web機器人流量日志，并對所有識別的web機器人流量進行歸類展示，以配置對應的安全策略。

此外，為實現上述目的，本發明還提供一種web機器人流量識別裝置，所述web機器人流量識別裝置包括：

解析建立模塊，用于解析網絡數據流中請求訪問的頁面資源信息，根據所述頁面資源信息建立頁面訪問模型；