[發明專利]一種基于異常行為探測的自適應反爬方法和系統

有效

• 申請號: 201911398979.1
• 申請日: 2019-12-30
• 公開（公告）號: CN111064745B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 鮑建偉;南江;張磊;黃劍;暢斌;張輝極
• 申請（專利權）人: 廈門市美亞柏科信息股份有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40
• 代理公司: 廈門福貝知識產權代理事務所(普通合伙) 35235
• 代理人: 陳遠洋

本申請公開了一種基于異常行為探測的自適應反爬方法和系統，該方法具體包括：S1，對用戶的IP地址、訪問頻率、訪問時間和訪問歷史分別進行異常判斷；S2，通過異常判斷對用戶進行風險等級分類，再通過問題提問、滑塊驗證、驗證碼驗證對低風險的用戶進行驗證檢測，通過細粒度風險檢測對高風險的用戶進行檢測；S3，對驗證檢測和風險檢測多次異常的用戶進行反制操作。該方法通過用戶異常行為自適應探測機制實現反爬系統的快速更新，提高對網絡爬蟲識別的準確性，保障正常用戶的訪問行為。

技術領域

本申請涉及互聯網監測領域，具體涉及一種基于異常行為探測的自適應反爬方法和系統。

背景技術

隨著移動互聯網的高速發展，各個公司都會通過網絡上傳海量的信息數據，這些數據以網頁數據或手機APP服務等形式存在于互聯網上，方便每一個用戶訪問。但同時，這些公司的數據還需要時刻防止惡意爬蟲的入侵。例如有的惡意爬蟲會被用于刷點擊量以獲取高額利益；或通過惡意爬蟲占用服務器資源，影響正常用戶的訪問速度，甚至可導致服務商的服務器直接崩潰；或通過惡意爬蟲進行信息盜竊，嚴重影響原服務商和創作者的積極性。

目前在反爬蟲領域的經典對抗方式主要有IP頻率限制、SESSIONID頻率限制、User-Agent頻率限制這三種。IP頻率限制是通過記錄單個IP地址在單位時間內訪問服務器資源的次數，若次數超過閾值，服務器會給前端彈出驗證界面，驗證正確才可放行，否則將此IP封禁。SESSIONID頻率限制指在服務器后臺對同一個SESSIONID的訪問記錄進行統計，如果單個SESSIONID在單位時間內訪問服務器資源的次數超過閾值，服務器會給前端彈出驗證界面，驗證正確才可放行，否則封禁此SESSIONID。User-Agent頻率限制是服務器后臺對用戶訪問請求的User-Agent進行判斷，如果發現User-Agent不是瀏覽器信息，或者單個User-Agent在單位時間內訪問服務器資源的次數超過閾值，就不再給此類請求返回有效響應。

隨著爬蟲技術的發展，針對以上反爬蟲技術的應對方法也在不斷更新，如IP代理池技術、User-Agent池技術、定時休眠技術等，因此，亟需一種能自動識別惡意爬蟲且能自動更新反爬系統的反爬蟲方法。

發明內容

本申請的目的在于提出了一種改進的基于異常行為探測的自適應反爬方法和系統，來解決目前爬蟲技術快速更新的技術問題。

第一方面，本申請提供了一種基于異常行為探測的自適應反爬方法，該方法包括：S1，對用戶的IP地址、訪問頻率、訪問時間和訪問歷史分別進行異常判斷；S2，通過異常判斷對用戶進行風險等級分類，再通過問題提問、滑塊驗證、驗證碼驗證對低風險的用戶進行驗證檢測，通過細粒度風險檢測對高風險的用戶進行檢測；S3，對驗證檢測和風險檢測多次異常的用戶進行反制操作。

在一些實施例中，步驟S1具體還包括：

S11，通過切比雪夫不等式對用戶的IP地址和訪問頻率進行異常判斷，具體公式如下：

其中，X為隨機變量，μ為期望值，σ為標準差；

S12，通過卡方檢驗對訪問時間和訪問歷史進行異常判斷，具體公式如下：

其中，Ai為i水平的觀察頻數，Ei為i水平的期望頻數，n為總頻數，pi為i水平的期望頻率。

在一些實施例中，步驟S2的細粒度風險檢測的具體步驟包括：

S21，控制敏感庫表、敏感字段、敏感文件被高風險用戶過度讀??；

S22，基于數據等級、數據標簽、數據分類對高風險用戶進行訪問數據頻率控制和數據體量控制；

S23，控制高風險用戶的高危操作；