[發明專利]基于代理IP地址池的爬蟲行為檢測方法、裝置及存儲介質

有效

• 申請號: 202011164587.1
• 申請日: 2020-10-27
• 公開（公告）號: CN112383513B
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 許祥
• 申請（專利權）人: 杭州數夢工場科技有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40;H04L61/5061;H04L61/59
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

本申請提出一種基于代理IP地址池的爬蟲行為檢測方法、裝置及存儲介質，該方法包括獲取待測請求數據；若待測請求數據的源IP地址為待測代理IP地址，則確定待測代理IP地址屬于的目標代理IP地址池，目標代理IP地址池屬于至少一個代理IP地址池，代理IP地址池具有對應的訪問行為特征；根據目標代理IP地址池的目標訪問行為特征，檢測待測請求數據是否存在惡意爬蟲行為。通過本申請能夠有效地檢測出使用IP代理池進行爬蟲行為的分散化的檢測特征，由此能夠有效地識別出基于IP代理池的惡意爬蟲行為，提升基于IP代理池的惡意爬蟲行為的檢測效果。

技術領域

本申請涉及計算機技術領域，尤其涉及一種基于代理IP地址池的爬蟲行為檢測方法、裝置及存儲介質。

背景技術

隨著互聯網的發展，基于互聯網能夠對外提供大量的網絡數據的訪問服務，而基于這些訪問服務，產生了大量的針對網絡數據的爬蟲行為，例如，針對購票系統的余票信息的爬取行為、刷優惠信息的爬取行為等，針對網絡數據的惡意的爬蟲行為，對數據安全和業務安全等產生了較大影響，嚴重的影響了各類業務系統的數據安全和業務安全，如何檢測惡意的爬蟲行為顯得尤為重要。

相關技術中，通常是基于請求頻率的檢測，或者通過算法分析請求行為所包括的請求靜態文件占比，請求頻率等整體行為來識別惡意的爬蟲行為。

這些方式下，當存在基于代理IP(Internet Protocol，網際互連協議)地址池中的IP地址的惡意的爬蟲行為時，識別不夠精準，識別過程繁瑣，識別效果不佳。

發明內容

本申請旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本申請的目的在于提出一種基于代理IP地址池的爬蟲行為檢測方法、裝置及存儲介質，能夠有效地檢測出使用IP代理池進行爬蟲行為的分散化的檢測特征，由此能夠有效地識別出基于IP代理池的惡意爬蟲行為，提升基于IP代理池的惡意爬蟲行為的檢測效果。

為達到上述目的，本申請第一方面實施例提出的基于代理IP地址池的爬蟲行為檢測方法，包括：獲取待測請求數據；若所述待測請求數據的源IP地址為待測代理IP地址，則確定所述待測代理IP地址屬于的目標代理IP地址池，所述目標代理IP地址池屬于所述至少一個代理IP地址池，所述代理IP地址池具有對應的訪問行為特征；根據所述目標代理IP地址池的目標訪問行為特征，檢測所述待測請求數據是否存在惡意爬蟲行為。

本申請第一方面實施例提出的基于代理IP地址池的爬蟲行為檢測方法，通過獲取待測請求數據，并在待測請求數據的源IP地址為待測代理IP地址，則確定待測代理IP地址屬于的目標代理IP地址池，目標代理IP地址池屬于至少一個代理IP地址池，代理IP地址池具有對應的訪問行為特征，以及根據目標代理IP地址池的目標訪問行為特征，檢測待測請求數據是否存在惡意爬蟲行為，能夠有效地檢測出使用IP代理池進行爬蟲行為的分散化的檢測特征，由此能夠有效地識別出基于IP代理池的惡意爬蟲行為，提升基于IP代理池的惡意爬蟲行為的檢測效果。

為達到上述目的，本申請第二方面實施例提出的基于代理IP地址池的爬蟲行為檢測裝置，包括：第一獲取模塊，用于獲取待測請求數據；確定模塊，用于在所述待測請求數據的源IP地址為待測代理IP地址時，確定所述待測代理IP地址屬于的目標代理IP地址池，所述目標代理IP地址池屬于所述至少一個代理IP地址池，所述代理IP地址池具有對應的訪問行為特征；檢測模塊，用于根據所述目標代理IP地址池的目標訪問行為特征，檢測所述待測請求數據是否存在惡意爬蟲行為。