[發明專利]一種基于Nginx的爬蟲流量前置限制方法

有效

• 申請號: 202110471858.6
• 申請日: 2021-04-29
• 公開（公告）號: CN113194095B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 孟伸
• 申請（專利權）人: 焦點科技股份有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40;H04L67/60
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 陳建和

本發明公開了一種基于Nginx的爬蟲流量前置限制方法，其特征在于，包括在請求被轉發至數據服務器之前，建立用于記錄訪問請求的信息的數據庫表，以數據記錄的形式保存任一訪問請求的信息，訪問請求經靜態服務器轉發至后端的數據服務器的過程中，基于訪問IP對訪問請求的信息進行分析，所述分析的內容包括訪問請求的訪問間隔、訪問頻率及請求頁面數，將黑名單式的單一流量限制擴展為多維度式流量限制，定時清除前置處理結果為放行處理的訪問請求的信息。達到不新增硬件配置的基礎上，有效地阻擋惡意訪問，同時又增加了反爬蟲難度的效果。

技術領域

本發明屬于信息安全技術領域，具體涉及一種基于Nginx的爬蟲流量前置限制方法。

背景技術

爬蟲是一種自動獲取網頁內容的程序，在互聯網發達的今天，爬蟲能幫助獲取網絡上公開的大量信息和數據，以供搜索引擎收錄或正常用戶瀏覽。然而惡意爬蟲訪問速度過快，為了短時間內抓取大量數據，都會采用高并發甚至是分布式等技術手段批量獲取數據，短時間內的瘋狂抓取將消耗大量服務器資源，將對服務器造成巨大的壓力甚至是宕機，進而干擾正常用戶的訪問。目前大部分反爬蟲措施是在請求進入數據服務器后，根據相關規則或根據一定指標進行限制或拒絕，但請求進入服務器之后的判斷已經消耗了一定的服務器資源，而且不能將特征很明顯的爬蟲直接拒絕，占用了服務器的流量。

為有效遏制惡意爬蟲的攻擊，企業不得不增加服務器資源預算，保證服務的正常運轉和降低壓力，然而頻繁的服務器資源增加，將導致成本的成倍增加；為了抵抗惡意爬蟲毫無節制的資源索取，企業通過設置較為復雜的驗證碼識別惡意爬蟲，然而這類要求用戶不斷輸入驗證碼的環節，無疑導致用戶體驗極其差勁。

不管是持續增加服務器資源還是驗證碼輸入，都無法提前攔截惡意爬蟲請求，阻止其進入服務器。Nginx作為一款輕量級的Web服務器，經常應用于爬蟲攔截，以建立黑名單的方式，屏蔽黑名單指定的用戶代理(User-Agent)的直接訪問，實現過濾不符合要求的惡意爬蟲請求，防止惡意的訪問和節省流量。然而這種基于User-Agent的反爬蟲方法容易破解，通過修改請求頭信息的User-Agent值，將User-Agent轉換為正常，就能夠欺騙Nginx服務器，達到繞過反爬蟲的目的。

基于此，務必需要一種針對爬蟲請求的前置限制方法，實現不消耗服務器資源的同時，剔除惡意爬蟲，同時又能增加反爬蟲的難度。

發明內容

本發明目的是解決現有反爬蟲手段單一問題，目的是通過在請求被轉發至數據服務器之前，以數據記錄的形式保存任一請求訪問，然后基于訪問IP對請求訪問的訪問間隔、訪問頻率及請求頁面數進行綜合分析，將黑名單式的單一流量限制擴展為多維度式流量限制，實現不新增硬件配置的基礎上，有效地阻擋惡意訪問，同時又增加了反爬蟲難度。

本發明所要解決的技術問題是克服現有技術的不足，提供一種基于Nginx的爬蟲流量前置限制方法，在請求被轉發至數據服務器之前，以數據記錄的形式保存任一訪問請求的信息，基于訪問IP對訪問請求的信息進行分析，所述分析的內容包括訪問請求的訪問間隔、訪問頻率及請求頁面數，將單一流量限制擴展為多維度式流量限制，具體步驟包括：

步驟1：建立用于記錄訪問請求的信息的數據庫表，所述數據庫表用于記錄訪問請求的信息和前置處理結果，所述信息包括訪問IP、訪問者身份標識、訪問鏈接、訪問時間、訪問間隔、平均訪問間隔；所述前置處理是指訪問請求經靜態服務器進入數據庫服務器前的處理,所述前置處理的結果包含放行處理和拒絕處理；所述放行處理是由靜態服務器將訪問請求轉發至數據服務器，由數據服務器處理請求反饋；所述拒絕處理是由靜態服務器停止將訪問請求轉發至數據庫服務器，由靜態服務器直接反饋為拒絕訪問；

所述訪問間隔，是訪問IP的本次訪問距離上一次訪問的時間間隔，取本次訪問時間與上一次訪問時間的差值；所述平均訪問間隔,是截止當前該訪問IP的所有訪問間隔的均值；