[發明專利]一種基于web日志的網站反爬蟲方法

在審

• 申請號: 202111133369.6
• 申請日: 2021-09-27
• 公開（公告）號: CN113868651A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 肖軍弼;魏嬌嬌
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06F21/56
• 分類號: G06F21/56;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開一種基于web日志的網站反爬蟲方法，該方法包含：首先獲取web日志進行預處理，包括清除噪聲數據、數據過濾等，并將其存儲到關系數據庫中；從web日志中提取觀測序列作為HMM算法的訓練集，得出爬蟲檢測模型；利用似然函數計算爬蟲序列在HMM算法下的平均極大似然估計值，確定出爬蟲的平均極大似然估計值區間；計算待檢測序列的平均極大似然估計值，結合上一步獲得的平均極大似然估計值區間判斷待檢序列是否為爬蟲；最后，利用風格化遷移技術捕捉原始圖像的風格與內容特征，并通過訓練卷積神經網絡將其轉移到目標圖像之上，完成圖像重建，通過多次優化圖像，生成難破解的驗證碼，應用于易被爬蟲程序攻擊的網站，以達到反爬蟲的目的。

技術領域

本發明屬于網絡安全技術領域，涉及一種基于web日志的網站反爬蟲方法。

背景技術

隨著互聯網應用的發展，爬蟲技術越來越普及，網絡爬蟲是一種自動化瀏覽網頁和抓取網頁數據的程序，通過網絡爬蟲人們可以按需抓取、保存數據。爬蟲技術也是多種網絡應用的關鍵技術，如搜索引擎依賴于爬蟲獲取網頁中的信息。但是大量網絡爬蟲的產生會帶來更多弊端，一些惡意爬蟲也帶來了多重隱患，甚至造成了不可忽視的損失，產生大量占用服務器資源、觸碰用戶隱私，竊取商業信息，泄露隱私數據，互聯網帶寬被過度占用，導致正常用戶訪問緩慢，甚至出現網站不能訪問的現象等負面問題。因此反爬蟲方法研究成為網站管理者的一項重要研究內容。

在網絡運行過程中，會產生大量的網絡日志來記錄網絡中發生的所有行為。這些網絡日志包含了大量有用的信息，如客戶端地址、訪問時間、請求方式、瀏覽器信息等，可供網絡安全專家發現網絡爬蟲程序，進而對爬蟲程序進行阻斷。反爬蟲方法研究首先是結合卷積神經網絡理論建立爬蟲程序檢測模型，從而發現爬蟲行為，然后再采取反爬蟲的手段將爬蟲行為進行阻斷。

目前，反爬蟲技術大致包括：

1.前端反爬蟲技術：只是提高了惡意爬蟲拿到真實數據的難度，并不能起到禁止爬蟲的作用。比如截圖、文字識別技術的爬蟲無法防御。

2.IP檢測：通過IP風險庫判斷是惡意IP進行黑名單，IP策略無法有效防御動態切換IP的場景，并且IP防御誤封率較高。

3.接口頻率控制：爬蟲常常通過快速的訪問某一些頁面，獲取其中的關鍵信息。通過對頁面設置訪問頻率基線，可以對此類爬蟲起到一定的防御作用。但是，幾乎所有業務接口的訪問量都是隨著時間變化的，如何設定訪問頻率閾值，這將是一項巨大的挑戰。

4.反爬蟲蜜罐：威脅情報一方面可以依靠反爬蟲蜜罐，一個設置巧妙的蜜罐會極大的提升反爬蟲系統的效率和準確性，反之，不僅起不到什么作用甚至可能會影響正常用戶。

5.風險攔截技術：生成驗證碼、短信驗證、針對惡意用戶制造假數據等。驗證碼已經被證明是一種有效的用于抵御自動腳本惡意攻擊的方法，目前生成驗證碼技術，如果設計的驗證碼復雜度不夠，那么極容易被惡意攻擊者破解，但是復雜度過高的驗證碼在提升了安全性的同時，用戶使用也更復雜，通過驗證耗時更多。

發明內容

本發明為克服上述缺陷，提出了一種基于web日志的網站反爬蟲方法，本發明具體的實施步驟如下：

S1，從日志服務器中獲取web日志，對web日志進行收集以及預處理，清除噪聲數據，將不合規范的數據進行數據過濾、格式轉化及規整，并將清洗后的日志數據存儲到關系數據庫中。

S2，從web日志中提取出觀測序列，結合HMM算法訓練爬蟲檢測模型。

S3，利用似然函數計算出爬蟲序列在HMM算法下的平均極大似然估計值，確定出爬蟲的平均極大似然估計值區間。

S4，對于待檢測的觀測序列，計算其平均極大似然估計值，根據網絡爬蟲程序的平均極大似然估計值區間判斷是否為爬蟲程序。