[發明專利]網站異常訪問分析方法

無效

• 申請號: 200810010423.6
• 申請日: 2008-02-18
• 公開（公告）號: CN101232399A
• 公開（公告）日: 2008-07-30
• 發明（設計）人: 劉峰;孫宏
• 申請（專利權）人: 劉峰;孫宏
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/06
• 代理公司: 沈陽杰克知識產權代理有限公司
• 代理人: 楊華

技術領域：

本發明涉及互聯網的網站訪問行為分析。通過本發明，可以幫助網站管理者發現異常訪問行為，確定異常訪問來源、判斷異常訪問類型、找出被“攻擊”的頁面、以及網站存在的安全隱患。

背景技術：

通常人們都是通過瀏覽器來訪問網站，這樣的操作是一個平緩、間斷、隨機的過程，并將這樣的訪問稱為“正常訪問”?！罢ＴL問”存在以下一些特征：總是在有限時間內進行的，不可能若干個小時始終停留在一個或若干網頁上；人工通過瀏覽器訪問一個網站，總是瀏覽一個網頁之后再瀏覽下一個網頁；如果在1秒鐘內連續請求幾個、甚至幾十個網頁而沒有停頓，這是人工操作做不到的。所謂“異常訪問”是指那些：通過計算機程序自動地訪問，而不是瀏覽器訪問，這樣訪問的特點是：連續不間斷地快速請求網頁，沒有停頓或間隔時間；或者持續很長時間。其中，這樣的訪問包括搜索引擎的“蜘蛛”程序或者“黑客”攻擊程序。目前，對于“異常訪問”的觀察、確定和分析還是比較困難的問題，尚沒有簡單易行的辦法來發現“異常訪問”，大都是通過手工操作、人工辨認的方法來進行。

發明內容：

為了解決上述存在的問題，本發明從觀察人們訪問網站自然情況研究入手，以網絡通信協議技術標準為理論基礎，提供一種自動化的網站異常訪問分析方法。

本發明的目的是通過下面技術方案實現：

網站異常訪問分析方法，步驟如下：

(1)確定訪問者類型：根據網站實際情況，來確定訪問者是由IP來決定、還是由IP+User?Agent、Cookie或在網站頁面上嵌入代碼來決定；

(2)數據清洗：讀取訪問日志，對訪問記錄進行分析、清洗、過濾，將自然形成的面向單個URL請求的訪問記錄，通過分析識別，當同一訪問者、且間隔時間小于系統定義的“會話”Session時間限制Time?Out時，給予一個相同的會話標識Session?ID，形成帶有訪問會話標識Session?ID的記錄清洗數據，并以優化的數據結構進行存儲；

(3)選擇異常分析指標：一般情況，“URL請求數量”被默認為異常指標X；根據需要，可以選擇“流量”或“服務器處理時間”為異常分析指標X；

(4)設置“閥值”：設定ΔT_k持續時間和分析指標X的“閥值”；

(5)異常分析：讀取經步驟(2)數據清洗程序處理后的清洗數據，分析每個訪問會話記錄Session，用會話中的最后訪問時間T₂減去會話中的首次訪問時間T₁，得到一個會話持續時間ΔT＝T₂-T₁；如果ΔT在ΔT_k范圍內，并分析指標X超過步驟(4)中設定的“閥值”，那么該Session被認定為“訪問異?！保鎯υL問異常數據；

(6)異常類型判斷：判斷步驟(5)中得到的異常數據為持續異?；蛲话l異常，并用直觀易懂的圖表形式表示。

步驟(4)中“閥值”分三類，第一類閥值是在整個訪問數據所處的時間范圍T_r內，設置一個指標X為閥值或設置一個指標X平均值為閥值；第二類是將T_r劃分成若干個相等的子區間T_s，設置一個指標X為閥值或設置一個指標X平均值為閥值；第三類是將T_s再劃分成若干個相等的子區間T_f，設置一個指標X為閥值或設置一個指標X平均值為閥值。

數據清洗步驟如下：

(1)讀取訪問數據；

(2)判斷訪問數據是否為URL垃圾數據，如判斷結果為是，則訪問數據被清洗；

(3)如果步驟(2)判斷結果為否，則將同一Session?ID數據，以優化后的數據結構記錄到清洗數據中。

本發明的有益效果：

發現“異常訪問”對于網站管理者來說很有意義。第一、發現網站被黑客攻擊的情況，掌握確切的證據；第二、確定攻擊源，找到發起攻擊的IP，甚至發起攻擊的客戶端；第三、確定被攻擊的頁面；第四、糾正訪問統計分析中的錯誤，防止將“異常訪問”納入統計范圍；第五、觀察“蜘蛛搜索”爬過的痕跡，掌握“蜘蛛搜索”的訪問規律，有意安排一些“關鍵詞語”讓“蜘蛛”爬找，提高網站的點擊率；第六、為防止商業機密被“蜘蛛”竊取，幫助制定防“蜘蛛”方案。