[發明專利]一種用戶訪問行為的獲取方法和系統

有效

• 申請號: 201310003709.2
• 申請日: 2013-01-06
• 公開（公告）號: CN103118007A
• 公開（公告）日: 2013-05-22
• 發明（設計）人: 田海燕;練書成;丁毅
• 申請（專利權）人: 瑞斯康達科技發展股份有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 栗若木;曲鵬

技術領域

本發明涉及數據處理領域，尤其涉及一種用戶訪問行為的獲取方法和系統。

背景技術

目前信息技術的飛速發展和企業信息化程度的不斷提高，用戶的使用也越來越豐富了。很多用戶通過網絡資源來學習、休閑、娛樂等。有些商家為了獲得經濟效益，開始在各個網站做大量的廣告圖片，還有些廣告推廣等。同時伴隨著國家倡導的三網融合等，各個業務的融合已經進入了企業的運營。為了確保一個穩定、安全、高效的網絡運營環境，管理員或者企業老板不得不常常面臨以下問題——如何監控用戶的上網行為？如何跟蹤網絡應用資源的使用情況？

為了解決上述問題，記錄用戶的上網行為是必然的。尤其是記錄企業員工瀏覽頁面的行為。因為通過分析用戶瀏覽的頁面內容我們可以了解員工感興趣的方面，或者是否做了一些非法言論和訪問一些非法網站等。這些信息也可以為公安局破案等提供重要的依據。

現有的技術中記錄用戶上網行為的方案只是簡單的將每條鏈接的URL提取出來，發送出去。由于現代網絡技術的發展，我們嘗試點擊一個頁面，那么這個頁面就會嘗試著鏈接與其相關聯的廣告，圖片等。那么最后我們看到的日志就會是有許多多余的日志審計出來。這些多余的日志長時間的積累，就會把我們所需要的真正的日志給沖到后面，管理員看起來很迷惑，怎么也找不到自己需要的日志。同時這些大量的多余日志的出現也會占用大量的存儲空間，最后的現象是我們浪費了許多存儲空間，保存了許多沒用的日志。管理員看起來也會很頭疼，不知道那個是真正的所需要的日志信息。

發明內容

本發明提供的，要解決的技術問題是如何過濾掉用戶訪問的網頁中鏈接與其相關聯的廣告或圖片的網絡鏈接。

為解決上述技術問題，本發明提供了如下技術方案：

一種網絡訪問行為的獲取方法，包括：

獲取網頁訪問數據；

根據預先設置的策略，對網絡訪問數據的http頭部中的字段進行過濾；

對過濾后的報文中的URL信息進行處理，得到用戶的網絡訪問行為。

優選的，所述方法還具有如下特點：所述預先設置的策略包括選擇http實體為被壓縮的實體或者含有title特征的未被壓縮的實體，其中被選擇的實體的http頭部中的字段符合如下條件：

Content-Type字段是text/html的類型；

Content-Length字段小于或等于1024字節；

transfer-encoding首部的類型是chunked，并且該回應包的實體長度大于零并且該回應包的實體是以“.0d0a0d0a”結尾的；

URL的長度小于130字節；

URL文件后綴不是.js、.png、.css、.dif、.klz、.ico、.xml、.xsl、.ani或.dll。

優選的，所述方法還具有如下特點：

所述方法還包括：

記錄同一個IP地址對應的URL信息，將記錄的URL信息作為用戶的網絡訪問行為；

所述對過濾后的報文中的URL信息進行處理，得到用戶的網絡訪問行為，包括：

將過濾得到的某一IP地址的網絡訪問數據中URL信息與本地記錄的該IP地址對應的URL信息進行匹配；

如果該IP地址對應的URL信息有匹配對象，輸出所述網絡訪問數據中的URL信息；否則，先將網絡訪問數據中的URL信息增加到該IP地址對應的URL信息中，再輸出所述網絡訪問數據中的URL信息。

優選的，所述方法還具有如下特點：所述將過濾得到的某一IP地址的網絡訪問數據中URL信息與本地記錄的該IP地址對應的URL信息進行匹配，包括：

采用網絡訪問數據中URL信息與該IP地址對應的URL信息中的最后N個字節的內容進行比較，其中N的取值范圍為20～1000。

優選的，所述方法還具有如下特點：

所述記錄同一個IP地址對應的URL信息，還包括：

記錄所述記錄同一個IP地址對應的URL以及該URL被訪問的時間；

所述將網絡訪問數據中URL信息增加到該IP地址對應的URL信息中還包括：

當該IP地址對應的URL信息的個數達到預先設置的個數閾值后，根據該IP地址中每個URL被訪問的時間，刪除被訪問時間最早的URL的信息。

優選的，所述方法還具有如下特點：

所述對過濾后的報文中的URL信息進行處理，得到用戶的網絡訪問行為還包括：