[發明專利]一種采集互聯網訪問數據的方法及裝置

有效

• 申請號: 201410208321.0
• 申請日: 2014-05-16
• 公開（公告）號: CN105100015B
• 公開（公告）日: 2018-07-03
• 發明（設計）人: 林琳
• 申請（專利權）人: 林琳
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

本發明實施例提供了一種采集互聯網訪問數據的方法及裝置，在電信運營商的IP承載網絡內滿足預設條件的節點上設置Web代理服務器集群，互聯網中的轉發重定向系統將網絡接入標識訪問URL的內容請求報文路由轉發至Web代理服務器集群，Web代理服務器集群通過響應所述內容請求報文而生成應用層日志，數據采集系統獲取應用層日志和網絡接入標識間的對應關系，并依據所述對應關系，采集所述網絡接入標識在預設時間段內、對所述互聯網的訪問內容，可見，本發明實施例所述的采集互聯網訪問數據的方法及裝置，無需DPI設備的參與，從而降低采集互聯網訪問內容的成本。

技術領域

本發明涉及通信領域，尤其涉及一種采集互聯網訪問數據的方法及裝置。

背景技術

隨著互聯網企業之間的競爭逐步加劇，對自然人用戶訪問的互聯網的內容進行采集就越加重要。

現有的采集互聯網訪問數據的方法，通常需要在用戶到互聯網的訪問路徑上的多處采集節點設置深度數據包檢測(Deep Packet Inspection，DPI)設備，利用DPI設備對通信鏈路上的數據包進行拆包、特征識別和檢測。

而DPI設備的價格昂貴，可見，現有的互聯網訪問數據的采集方法具有成本高的缺點。

發明內容

本發明實施例提供了一種采集互聯網訪問數據的方法，目的在于解決現有的互聯網訪問數據的采集方法成本高的問題。

一種采集互聯網訪問內容的方法，應用于互聯網數據采集系統，所述方法包括：

獲取應用層日志和網絡接入標識間的對應關系，所述應用層日志通過響應終端訪問統一資源定位符URL的內容請求報文生成，所述內容請求報文通過路由轉發至所述Web代理服務器集群，所述Web代理服務器集群設置在所述電信運營商的IP承載網絡內滿足預設條件的節點上，所述終端使用所述網絡接入標識；

依據所述對應關系，采集所述網絡接入標識在預設時間段內、對所述互聯網的訪問內容。

可選的，所述獲取應用層日志和網絡接入標識間的對應關系包括：

從所述互聯網中的AAA服務器中獲取承載層日志，所述承載層日志中包括以下字段：網絡接入標識、本次承載層會話中所述網絡接入標識使用的IP地址、本次承載層會話開始的時間戳和本次承載層會話結束的時間戳；

從所述Web代理服務器集群獲取應用層日志，所述應用層日志中包括以下字段：本次應用層請求結束的時間戳、發起此次應用層請求的IP地址、響應此次應用層請求使用的傳輸層流量和本次應用層請求的URL；

當所述發起此次應用層請求的IP地址與所述本次承載層會話中所述網絡接入標識使用的IP地址匹配、且所述本次應用層請求結束的時間戳位于所述本次承載層會話開始的時間戳和本次承載層會話結束的時間戳之間時，確定所述應用層日志與所述網絡接入標識間存在對應關系。

可選的，所述獲取應用層日志和網絡接入標識間的對應關系包括：

從所述互聯網中的AAA服務器中獲取承載層日志，所述承載層日志中包括以下字段：網絡接入標識、本次承載層會話中所述網絡接入標識使用的原始接入IP地址、本次承載層會話開始的時間戳和本次承載層會話結束的時間戳；

獲取地址轉換日志，所述地址轉換日志中包括以下字段：原始接入IP地址、所述原始接入IP地址對應的端口號、由所述原始接入IP地址轉換得到的訪問IP地址、所述訪問IP地址對應的端口號和地址轉換時間；

從所述Web代理服務器集群獲取應用層日志，所述應用層日志中包括以下字段：本次應用層請求結束的時間戳、發起此次應用層請求的IP地址、所述IP地址對應的訪問端口號、內容響應成功時間戳、響應此次應用層請求使用的傳輸層流量和本次應用層請求的URL；