[發明專利]一種采集互聯網訪問數據的方法及裝置

有效

• 申請號: 201410208321.0
• 申請日: 2014-05-16
• 公開（公告）號: CN105100015B
• 公開（公告）日: 2018-07-03
• 發明（設計）人: 林琳
• 申請（專利權）人: 林琳
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種采集互聯網訪問內容的方法，其特征在于，應用于互聯網數據采集系統，所述方法包括：

獲取應用層日志和網絡接入標識間的對應關系，所述應用層日志通過響應終端訪問統一資源定位符URL的內容請求報文生成，所述內容請求報文通過路由轉發至Web代理服務器集群，所述Web代理服務器集群設置在電信運營商的IP承載網絡內滿足預設條件的節點上，所述預設條件包括：所述節點能夠連通互聯網數據采集系統與電信運營商的認證授權記賬AAA系統間的通信，以及所述節點上的Web代理服務器集群和所述AAA系統的時間同步，所述AAA系統包括多個AAA服務器；所述終端使用所述網絡接入標識；

依據所述對應關系，采集所述網絡接入標識在預設時間段內、對所述互聯網的訪問內容。

2.根據權利要求1所述的方法，其特征在于，所述獲取應用層日志和網絡接入標識間的對應關系包括：

從所述互聯網中的AAA服務器中獲取承載層日志，所述承載層日志中包括以下字段：網絡接入標識、本次承載層會話中所述網絡接入標識使用的IP地址、本次承載層會話開始的時間戳和本次承載層會話結束的時間戳；

從所述Web代理服務器集群獲取應用層日志，所述應用層日志中包括以下字段：本次應用層請求結束的時間戳、發起此次應用層請求的IP地址、響應此次應用層請求使用的傳輸層流量和本次應用層請求的URL；

當所述發起此次應用層請求的IP地址與所述本次承載層會話中所述網絡接入標識使用的IP地址匹配、且所述本次應用層請求結束的時間戳位于所述本次承載層會話開始的時間戳和本次承載層會話結束的時間戳之間時，確定所述應用層日志與所述網絡接入標識間存在對應關系。

3.根據權利要求1所述的方法，其特征在于，所述獲取應用層日志和網絡接入標識間的對應關系包括：

從所述互聯網中的AAA服務器中獲取承載層日志，所述承載層日志中包括以下字段：網絡接入標識、本次承載層會話中所述網絡接入標識使用的原始接入IP地址、本次承載層會話開始的時間戳和本次承載層會話結束的時間戳；

獲取地址轉換日志，所述地址轉換日志中包括以下字段：地址轉換日志中的原始接入IP地址、所述地址轉換日志中的原始接入IP地址對應的端口號、由所述地址轉換日志中的原始接入IP地址轉換得到的訪問IP地址、所述訪問IP地址對應的端口號和地址轉換時間；

從所述Web代理服務器集群獲取應用層日志，所述應用層日志中包括以下字段：本次應用層請求結束的時間戳、發起此次應用層請求的IP地址、所述IP地址對應的訪問端口號、內容響應成功時間戳、響應此次應用層請求使用的傳輸層流量和本次應用層請求的URL；

當所述應用層日志中的發起此次應用層請求的IP地址與所述地址轉換日志中的由所述地址轉換日志中的原始接入IP地址轉換得到的訪問IP地址相同、所述應用層日志中的所述IP地址對應的訪問端口號與所述地址轉換日志中的所述訪問IP地址對應的端口號相同、以及，所述應用層日志中的內容響應成功時間戳在所述地址轉換日志中的地址轉換時間的間隔內，則確定所述應用層日志中的發起此次應用層請求的IP地址與所述地址轉換日志中的原始接入IP地址對應；

如果所述承載層日志中的本次承載層會話中所述網絡接入標識使用的原始接入IP地址與所述地址轉換日志中的原始接入IP地址相同，獲取所述承載層日志中與本次承載層會話中所述網絡接入標識使用的原始接入IP地址對應的網絡接入標識；

建立所述網絡接入標識與所述應用層日志的對應關系。

4.根據權利要求1所述的方法，其特征在于，所述獲取應用層日志和網絡接入標識間的對應關系包括：

依據獲取的應用日志，確定所述應用層日志和網絡接入標識間的對應關系，所述應用層日志中包括所述網絡接入標識。