[發明專利]一種分布式互聯網行為分析方法、裝置及系統

在審

• 申請號: 201210581807.X
• 申請日: 2012-12-27
• 公開（公告）號: CN103905266A
• 公開（公告）日: 2014-07-02
• 發明（設計）人: 徐萌;何鴻凌;錢嶺;杜宇健
• 申請（專利權）人: 中國移動通信集團公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/08
• 代理公司: 北京中譽威圣知識產權代理有限公司 11279
• 代理人: 郭振興;叢芳

1.一種分布式互聯網行為分析方法，其特征在于，包括：

分布式部署的多個日志分析裝置獲取所在地的用戶上網日志，從所述用戶上網日志中提取網頁URL，將所述網頁URL上報到集中式部署的網頁分析裝置；

所述網頁分析裝置根據所述網頁URL獲取對應的網頁并對所述網頁進行分析，得到所述網頁的URL關聯信息，將所述網頁的URL關聯信息發送到各個日志分析裝置；

所述日志分析裝置根據所述網頁的URL關聯信息對用戶的互聯網行為進行分析。

2.根據權利要求1所述的方法，其特征在于，日志分析裝置將所述網頁URL上報到集中式部署的網頁分析裝置包括：

日志分析裝置判斷其URL信息庫中是否已存在該網頁URL，當其URL信息庫中不存在該網頁URL時，將所述網頁URL上報到所述網頁分析裝置。

3.根據權利要求1所述的方法，其特征在于，所述網頁分析裝置根據所述網頁URL獲取對應的網頁并對所述網頁進行分析包括：

所述網頁分析裝置通過爬蟲方式爬取所述網頁URL對應的網頁；

對所述網頁進行分析，得到所述網頁的URL關聯信息包括：URL、標題、正文、關鍵詞、標簽、類別及META信息。

4.根據權利要求1所述的方法，其特征在于，所述日志分析裝置將所述網頁URL上報到集中式部署的網頁分析裝置包括：

所述日志分析裝置以API查詢方式將所述網頁URL發送到所述網頁分析裝置。

5.根據權利要求1所述的方法，其特征在于，還包括：所述網頁分析裝置將所述網頁的URL關聯信息存儲到網頁分析裝置的URL信息庫中；

所述日志分析裝置將所述網頁URL上報到集中式部署的網頁分析裝置包括：

所述日志分析裝置判斷是否到達指定上報時間，當到達指定上報時間時，將所有不存在的網頁URL以文件方式發送到所述網頁分析裝置；

所述網頁分析裝置將所述網頁的URL關聯信息發送到各個日志分析裝置包括：

所述日志分析裝置判斷是否到達指定下載時間，當到達指定下載時間時，從所述網頁分析裝置的URL信息庫下載包含所述網頁的URL關聯信息的文件。

6.根據權利要求1所述的方法，其特征在于，所述日志分析裝置與網頁分析裝置之間通過Ftp協議、Http協議或基于socket的私有協議傳輸數據。

7.一種日志分析裝置，其特征在于，包括：

獲取模塊，用于獲取所在地的用戶上網日志；

提取模塊，用于從所述用戶上網日志中提取網頁URL；

URL信息庫，用于存儲URL關聯信息；

上報模塊，用于將所述網頁URL上報到集中式部署的網頁分析裝置；

行為分析模塊，用于根據從網頁分析裝置獲取的網頁的URL關聯信息對用戶的互聯網行為進行分析。

8.根據權利要求7所述的日志分析裝置，其特征在于，還包括：

判斷模塊，用于判斷URL信息庫中是否已存在該網頁URL；

所述上報模塊，用于當URL信息庫中不存在該網頁URL時，將所述網頁URL上報到集中式部署的網頁分析裝置。

9.根據權利要求7所述的日志分析裝置，其特征在于，還包括：

計時模塊，用于判斷是否到達指定上報時間；

所述上報模塊，用于當到達指定上報時間時，將所有不存在的網頁URL以文件方式發送到所述網頁分析裝置。

10.根據權利要求7所述的日志分析裝置，其特征在于，還包括：下載模塊，

所述計時模塊，用于判斷是否到達指定下載時間；

所述下載模塊，用于當到達指定下載時間時，從所述網頁分析裝置的URL信息庫下載包含所述網頁的URL關聯信息的文件。

11.一種網頁分析裝置，其特征在于，包括：

網頁獲取模塊，用于根據所述網頁URL獲取對應的網頁；

網頁分析模塊，用于對所述網頁進行分析，得到所述網頁的URL關聯信息；

URL信息庫，用于存儲所述網頁的URL關聯信息；

同步模塊，用于將所述網頁的URL關聯信息同步到各個日志分析裝置的信息庫中。

12.一種分布式互聯網行為分析系統，其特征在于，包括：分布式部署的多個日志分析裝置和集中式部署的網頁分析裝置；

所述日志分析裝置，用于獲取所在地的用戶上網日志，從所述用戶上網日志中提取網頁URL，將所述網頁URL上報到集中式部署的網頁分析裝置；根據從網頁分析裝置獲取的網頁的URL關聯信息對用戶的互聯網行為進行分析；

所述網頁分析裝置，用于根據所述網頁URL獲取對應的網頁并對所述網頁進行分析，得到所述網頁的URL關聯信息，將所述網頁的URL關聯信息存儲到網頁分析裝置的URL信息庫中；將所述網頁的URL關聯信息發送到各個日志分析裝置。