[發(fā)明專利]一種分布式互聯(lián)網(wǎng)行為分析方法、裝置及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201210581807.X
• 申請日: 2012-12-27
• 公開（公告）號: CN103905266A
• 公開（公告）日: 2014-07-02
• 發(fā)明（設計）人: 徐萌;何鴻凌;錢嶺;杜宇健
• 申請（專利權）人: 中國移動通信集團公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/08
• 代理公司: 北京中譽威圣知識產(chǎn)權代理有限公司 11279
• 代理人: 郭振興;叢芳

技術領域

本發(fā)明涉及數(shù)據(jù)業(yè)務技術領域，尤其涉及一種分布式網(wǎng)互聯(lián)網(wǎng)行為分析方法、裝置及系統(tǒng)。

背景技術

通過分析用戶上網(wǎng)行為，可以挖掘用戶的生活軌跡和生活需求，深度認識客戶，充分理解需求，進而實現(xiàn)基于移動互聯(lián)網(wǎng)的精準營銷，同時通過對用戶上網(wǎng)行為的分析，把握市場動脈，也為探索基于客戶生活的新產(chǎn)品、新模式奠定了研究基礎。

現(xiàn)有技術基于網(wǎng)頁內(nèi)容的客戶行為分析和服務系統(tǒng)包括位于運營商數(shù)據(jù)中心的信息調(diào)度分析展示系統(tǒng)、與核心路由器連接的信息推送器、與運營商計費系統(tǒng)相連的Ｒａｄｉｕｓ處理器，信息調(diào)度分析展示系統(tǒng)包括策略管理器、信息展示器、用戶行為分析器。通過對用戶上網(wǎng)的日志來分析用戶個性化特征。

現(xiàn)有技術主要存在以下幾個缺陷：

一、采集數(shù)據(jù)量大，日志數(shù)據(jù)以目前用戶量狀態(tài)，每個省每天600G-1T的日志訪問量，僅wap日志，如果加上gn日志，數(shù)量3-4倍。

二、數(shù)據(jù)分析手段缺乏，針對互聯(lián)網(wǎng)的分析方法眾多。

三、將日志數(shù)據(jù)集中后分析，數(shù)據(jù)傳輸成為瓶頸，每日1T的數(shù)據(jù)傳輸，網(wǎng)絡瓶頸嚴重。如果分省建立，互聯(lián)網(wǎng)分析屬于重復建設內(nèi)容，無需每個省單獨建立。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術中日志數(shù)據(jù)量過大，數(shù)據(jù)傳輸困難的技術問題，本發(fā)明提出一種分布式互聯(lián)網(wǎng)行為分析方法、裝置及系統(tǒng)。

本發(fā)明的一個方面，提供一種分布式互聯(lián)網(wǎng)行為分析方法，包括：分布式部署的多個日志分析裝置獲取所在地的用戶上網(wǎng)日志，從用戶上網(wǎng)日志中提取網(wǎng)頁URL，將網(wǎng)頁URL上報到集中式部署的網(wǎng)頁分析裝置；網(wǎng)頁分析裝置根據(jù)網(wǎng)頁URL獲取對應的網(wǎng)頁并對網(wǎng)頁進行分析，得到網(wǎng)頁的URL關聯(lián)信息，將網(wǎng)頁的URL關聯(lián)信息發(fā)送到各個日志分析裝置；日志分析裝置根據(jù)網(wǎng)頁的URL關聯(lián)信息對用戶的互聯(lián)網(wǎng)行為進行分析。

本發(fā)明的另一個方面，提供一種日志分析裝置，包括：獲取模塊，用于獲取所在地的用戶上網(wǎng)日志；提取模塊，用于從用戶上網(wǎng)日志中提取網(wǎng)頁URL；URL信息庫，用于存儲URL關聯(lián)信息；上報模塊，用于將網(wǎng)頁URL上報到集中式部署的網(wǎng)頁分析裝置；行為分析模塊，用于根據(jù)從網(wǎng)頁分析裝置獲取的網(wǎng)頁的URL關聯(lián)信息對用戶的互聯(lián)網(wǎng)行為進行分析。

本發(fā)明的另一個方面，提供一種網(wǎng)頁分析裝置，包括：網(wǎng)頁獲取模塊，用于根據(jù)網(wǎng)頁URL獲取對應的網(wǎng)頁；網(wǎng)頁分析模塊，用于對網(wǎng)頁進行分析，得到網(wǎng)頁的URL關聯(lián)信息；URL信息庫，用于存儲網(wǎng)頁的URL關聯(lián)信息；同步模塊，用于將網(wǎng)頁的URL關聯(lián)信息同步到各個日志分析裝置的信息庫中。

本發(fā)明的另一個方面，提供一種分布式互聯(lián)網(wǎng)行為分析系統(tǒng)，包括：分布式部署的多個日志分析裝置和集中式部署的網(wǎng)頁分析裝置；日志分析裝置，用于獲取所在地的用戶上網(wǎng)日志，從用戶上網(wǎng)日志中提取網(wǎng)頁URL，將網(wǎng)頁URL上報到集中式部署的網(wǎng)頁分析裝置；根據(jù)從網(wǎng)頁分析裝置獲取的網(wǎng)頁的URL關聯(lián)信息對用戶的互聯(lián)網(wǎng)行為進行分析；網(wǎng)頁分析裝置，用于根據(jù)網(wǎng)頁URL獲取對應的網(wǎng)頁并對網(wǎng)頁進行分析，得到網(wǎng)頁的URL關聯(lián)信息，將網(wǎng)頁的URL關聯(lián)信息存儲到網(wǎng)頁分析裝置的URL信息庫中；將網(wǎng)頁的URL關聯(lián)信息發(fā)送到各個日志分析裝置。

本發(fā)明的分布式互聯(lián)網(wǎng)行為分析方法、裝置及系統(tǒng)，通過將個性化較強日志分析裝置分布式部署在各省，將共同通用的網(wǎng)頁分析裝置集中建設。這樣，每個日志分析裝置可以靈活的選用日志分析方式，避免了在網(wǎng)絡上傳輸海量的日志數(shù)據(jù)，提高了網(wǎng)絡分析的效率，減少了網(wǎng)絡分析的時間。同時避免了網(wǎng)頁分析裝置的重復建設，降低了網(wǎng)絡建設成本。

附圖說明

圖1是本發(fā)明分布式互聯(lián)網(wǎng)行為分析系統(tǒng)實施例的結(jié)構(gòu)圖；

圖2是本發(fā)明日志分析裝置實施例的結(jié)構(gòu)圖；

圖3是本發(fā)明網(wǎng)頁分析裝置實施例的結(jié)構(gòu)圖；

圖4是本發(fā)明分布式互聯(lián)網(wǎng)行為分析方法實施例的流程圖；

圖5是本發(fā)明日志分析裝置實時上報網(wǎng)頁URL的流程圖；

圖6是本發(fā)明日志分析裝置非實時上報網(wǎng)頁URL的流程圖。

具體實施方式

本發(fā)明中，將互聯(lián)網(wǎng)行為分析系統(tǒng)分為日志分析裝置及網(wǎng)頁分析裝置。日志分析裝置實現(xiàn)用戶上網(wǎng)日志的裝載、統(tǒng)計分析、應用等多種功能。網(wǎng)頁分析裝置實現(xiàn)對網(wǎng)頁的爬取、解析、分類等多種功能。將個性化較強日志分析裝置分布式部署在各省，將共同通用的網(wǎng)頁分析裝置集中建設。以下結(jié)合附圖對本發(fā)明進行詳細說明。

如圖1所示，本發(fā)明分布式互聯(lián)網(wǎng)行為分析系統(tǒng)實施例包括：分布式部署在各省的多個日志分析裝置11a、11b、11c…和集中式部署的網(wǎng)頁分析裝置12。