[發明專利]基于手機用戶上網行為的數據處理方法及裝置

有效

• 申請號: 201010535447.0
• 申請日: 2010-11-08
• 公開（公告）號: CN102006174A
• 公開（公告）日: 2011-04-06
• 發明（設計）人: 卞登奎;季波濤;蔣天超
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: H04L12/14
• 分類號: H04L12/14;H04L29/08;G06F17/30
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

技術領域

本發明涉及移動網絡技術領域，尤其涉及一種基于手機用戶上網行為的數據處理方法及裝置。

背景技術

目前，在移動網絡業務中，對用戶上網數據進行分析挖掘成為一種流行趨勢。隨著服務供應商以及使用手機上網用戶數量的不斷增長，使得移動業務系統產生的話單不斷增長，在話單量較多的業務系統中，業務量TPS(Tip-Per-Second)甚至已達到5000條/秒，每天的數據量約有1億到2億之多。

作為需要了解手機用戶上網行為的運營商，通常需要對手機用戶上網行為進行以下分析：

a)上網類型分析：用戶訪問頻率較高的網站的類型；

b)指定網站流量分析：網站或者網站內具體內容的訪問流量；

c)廣告訪問流量分析：廣告網址具體分類的訪問流量。

傳統技術中，對手機用戶上網數據進行分析所采用的方法是：對移動業務系統生成的話單中的URL(Uniform/Universal?Resource?Locator，統一資源定位符，也稱為網頁地址)字段進行分析。其中：

上網類型分析的過程包括：話單數據入庫、維護一張HOST與類型的對照關系表、針對單個URL解析出HOST、從對照關系表中查詢出類型以及針對所有的URL進行分析；

指定網站流量分析的過程包括：話單數據入庫、維護URL轉換規則對照表、針對單個URL轉換以及針對所有的URL進行分析；

廣告訪問流量分析的過程包括：話單數據入庫、維護URL和廣告的對應關系表、查詢單個URL屬于哪種廣告以及針對所有的URL進行分析。

在數據流量較大的情況下，采用上述方法對話單數據進行處理時會使系統性能出現瓶頸現象。因為話單中的URL均是加密存儲，在解析URL之前必須對URL做解密處理，還需要對URL解密后的字符串做復雜的運算操作，所以數據處理時間較長，以傳統解決方案對手機用戶上網行為分析的測試數據如下表1所示：

??話單生成速度?每天3000W條，每5分鐘10W條??10W條話單處理速度??10W條需要8分鐘??一天話單的處理速度??需要約1.5天

表1

從上表1可以看出，生成話單的速度比處理話單的速度快，由此使得話單會越堆越多而無法及時處理，不僅造成數據處理的嚴重延時，而且增加了系統數據庫處理負擔。

發明內容

本發明的主要目的在于提供一種基于手機用戶上網行為的數據處理方法及裝置，旨在提高手機用戶上網數據的處理速度，提高系統性能。

本發明提出一種基于手機用戶上網行為的數據處理方法，所述方法包括：

根據用戶上網數據生成包含有用戶訪問網頁地址URL的第一話單；

按照預定規則對所述第一話單中數據進行預處理，生成第二話單；

對所述第二話單中數據進行統計分析處理。

優選地，所述按照預定規則對所述第一話單中數據進行預處理的步驟包括：

對所述第一話單中數據進行上網類型URL分析處理和/或指定網站流量分析處理和/或廣告訪問流量分析處理。

優選地，所述對第一話單中數據進行上網類型URL分析處理的步驟包括：

在所述第一話單中增加URL類型的字段，用于存放URL所屬類別；

解析所述第一話單中的源URL；

從預設的URL類別對照關系表中查找所述源URL對應的所屬類別，寫入第二話單中與源URL對應的URL類型的字段。

優選地，所述對第一話單中數據進行指定網站流量分析處理的步驟包括：

在所述第一話單中增加新URL字段，用于存放轉換后的新URL；

根據預定轉換規則轉換第一話單中的源URL；

將轉換后的源URL寫入第二話單中與源URL對應的新URL字段。