[發明專利]一種基于URL的用戶行為分析方法和裝置

在審

• 申請號: 201610052116.9
• 申請日: 2016-01-27
• 公開（公告）號: CN105786965A
• 公開（公告）日: 2016-07-20
• 發明（設計）人: 丁文濤;尹嘉路
• 申請（專利權）人: 久遠謙長（北京）技術服務有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/34
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明屬于互聯網領域，屬于一種基于URL的用戶行為分析方法和裝置。

背景技術

URL(UniformResourceLocator：統一資源定位器)，其在用戶訪問Internet 時發揮著極其重要的作用，隨著互聯網技術的高速發展，運營商每天產生的 URL日志量達到了TB級，伴隨著大數據技術的成熟，處理大量URL日志成 為可能，通過對大量URL日志的處理，可以分析、預測用戶行為、分析網站 用戶流量等信息。

發明內容

基于上述問題，本發明通過大數據存儲、分析平臺Hadoop，使用用戶行 為分析方法，結合URL日志以及爬蟲信息，實現了對用戶的行為分析及預測。

本發明解決上述技術問題所采取的技術方案如下：

一種基于URL的用戶行為分析方法，包括：

步驟1)獲取網站的原始URL日志，對其進行格式化分解，

分解后的URL日志中至少包括：訪問時間、用戶標記、URL地址、商品 的唯一標識SKUID；

步驟2)根據分解結果標記用戶的行為、提取URL中對應商品的SKUID；

步驟3)獲取網站的爬蟲數據，所述爬蟲數據中包括：爬取信息日期、URL 地址、商品品牌、商品品類、商品價格等；

步驟4)結合所述爬蟲數據，統計網站中用戶關于品類和品牌流轉、網站 UV、PV等信息。

優選的是，所述步驟4)中，具體包括：

從所述格式化分解后的URL日志和爬蟲數據中，獲取到用戶訪問的商品 網址和對應的品類和品牌信息；

當某一用戶在訪問了某一商品后，在默認時間內又訪問了同一個品類中 的不同品牌，則標記其發生了一次品牌流轉；或者，當在默認時間內又訪問了 不同品類，則認為其發生了一次品類流轉；通過對大量用戶的行為分析，計算 出網站的品類、品牌的流轉信息。

優選的是，所述步驟4)中，具體包括：

獲取URL日志中的某一URL地址對應的網站，統計訪問該網站的訪問 用戶和對應的網頁頁面數，根據用戶個數和訪問頁面數計算網站UV、PV等 信息。

優選的是，步驟1)至步驟4)，是在Hadoop計算平臺上進行計算。

優選的是，步驟2)中，基于用戶行為分析算法標記用戶的行為。

一種基于URL的用戶行為分析裝置，包括：

日志處理單元，用于獲取網站的原始URL日志，對其進行格式化分解，

分解后的URL日志中至少包括：訪問時間、用戶標記、URL地址、商品 的唯一標識SKUID；

日志分析單元，用于根據分解結果標記用戶的行為、提取URL中對應商 品的SKUID；

信息獲取單元，用于獲取網站的爬蟲數據，所述爬蟲數據中包括：爬取信 息日期、URL地址、商品品牌、商品品類、商品價格；

統計分析單元，用于結合所述爬蟲數據，統計網站中用戶關于品類和品牌 流轉、網站UV、PV等信息。

優選的是，所述統計分析單元，進一步：

從所述格式化分解后的URL日志和爬蟲數據中，獲取到用戶訪問的商品 網址和對應的品類和品牌等具體信息；

當某一用戶在訪問了某一商品后，在默認時間內又訪問了同一個品類中 的不同品牌，則標記其發生了一次品牌流轉；當在默認時間內又訪問了不同品 類，則認為其發生了一次品類流轉；通過對大量用戶的行為分析，計算出網站 的品類、品牌的流轉信息。

優選的是，所述統計分析單元，進一步：

獲取URL日志中的某一URL地址對應的網站，統計訪問該網站的訪問 用戶和對應的網頁頁面數，根據用戶個數和訪問頁面數計算網站UV、PV等 信息。

優選的是，所述日志處理單元、日志分析單元和統計分析單元，是在 Hadoop計算平臺上進行計算。

優選的是，所述日志分析單元，基于用戶行為分析算法標記用戶的行為。

本發明采取了上述方案以后，基于Hadoop數據分析平臺，結合原始URL 日志和爬蟲數據，通過用戶行為分析算法，分析、預測用戶行為等信息實現了 大數據平臺對用戶行為的分析、預測，具有很好的效果，同時有較高的參考價 值。