[發(fā)明專利]一種基于分布式計算的網(wǎng)絡用戶行為數(shù)據(jù)實時處理方法

在審

• 申請?zhí)枺?/td>: 201410562441.0
• 申請日: 2014-10-21
• 公開（公告）號: CN104317877A
• 公開（公告）日: 2015-01-28
• 發(fā)明（設計）人: 王加俊;徐禮爽;周文峰
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海科盛知識產(chǎn)權代理有限公司 31225
• 代理人: 趙繼明

1.一種基于分布式計算的網(wǎng)絡用戶行為數(shù)據(jù)實時處理方法，其特征在于，包括依次執(zhí)行的啟動過程和實時計算過程，其中，

所述啟動過程具體為：從網(wǎng)絡用戶行為數(shù)據(jù)庫中提取數(shù)據(jù)進行分布式批處理計算獲取統(tǒng)計結果初始值，保存到統(tǒng)計結果緩存區(qū)和結果數(shù)據(jù)庫；在啟動過程中，數(shù)據(jù)源端實時偵聽用戶訪問交互行為數(shù)據(jù)，生成相應的事件數(shù)據(jù)流并保存，同時將事件數(shù)據(jù)流保存至網(wǎng)絡用戶行為數(shù)據(jù)庫；

所述網(wǎng)絡用戶行為數(shù)據(jù)庫中保存有所有時候用戶訪問交互行為所產(chǎn)生的事件數(shù)據(jù)流；

所述實時計算過程具體為：數(shù)據(jù)源端繼續(xù)接收用戶訪問交互行為數(shù)據(jù)生成的事件數(shù)據(jù)流，并保存至網(wǎng)絡用戶行為數(shù)據(jù)庫，將當前數(shù)據(jù)源端所有的事件數(shù)據(jù)流分發(fā)到分布式的多個節(jié)點，基于統(tǒng)計結果初始值進行增量計算并規(guī)約，最終結果保存至統(tǒng)計結果緩存區(qū)；

所述實時計算過程按設定間隔循環(huán)執(zhí)行。

2.根據(jù)權利要求1所述的一種基于分布式計算的網(wǎng)絡用戶行為數(shù)據(jù)實時處理方法，其特征在于，所述啟動指網(wǎng)絡系統(tǒng)的啟動或重新啟動。

3.根據(jù)權利要求1所述的一種基于分布式計算的網(wǎng)絡用戶行為數(shù)據(jù)實時處理方法，其特征在于，所述事件數(shù)據(jù)流包括對應于不同用戶訪問交互行為的事件類型及相應狀態(tài)數(shù)據(jù)。

4.根據(jù)權利要求3述的一種基于分布式計算的網(wǎng)絡用戶行為數(shù)據(jù)實時處理方法，其特征在于，所述實時計算過程中，事件數(shù)據(jù)流分發(fā)到分布式的多個節(jié)點的分發(fā)規(guī)則包括：按照事件類型分發(fā)給不同的節(jié)點，每個節(jié)點處理一種或幾種事件類型的數(shù)據(jù)計算；或者將所有事件數(shù)據(jù)流按設定比例分配到各個節(jié)點上進行并行計算。

5.根據(jù)權利要求1所述的一種基于分布式計算的網(wǎng)絡用戶行為數(shù)據(jù)實時處理方法，其特征在于，還包括關閉維護準備過程，具體為：

在接收到維護指令時，進入關閉準備狀態(tài)，將每次實時計算過程獲得的最終結果同時保存至統(tǒng)計結果緩存區(qū)和結果數(shù)據(jù)庫。

6.根據(jù)權利要求5所述的一種基于分布式計算的網(wǎng)絡用戶行為數(shù)據(jù)實時處理方法，其特征在于，所述關閉維護準備過程中，根據(jù)用戶訪問交互行為數(shù)據(jù)生成的事件數(shù)據(jù)流保存至網(wǎng)絡用戶行為數(shù)據(jù)庫。

7.根據(jù)權利要求5所述的一種基于分布式計算的網(wǎng)絡用戶行為數(shù)據(jù)實時處理方法，其特征在于，還包括：

實時接收用戶提交的統(tǒng)計查詢請求，若當前處于未啟動或啟動過程中，則直接從結果數(shù)據(jù)庫中查詢數(shù)據(jù)并返回給用戶，若當前處于實時計算過程和關閉維護準備過程中，則從統(tǒng)計結果緩存區(qū)中查詢數(shù)據(jù)并返回給用戶。