[發(fā)明專利]一種流式并行處理日志的方法和設備

有效

• 申請?zhí)枺?/td>: 201611174560.4
• 申請日: 2016-12-19
• 公開（公告）號: CN106599222B
• 公開（公告）日: 2020-09-04
• 發(fā)明（設計）人: 區(qū)明海
• 申請（專利權）人: 廣州四三九九信息科技有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/18
• 代理公司: 北京超凡志成知識產(chǎn)權代理事務所(普通合伙) 11371
• 代理人: 梁斌

本發(fā)明實施例提出了一種流式并行處理日志的方法和設備，其中該方法包括：將不斷獲取的日志數(shù)據(jù)提交給多個子任務線程依次進行預處理；針對各預處理后的日志數(shù)據(jù)，將對應所述日志數(shù)據(jù)的用戶的基礎數(shù)據(jù)補入所述日志數(shù)據(jù)中；將進行補充后的日志數(shù)據(jù)插入數(shù)據(jù)庫。以此通過多任務流程來對日志數(shù)據(jù)進行依次處理，提高了處理效率，保證了處理的實時性，且在處理時，補入了用戶的基礎數(shù)據(jù)，提高了處理后的日志數(shù)據(jù)的價值。

技術領域

本發(fā)明涉及數(shù)據(jù)處理領域，特別涉及一種流式并行處理日志的方法和設備。

背景技術

現(xiàn)有技術中，游戲或者網(wǎng)站每天都產(chǎn)生大量的日志，日志收集，提取，轉換，加載的實時性對于游戲數(shù)據(jù)分析具有很大的作用。

但是目前的處理方式是將日志文件加載到程序內(nèi)存中，一行一行的讀取日志，將整個日志處理流程集中到一個任務中，導致處理效率不高，且降低了日志處理的實時性。

發(fā)明內(nèi)容

針對現(xiàn)有技術中的缺陷，本發(fā)明提出了一種流式并行處理日志的方法和設備，用以提高處理效率，提高處理的實時性。

具體的，本發(fā)明提出了以下具體的實施例：

本發(fā)明實施例提出了一種流式并行處理日志的方法，包括：

將不斷獲取的日志數(shù)據(jù)提交給多個子任務線程依次進行預處理；

針對各預處理后的日志數(shù)據(jù)，將對應所述日志數(shù)據(jù)的用戶的基礎數(shù)據(jù)補入所述日志數(shù)據(jù)中；

將進行補充后的日志數(shù)據(jù)插入數(shù)據(jù)庫。

在一個具體的實施例中，所述日志數(shù)據(jù)是用戶運行應用所產(chǎn)生的流水數(shù)據(jù)；

所述基礎數(shù)據(jù)包括：用戶來源渠道號、用戶注冊類型、用戶注冊時間、用戶首次支付時間。

在一個具體的實施例中，所述“將不斷獲取的日志數(shù)據(jù)提交給多個子任務線程依次進行處理”，之前還包括：

設置的多個日志收集節(jié)點，其中各日志收集點對應各日志源；

將所述日志收集節(jié)點不斷收集的日志數(shù)據(jù)依次以隊列的方式進行存儲。

在一個具體的實施例中，所述“將對應所述日志數(shù)據(jù)的用戶的基礎數(shù)據(jù)補入所述日志數(shù)據(jù)中”包括：

通過獨立的第一子任務線程將對應所述日志數(shù)據(jù)的用戶的基礎數(shù)據(jù)補入所述日志數(shù)據(jù)中。

所述“將進行補充后的日志數(shù)據(jù)插入數(shù)據(jù)庫”包括“

通過獨立的第二子任務線程將補充用戶基礎數(shù)據(jù)后的日志數(shù)據(jù)插入數(shù)據(jù)庫。

在一個具體的實施例中，所述“將對應所述日志數(shù)據(jù)的用戶的基礎數(shù)據(jù)補入所述日志數(shù)據(jù)中”，包括：

提取活躍用戶的用戶基礎數(shù)據(jù)并進行緩存；

確定所述日志數(shù)據(jù)所對應的用戶；

若所述用戶為活躍用戶，從緩存中提取相應的用戶基礎數(shù)據(jù)補入所述用戶的日志數(shù)據(jù)中。

本發(fā)明實施例還提出了一種流式并行處理日志的設備，包括：

預處理模塊，用于將不斷獲取的日志數(shù)據(jù)提交給多個子任務線程依次進行預處理；

補充模塊，用于針對各預處理后的日志數(shù)據(jù)，將對應所述日志數(shù)據(jù)的用戶的基礎數(shù)據(jù)補入所述日志數(shù)據(jù)中；

插入模塊，用于將進行補充后的日志數(shù)據(jù)插入數(shù)據(jù)庫。

在一個具體的實施例中，所述日志數(shù)據(jù)是用戶運行應用所產(chǎn)生的流水數(shù)據(jù)；

所述基礎數(shù)據(jù)包括：用戶來源渠道號、用戶注冊類型、用戶注冊時間、用戶首次支付時間。