[發(fā)明專利]一種流式并行處理日志的方法和設(shè)備

有效

• 申請?zhí)枺?/td>: 201611174560.4
• 申請日: 2016-12-19
• 公開（公告）號: CN106599222B
• 公開（公告）日: 2020-09-04
• 發(fā)明（設(shè)計）人: 區(qū)明海
• 申請（專利權(quán)）人: 廣州四三九九信息科技有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/18
• 代理公司: 北京超凡志成知識產(chǎn)權(quán)代理事務所(普通合伙) 11371
• 代理人: 梁斌

1.一種流式并行處理日志的方法，其特征在于，包括：

將不斷獲取的日志數(shù)據(jù)提交給多個子任務線程依次進行預處理；

針對各預處理后的日志數(shù)據(jù)，將對應所述日志數(shù)據(jù)的用戶的基礎(chǔ)數(shù)據(jù)補入所述日志數(shù)據(jù)中；

將進行補充后的日志數(shù)據(jù)插入數(shù)據(jù)庫；

其中，所述“針對各預處理后的日志數(shù)據(jù)，將對應所述日志數(shù)據(jù)的用戶的基礎(chǔ)數(shù)據(jù)補入所述日志數(shù)據(jù)中”包括：

提取活躍用戶的用戶基礎(chǔ)數(shù)據(jù)并進行緩存；

確定所述日志數(shù)據(jù)所對應的用戶；

若所述用戶為活躍用戶，從緩存中提取相應的用戶基礎(chǔ)數(shù)據(jù)補入所述用戶的日志數(shù)據(jù)中；

所述“針對各預處理后的日志數(shù)據(jù)，將對應所述日志數(shù)據(jù)的用戶的基礎(chǔ)數(shù)據(jù)補入所述日志數(shù)據(jù)中”還包括：

通過獨立的第一子任務線程將對應所述日志數(shù)據(jù)的用戶的基礎(chǔ)數(shù)據(jù)補入所述日志數(shù)據(jù)中；

所述“將進行補充后的日志數(shù)據(jù)插入數(shù)據(jù)庫”包括：

通過獨立的第二子任務線程將補充用戶基礎(chǔ)數(shù)據(jù)后的日志數(shù)據(jù)插入數(shù)據(jù)庫。

2.如權(quán)利要求1所述的方法，其特征在于，所述日志數(shù)據(jù)是用戶運行應用所產(chǎn)生的流水數(shù)據(jù)；

所述基礎(chǔ)數(shù)據(jù)包括：用戶來源渠道號、用戶注冊類型、用戶注冊時間、用戶首次支付時間。

3.如權(quán)利要求1所述的方法，其特征在于，所述“將不斷獲取的日志數(shù)據(jù)提交給多個子任務線程依次進行處理”，之前還包括：

設(shè)置的多個日志收集節(jié)點，其中各日志收集點對應各日志源；

將所述日志收集節(jié)點不斷收集的日志數(shù)據(jù)依次以隊列的方式進行存儲。

4.一種流式并行處理日志的設(shè)備，其特征在于，包括：

預處理模塊，用于將不斷獲取的日志數(shù)據(jù)提交給多個子任務線程依次進行預處理；

補充模塊，用于針對各預處理后的日志數(shù)據(jù)，將對應所述日志數(shù)據(jù)的用戶的基礎(chǔ)數(shù)據(jù)補入所述日志數(shù)據(jù)中；

所述補充模塊還用于：

提取活躍用戶的用戶基礎(chǔ)數(shù)據(jù)并進行緩存；

確定所述日志數(shù)據(jù)所對應的用戶；

若所述用戶為活躍用戶，從緩存中提取相應的用戶基礎(chǔ)數(shù)據(jù)補入所述用戶的日志數(shù)據(jù)中；

插入模塊，用于將進行補充后的日志數(shù)據(jù)插入數(shù)據(jù)庫；

其中，所述補充模塊，還用于通過獨立的第一子任務線程將對應所述日志數(shù)據(jù)的用戶的基礎(chǔ)數(shù)據(jù)補入所述日志數(shù)據(jù)中；

所述插入模塊，還用于通過獨立的第二子任務線程將補充用戶基礎(chǔ)數(shù)據(jù)后的日志數(shù)據(jù)插入數(shù)據(jù)庫。

5.如權(quán)利要求4所述的設(shè)備，其特征在于，所述日志數(shù)據(jù)是用戶運行應用所產(chǎn)生的流水數(shù)據(jù)；

所述基礎(chǔ)數(shù)據(jù)包括：用戶來源渠道號、用戶注冊類型、用戶注冊時間、用戶首次支付時間。

6.如權(quán)利要求4所述的設(shè)備，其特征在于，還包括：

收集模塊，用于設(shè)置的多個日志收集節(jié)點，其中各日志收集點對應各日志源；

將所述日志收集節(jié)點不斷收集的日志數(shù)據(jù)依次以隊列的方式進行存儲。