[發明專利]一種分布式日志收集方法

有效

• 申請號: 201710654304.3
• 申請日: 2017-08-03
• 公開（公告）號: CN107590182B
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 向友君;何家成;張勰;朱葉;吳宗澤
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/215;G06F16/25;G06Q30/02
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種分布式的日志收集方法，包括：采用雙緩沖機制對日志數據進行收集；采用基于主/從Reactor模式對日志數據進行分級轉發；采用LVS+Keepalived模式將并發的業務請求合理分配給各服務節點；采用基于Flume NG復合雙通道對日志數據進行清洗、過濾；最終對日志數據進行讀取。相較于傳統日志收集方法，本分布式日志收集方法創新性地提出基于雙緩沖機制的非阻塞日志收集方案、基于主/從Reactor模式的分級日志轉發方案、基于Flume NG復合雙通道的日志系統與數據清洗平臺方案，使得系統對日志的收集效率更高，并且收集并落地存儲的日志數據更加符合分析人員的需求，降低后期數據分析的時間成本。

技術領域

本發明涉及大數據采集領域，尤其涉及到電商行業中的日志數據采集環節，具體涉及一種分布式的日志收集方法。

背景技術

近幾十年，國內經濟蓬勃發展，隨著生活水平的提高，人們的消費能力逐步增強，消費的渠道也逐步拓寬，特別是網購。

人們在使用電商平臺時，瀏覽商品、收藏商品、添加商品至購物車、訂單支付、訂單評價，此類用戶個性化的行為數據，將以用戶行為日志的形式保存在平臺服務后臺中。為了提升用戶體驗，提高產品銷量，各大電商平臺通過收集用戶數據進行數據挖掘分析，實現精準營銷，個性化商品推薦成了近幾年研究的熱門。人工智能和深度學習的快速發展，也為用戶行為分析與數據挖掘拓寬了渠道。隨著網購用戶的不斷增長，網購頻率以及商品數量、種類的增加，用戶行為日志產生量也急劇增長，如：淘寶網每天收集的數據量高達50TB，如何高效地收集海量的用戶數據，是進行大數據分析的重要關注點。而對監控日志的高效利用，則是提高電商平臺集群服務質量的重要途徑。

發明內容

本發明的目的是為了解決在傳統電商行業在日志數據上現有技術中的上述缺陷，提供一種分布式的日志收集方法。

本發明的目的可以通過采取如下技術方案達到：

一種分布式的日志收集方法，所述方法包括以下步驟：

業務系統產生日志數據；

采用雙緩沖機制對日志數據進行收集；

采用LVS+Keepalived模式將并發的業務請求合理分配給各服務節點；

采用基于主/從Reactor模式對日志數據進行轉發；

采用基于Flume NG復合雙通道對日志數據進行清洗、過濾；

對日志數據進行讀取。

進一步地，所述的采用雙緩沖機制對日志數據進行收集的具體過程包括：

雙緩沖是緩存設計的其中一種模式。通過合理設計緩存，解決業務線程的阻塞問題。

在基于雙緩沖機制的非阻塞日志采集方案中，邏輯上將日志消息的生產者稱為前臺，執行具體I/O操作進行的日志消費者稱為后臺。在電商平臺日志采集這個應用場景中，每個業務線程都可以理解為一個前臺，日志線程屬于后臺。該方案為日志采集前后臺分別準備了一個緩沖區，分別稱為緩沖區A和緩沖區B，初始化時，每個緩沖區分配兩個緩沖塊，一主一備，前臺主緩沖塊用于接收當前日志數據，備緩沖塊待命。緩沖區B的日志數據由后臺線程讀取并上報，本方案使用條件變量作為多線程間同步的機制。等待在條件變量上的后臺日志上報線程，在以下兩種情形下被喚醒：前端業務線程寫滿緩沖區或者等待時間超過5秒。方案主要邏輯執行時間線如附圖2所示。

初始化時，分配四個緩沖塊B1、B2、B3、B4，前后臺各兩個。前臺業務線程負責將日志數據寫入到緩沖區A中，后臺日志線程負責讀取緩沖區B中的日志數據并進行實際的I/O操作，往特定文件描述符中寫入數據。當緩沖區為空時，后端日志線程等待在條件變量上。