[發明專利]一種分布式日志收集方法

有效

• 申請號: 201710654304.3
• 申請日: 2017-08-03
• 公開（公告）號: CN107590182B
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 向友君;何家成;張勰;朱葉;吳宗澤
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/215;G06F16/25;G06Q30/02
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.一種分布式日志收集方法，其特征在于，所述方法包括下列步驟：

業務系統產生日志數據；

采用雙緩沖機制對日志數據進行收集；

采用LVS+Keepalived模式將并發的業務請求合理分配給各服務節點；

采用基于主/從Reactor模式對日志數據進行分級轉發，具體為：

設計兩層Reactor，分別為MainReactor和SubReactor，其中，

MainReactor位于第一層，作為主Reactor，負責監聽來自業務集群各節點的新連接就緒事件，以及將已建立連接的網絡I/O操作根據日志優先級分配給不同的SubReactor；

SubReactor位于第二層，包括兩個從Reactor:SubReactorA和SubReactorB，其中，SubReactorA負責高優先級日志的獲取轉發工作，對前端日志源提供同步事件并發處理的能力，對后端日志系統提供穩定的日志流，SubReactorB負責低優先級日志的獲取轉發工作，對前端日志源提供異步事件并發處理的能力，對后端日志系統提供文件緩存形式的數據源；

采用基于Flume NG復合雙通道對日志數據進行清洗、過濾；

對日志數據進行讀取。

2.根據權利要求1所述的一種分布式日志收集方法，其特征在于，所述的采用雙緩沖機制對日志數據進行收集具體為：

將日志操作邏輯從業務處理流程的關鍵路徑中剝離，在業務節點中通過輕量級組件完成日志采集工作，保證日志采集場景下業務應用程序非阻塞、低延遲和后端日志線程低開銷、高吞吐量的性能。

3.根據權利要求1所述的一種分布式日志收集方法，其特征在于，所述的采用雙緩沖機制對日志數據進行收集具體為：

利用雙緩沖機制將業務邏輯與具體I/O邏輯進行解耦，業務線程只需負責生成日志消息，不涉及具體在什么時間點進行寫操作，通過異步的方式，保證業務處理流程的實時性。

4.根據權利要求1所述的一種分布式日志收集方法，其特征在于，所述的采用雙緩沖機制對日志數據進行收集中將多個日志消息拼成一個大的緩沖數據，一次性發送給后端，避免頻繁觸發后端。

5.根據權利要求1所述的一種分布式日志收集方法，其特征在于，所述的采用LVS+Keepalived模式將并發的業務請求合理分配給各服務節點具體為：

采用LVS+Keepalived模式實現高可用負載均衡，負載均衡服務設置至少兩臺服務器，一臺為Master節點，其他為Slave節點，構建LVS虛擬服務器集群系統，并在每個負載均衡節點部署Keepalived組件，Master節點與Slave節點之間通過虛擬路由冗余協議VRRP進行組播通信，Keepalived通過其核心協議VRRP實現負載均衡節點故障隔離以及節點之間的失敗自動切換。

6.根據權利要求1所述的一種分布式日志收集方法，其特征在于，所述的采用基于主/從Reactor模式對日志數據進行分級轉發具體為：

通過在常見的業務系統集群節點和日志系統集群節點中間增加代理節點，將業務系統與日志系統完全解耦，業務系統只專注于實現與維護業務邏輯，為平臺核心業務提供優質的服務，對于日志信息，業務系統只需將其提交給代理節點即可，由代理節點負責日志的緩存以及不同類型日志的分發處理。

7.根據權利要求1所述的一種分布式日志收集方法，其特征在于，所述的SubReactorB通過采用Reactor+線程池的形式，以半同步/半異步的思想進行設計，對外提供異步事件并發處理的能力，其中，SubReactorB異步事件并發處理內部邏輯采用三層結構實現，分別是異步層、隊列層、同步層。