[發明專利]一種分布式日志采集方法及裝置

在審

• 申請號: 201610063824.2
• 申請日: 2016-01-29
• 公開（公告）號: CN107025222A
• 公開（公告）日: 2017-08-08
• 發明（設計）人: 姚遠;王宇博;郝新斌
• 申請（專利權）人: 五八同城信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L12/24
• 代理公司: 工業和信息化部電子專利中心11010
• 代理人: 羅丹

1.一種分布式日志采集方法，其特征在于，包括：

步驟1，當客戶端中有業務系統基于請求調用所述業務系統對應的中間件時，通過中間件中預設的埋點采集與所述業務系統調用有關的數據，并將采集到的所述數據連同中間件運行時間數據一并填充入日志數據；步驟2，將所述日志數據發送給日志收集服務器進行統一存儲。

2.根據權利要求1所述的分布式日志采集方法，其特征在于，所述方法在客戶端側執行的流程，還包括：

在所述步驟1之前，按照預先設定的采樣率從所述業務系統接收到的所有的所述請求中選擇相應數量的請求，針對選擇出的請求執行所述步驟1。

3.根據權利要求1所述的分布式日志采集方法，其特征在于，所述步驟2包括：

按照設定的通信方式將所述日志數據發送給日志收集代理模塊，再通過日志收集代理模塊發送給日志收集服務器進行統一存儲；

所述設定的通信方式，包括：套接字方式、共享內存方式或者管道方式。

4.根據權利要求3所述的分布式日志采集方法，其特征在于，所述按照設定的通信方式將所述日志數據發送給日志收集代理模塊，包括：

將所述日志數據放入到多個第一異步隊列并從中輪詢選出日志數據按照設定的通信方式發送給所述日志收集代理模塊。

5.根據權利要求3所述的分布式日志采集方法，其特征在于，在所述日志收集服務器的數量為一個的情況下，所述通過日志收集代理模塊發送給日志收集服務器進行統一存儲，包括：

日志收集代理模塊將所述日志數據放入到多個第二異步隊列并從中輪詢選出日志數據；再將每次選出的日志數據發送給所述日志收集服務器，以使所述日志收集服務器將接收到的日志數據進行兼容性處理后統一保存到數據庫中；

在所述日志收集服務器的數量為兩個以上的情況下，所述通過日志收集代理模塊發送給日志收集服務器進行統一存儲，包括：

日志收集代理模塊一方面獲取日志收集服務器列表并從中輪詢選擇每次發送所對應接收的日志收集服務器，另一方面將所述日志數據放入到多個第二異步隊列并從中輪詢選出日志數據；再將每次選出的日志數據發送給對應接收的日志收集服務器，以使各日志收集服務器將接收到的日志數據進行兼容性處理后統一保存到數據庫中。

6.根據權利要求3所述的分布式日志采集方法，其特征在于，在客戶端的數量為兩個以上的情況下：

為中間件設置采集開關；當所述采集開關開啟時，允許通過中間件中預設的埋點執行所述步驟1；和/或，

為日志收集代理模塊設置發送開關；當所述發送開關開啟時，允許通過日志收集代理模塊將所述日志數據發送給日志收集服務器進行統一存儲。

7.根據權利要求1～6中任一項所述的分布式日志采集方法，其特征在于，所述與業務系統調用有關的數據，包括：業務系統的名稱、類型、全局唯一標識ID、全局唯一順序ID、當前的系統時間、調用方業務系統的IP地址及端口、和被調用方業務系統的IP地址及端口；

所述中間件運行時間數據，至少包括以下之一：中間件的全程運行時長、中間件的設定階段的運行時長。

8.一種分布式日志采集裝置，其特征在于，包括：

中間件模塊，用于當客戶端中有業務系統基于請求調用所述業務系統對應的中間件時，通過中間件中預設的埋點采集與所述業務系統調用有關的數據，并將采集到的所述數據連同中間件運行時間數據一并填充入日志數據；將所述日志數據發送給日志收集服務器進行統一存儲。

9.根據權利要求8所述的分布式日志采集裝置，其特征在于，所述裝置， 還包括：

請求篩選模塊，用于按照預先設定的采樣率從所述業務系統接收到的所有的所述請求中選擇相應數量的請求，針對選擇出的請求調用中間件模塊。

10.根據權利要求8所述的分布式日志采集裝置，其特征在于，所述裝置，還包括：日志收集代理模塊；

所述中間件模塊，還用于按照設定的通信方式將所述日志數據發送給日志收集代理模塊；所述設定的通信方式，包括：套接字方式、共享內存方式或者管道方式；

所述日志收集代理模塊，用于將所述日志數據發送給日志收集服務器進行統一存儲。