[發(fā)明專利]日志數(shù)據(jù)采集系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201910022404.3
• 申請日: 2019-01-10
• 公開（公告）號: CN109525448A
• 公開（公告）日: 2019-03-26
• 發(fā)明（設(shè)計(jì)）人: 任彧雄
• 申請（專利權(quán)）人: 北京智信未來信息技術(shù)有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/26
• 代理公司: 北京市鼎立東審知識產(chǎn)權(quán)代理有限公司 11751
• 代理人: 陳佳妹

1.一種日志數(shù)據(jù)采集系統(tǒng)，其特征在于，包括：

flume采集層模塊，用于采集指定服務(wù)的日志數(shù)據(jù)，針對每一條采集數(shù)據(jù)流生成對應(yīng)的配置文件，將所述配置文件寫入flume通信頭信息進(jìn)行傳輸；

flume匯聚層模塊，接收所述flume采集層模塊傳輸?shù)娜罩緮?shù)據(jù)，根據(jù)所述flume通信頭信息確定對應(yīng)的日志數(shù)據(jù)的傳輸方式和傳輸路徑；

Kafka消息隊(duì)列層模塊，用于根據(jù)所述傳輸方式緩存所述flume匯聚層模塊傳輸?shù)娜罩緮?shù)據(jù)；

數(shù)據(jù)消費(fèi)者層模塊，用于針對每一個配置文件對應(yīng)的日志數(shù)據(jù)啟動一個數(shù)據(jù)消費(fèi)者，并根據(jù)所述傳輸路徑存儲至目標(biāo)介質(zhì)。

2.根據(jù)權(quán)利要求1所述的日志數(shù)據(jù)采集系統(tǒng)，其特征在于，flume采集層模塊針對每一條采集數(shù)據(jù)流生成對應(yīng)的配置文件，為針對每一條采集數(shù)據(jù)流生成對應(yīng)的標(biāo)識ID，根據(jù)所述標(biāo)識ID生成對應(yīng)的配置文件。

3.根據(jù)權(quán)利要求2所述的日志數(shù)據(jù)采集系統(tǒng)，其特征在于，所述配置文件包括所述對應(yīng)采集數(shù)據(jù)流的關(guān)聯(lián)服務(wù)ID，服務(wù)日志路徑，服務(wù)日志關(guān)聯(lián)Kafka Topic，服務(wù)日志存儲介質(zhì)路徑。

4.根據(jù)權(quán)利要求3所述的日志數(shù)據(jù)采集系統(tǒng)，其特征在于，

所述服務(wù)日志路徑基于所述關(guān)聯(lián)服務(wù)ID生成；并且/或者

所述服務(wù)日志關(guān)聯(lián)Kafka Topic基于所述標(biāo)識ID生成；并且/或者

所述服務(wù)日志存儲介質(zhì)路徑基于所述標(biāo)識ID生成。

5.根據(jù)權(quán)利要求4所述的日志數(shù)據(jù)采集系統(tǒng)，其特征在于，所述flume匯聚層模塊通過啟動一組公用flume匯聚節(jié)點(diǎn)接收所述flume采集層模塊傳輸?shù)娜罩緮?shù)據(jù)。

6.一種日志數(shù)據(jù)采集方法，其特征在于，包括：

采集指定服務(wù)的日志數(shù)據(jù)，針對每一條采集數(shù)據(jù)流生成對應(yīng)的配置文件，將所述配置文件寫入flume通信頭信息進(jìn)行傳輸；

接收所述采集的日志數(shù)據(jù)，根據(jù)所述flume通信頭信息確定對應(yīng)的日志數(shù)據(jù)的傳輸方式和傳輸路徑；

根據(jù)所述傳輸方式緩存所述flume匯聚層模塊傳輸?shù)娜罩緮?shù)據(jù)；

針對每一個配置文件對應(yīng)的日志數(shù)據(jù)啟動一個數(shù)據(jù)消費(fèi)者，根據(jù)所述傳輸路徑存儲至目標(biāo)介質(zhì)。

7.根據(jù)權(quán)利要求6所述的日志數(shù)據(jù)采集方法，其特征在于，針對每一條采集數(shù)據(jù)流生成對應(yīng)的配置文件的步驟，為針對每一條采集數(shù)據(jù)流生成對應(yīng)的標(biāo)識ID，根據(jù)所述標(biāo)識ID生成對應(yīng)的配置文件。

8.根據(jù)權(quán)利要求7所述的日志數(shù)據(jù)采集方法，其特征在于，所述配置文件包括所述對應(yīng)采集數(shù)據(jù)流的關(guān)聯(lián)服務(wù)ID，服務(wù)日志路徑，服務(wù)日志關(guān)聯(lián)Kafka Topic，服務(wù)日志存儲介質(zhì)路徑。

9.根據(jù)權(quán)利要求8所述的日志數(shù)據(jù)采集方法，其特征在于，還包括如下步驟：

基于所述關(guān)聯(lián)服務(wù)ID生成所述服務(wù)日志路徑；

基于所述標(biāo)識ID生成所述服務(wù)日志關(guān)聯(lián)Kafka Topic；

基于所述標(biāo)識ID生成所述服務(wù)日志存儲介質(zhì)路徑。

10.根據(jù)權(quán)利要求6所述的日志數(shù)據(jù)采集方法，其特征在于，所述接收所述采集的日志數(shù)據(jù)的步驟，還包括啟動一組公用flume匯聚節(jié)點(diǎn)接收所述flume采集層模塊傳輸?shù)娜罩緮?shù)據(jù)。