[發(fā)明專利]日志數(shù)據(jù)處理方法、系統(tǒng)、設備及介質

在審

• 申請?zhí)枺?/td>: 202110412210.1
• 申請日: 2021-04-16
• 公開（公告）號: CN113010399A
• 公開（公告）日: 2021-06-22
• 發(fā)明（設計）人: 朱挺;唐銳華;陳漢;徐利平;李焜胤;陳國杰
• 申請（專利權）人: 攜程旅游網(wǎng)絡技術（上海）有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F16/25;G06F16/21
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 楊東明;張冉

1.一種日志數(shù)據(jù)處理方法，其特征在于，所述方法應用在日志存儲系統(tǒng)中，所述日志存儲系統(tǒng)包括列式數(shù)據(jù)庫管理系統(tǒng)，所述方法包括：

從所述列式數(shù)據(jù)庫管理系統(tǒng)中獲取目標日志數(shù)據(jù)；

對所述目標日志數(shù)據(jù)采用預設管理方式進行處理以獲取日志管理結果；

其中，所述預設管理方式對應IDC管理、NODE管理、集群管理、數(shù)據(jù)庫管理、表結構管理、數(shù)據(jù)管道管理、賬戶管理、日志管理以及日志訪問管理中的至少一種。

2.如權利要求1所述的日志數(shù)據(jù)處理方法，其特征在于，所述日志存儲系統(tǒng)還包括日志數(shù)據(jù)預處理系統(tǒng)，所述方法還包括：

基于所述日志數(shù)據(jù)預處理系和所述列式數(shù)據(jù)庫管理系統(tǒng)進行配置處理以獲取配置結果；

其中，所述配置結果對應所述列式數(shù)據(jù)庫管理系統(tǒng)中所述目標日志數(shù)據(jù)的生命全周期管理。

3.如權利要求2所述的日志數(shù)據(jù)處理方法，其特征在于，所述基于所述日志數(shù)據(jù)預處理系和所述列式數(shù)據(jù)庫管理系統(tǒng)進行配置處理的步驟包括：

基于所述日志數(shù)據(jù)預處理系和所述列式數(shù)據(jù)庫管理系統(tǒng)執(zhí)行日志的接入申請、建表、配置、日志下線。

4.如權利要求3所述的日志數(shù)據(jù)處理方法，其特征在于，所述日志存儲系統(tǒng)還包括展示系統(tǒng)，所述方法還包括：

基于所述展示系統(tǒng)展示所述目標日志數(shù)據(jù)；

和/或，

所述列式數(shù)據(jù)庫管理系統(tǒng)包括Clickhouse集群管理系統(tǒng)。

5.一種日志數(shù)據(jù)處理系統(tǒng)，其特征在于，所述系統(tǒng)應用在日志存儲系統(tǒng)中，所述日志存儲系統(tǒng)包括列式數(shù)據(jù)庫管理系統(tǒng)，所述系統(tǒng)包括：

獲取模塊，用于從所述列式數(shù)據(jù)庫管理系統(tǒng)中獲取目標日志數(shù)據(jù)；

處理模塊，用于對所述目標日志數(shù)據(jù)采用預設管理方式進行處理以獲取日志管理結果；

其中，所述預設管理方式對應IDC管理、NODE管理、集群管理、數(shù)據(jù)庫管理、表結構管理、數(shù)據(jù)管道管理、賬戶管理、日志管理以及日志訪問管理中的至少一種。

6.如權利要求5所述的日志數(shù)據(jù)處理系統(tǒng)，其特征在于，所述日志存儲系統(tǒng)還包括日志數(shù)據(jù)預處理系統(tǒng)，所述系統(tǒng)還包括：

配置模塊，用于基于所述日志數(shù)據(jù)預處理系和所述列式數(shù)據(jù)庫管理系統(tǒng)進行配置處理以獲取配置結果；

其中，所述配置結果對應所述列式數(shù)據(jù)庫管理系統(tǒng)中所述目標日志數(shù)據(jù)的生命全周期管理。

7.如權利要求6所述的日志數(shù)據(jù)處理系統(tǒng)，其特征在于，所述配置模塊包括執(zhí)行單元；

執(zhí)行單元，用于基于所述日志數(shù)據(jù)預處理系和所述列式數(shù)據(jù)庫管理系統(tǒng)執(zhí)行日志的接入申請、建表、配置、日志下線。

8.如權利要求7所述的日志數(shù)據(jù)處理系統(tǒng)，其特征在于，所述日志存儲系統(tǒng)還包括展示系統(tǒng)，所述系統(tǒng)還包括：

所述展示系統(tǒng)采用展示模塊，基于所述展示系統(tǒng)展示所述目標日志數(shù)據(jù)；

和/或，

所述列式數(shù)據(jù)庫管理系統(tǒng)包括Clickhouse集群管理系統(tǒng)。

9.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)權利要求1-4中任一項所述的日志數(shù)據(jù)處理方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權利要求1-4中任一項所述的日志數(shù)據(jù)處理方法的步驟。