[發明專利]日志數據處理方法、系統、設備及介質

在審

• 申請號: 202110412210.1
• 申請日: 2021-04-16
• 公開（公告）號: CN113010399A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 朱挺;唐銳華;陳漢;徐利平;李焜胤;陳國杰
• 申請（專利權）人: 攜程旅游網絡技術（上海）有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F16/25;G06F16/21
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 楊東明;張冉

本發明公開了一種日志數據處理方法、系統、設備及介質，所述日志數據處理方法應用在日志存儲系統中，所述日志存儲系統包括列式數據庫管理系統，所述方法包括：從所述列式數據庫管理系統中獲取目標日志數據；對所述目標日志數據采用預設管理方式進行處理以獲取日志管理結果；其中，所述預設管理方式對應IDC管理、NODE管理、集群管理、數據庫管理、表結構管理、數據管道管理、賬戶管理、日志管理以及日志訪問管理中的至少一種。本發明通過多種預設管理方式之間相互配合、相互協調，實現日志全生命周期的自助管理，實現了對超大規模的日志數據處理以及對列式數據庫管理系統的管理，大大降低了列式數據庫管理系統的運維和管理成本。

技術領域

本發明涉及數據處理技術領域，特別涉及一種日志數據處理方法、系統、設備及介質。

背景技術

互聯網服務提供商為了提高企業的服務質量，需要記錄用戶的訪問信息、網絡的運行狀況等。隨著互聯網的迅猛發展和公司業務不斷拓展，帶來了日益增多的互聯網用戶，而龐大的用戶量，使得記錄信息的過程會產生海量的日志數據，而如何管理和分析這些海量的日志數據成為互聯網企業的一個難題。

現有的日志分析普遍存在如下問題：

(1)數據量大，增量數據和存量數據都非常大，處理和存儲成本高，要求日志分析系統有較大的吞吐量；

(2)實時性要求高，日志一般用于了解系統當前發生的事情，要求數據實時；

(3)查詢的QPS(每秒查詢率)不高，但是單次查詢的數據量大，對于查詢性能要求高

(4)日志數據不規則，需要進行ETL(Extract-Transform-Load，抽取-清洗-轉換)等，讓日志變成規范的數據，才具有使用價值。

發明內容

本發明要解決的技術問題是為了克服現有技術無法處理大規模數據的缺陷，提供一種日志數據處理方法、系統、設備及介質。

本發明是通過下述技術方案來解決上述技術問題：

本發明提供一種日志數據處理方法，所述方法應用在日志存儲系統中，所述日志存儲系統包括列式數據庫管理系統，所述方法包括：

從所述列式數據庫管理系統中獲取目標日志數據；

對所述目標日志數據采用預設管理方式進行處理以獲取日志管理結果；

其中，所述預設管理方式對應IDC(Internet Data Center，互聯網數據中心)管理、NODE(節點)管理、集群管理、數據庫管理、表結構管理、數據管道管理、賬戶管理、日志管理以及日志訪問管理中的至少一種。

較佳地，所述日志存儲系統還包括日志數據預處理系統，所述方法還包括：

基于所述日志數據預處理系和所述列式數據庫管理系統進行配置處理以獲取配置結果；

其中，所述配置結果對應所述列式數據庫管理系統中所述目標日志數據的生命全周期管理。

較佳地，所述基于所述日志數據預處理系和所述列式數據庫管理系統進行配置處理的步驟包括：

基于所述日志數據預處理系和所述列式數據庫管理系統執行日志的接入申請、建表、配置、日志下線。

較佳地，所述日志存儲系統還包括展示系統，所述方法還包括：

基于所述展示系統展示所述目標日志數據；

和/或，

所述列式數據庫管理系統包括Clickhouse(一個開源的高性能列式分布式數據庫管理系統)集群管理系統。