[發明專利]一種基于云原生的組件實現日志采集查詢存儲方法及系統

在審

• 申請號: 202211519904.6
• 申請日: 2022-11-30
• 公開（公告）號: CN115934817A
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 張長雙;黃平
• 申請（專利權）人: 天翼電子商務有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F8/38
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于云原生的組件實現日志采集查詢存儲方法，其特征在于，包括如下步驟，

S1.獲取用戶日志查詢請求；

S2.響應于用戶日志查詢請求，向多個端設備請求日志數據的采集，其中通過k8s部署容器組件；

S3.將多個端設備返回的日志數據轉換為統一的數據格式，得到轉換后的日志數據，存儲結構包括多個流式標簽；

S4.將轉換后的日志數據中屬于日志查詢請求所請求的查詢范圍的數據，選擇gzip、lz4和snappy三種壓縮方式，并且將日志組件與存儲組件分離，推送至請求端進行顯示；

S5.用戶通過日志查詢界面輸入的查詢條件，并生成匯總數據；

S6.根據所述查詢條件，生成查詢請求并發送至日志查詢系統。

2.如權利要求1所述的一種基于云原生的組件實現日志采集查詢存儲方法，其特征在于，步驟S3中，日志數據用于存儲包括entries、block、chunk和label解析。

3.如權利要求1所述的一種基于云原生的組件實現日志采集查詢存儲方法，其特征在于，步驟S3具體包括如下步驟：

S3-1.1entries解析：

a)每個entry均是一條單獨的日志行；

b)一個block包括一系列entries；

S3-2.block解析：

a)一個block包括多個entries；

b)每個entries的元數據記錄最小和最大的納秒級時間戳以及偏移量；

S3-3.chunk解析：

a)chunk包括多個block，每個block均有唯一個checksum；

S3-4.label解析：

a)標簽用于描述日志流的元數據，由key-value組成；

b)每個標簽的key和value組成一個流，任意一個標簽的值變化均創建一個新流。

4.如權利要求1所述的一種基于云原生的組件實現日志采集查詢存儲方法，其特征在于，步驟S3還包括如下步驟：S3-5.采集json格式數據展示圖。

5.如權利要求1所述的一種基于云原生的組件實現日志采集查詢存儲方法，其特征在于，步驟S4具體包括如下步驟：

S4-1.利用ceph/minio的副本和糾刪碼機制；

S4-2.采用多租戶的形式。

6.如權利要求1所述的一種基于云原生的組件實現日志采集查詢存儲方法，其特征在于，步驟S5中，所有展示圖均可自行調整，可控和可擴展。

7.一種基于云原生的組件實現日志采集查詢存儲系統，其特征在于，包括，

請求獲取模塊：獲取用戶日志查詢請求；

請求響應模塊：響應于用戶日志查詢請求，向多個端設備請求日志數據的采集，其中通過k8s部署容器組件；

格式轉換模塊：將多個端設備返回的日志數據轉換為統一的數據格式，得到轉換后的日志數據，存儲結構包括多個流式標簽；

日志推送模塊：將轉換后的日志數據中屬于日志查詢請求所請求的查詢范圍的數據，選擇gzip、lz4和snappy三種壓縮方式，并且將日志組件與存儲組件分離，推送至請求端進行顯示；

查詢匯總模塊：用戶通過日志查詢界面輸入的查詢條件，并生成匯總數據；

請求生成模塊：根據所述查詢條件，生成查詢請求并發送至日志查詢系統。