[發明專利]一種日志檢索系統、方法、裝置、電子設備及存儲介質

在審

• 申請號: 201910296089.3
• 申請日: 2019-04-12
• 公開（公告）號: CN111813756A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 楊晨晨;奚媛
• 申請（專利權）人: 北京嘀嘀無限科技發展有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/14
• 代理公司: 北京超成律師事務所 11646
• 代理人: 鄧超

本申請提供了一種日志檢索系統、方法、裝置、電子設備及存儲介質，其中，該系統包括：用戶管理模塊接收用戶端發送的日志檢索請求，可以將日志檢索請求傳輸至日志索引存儲模塊，利用日志索引存儲模塊查找與日志檢索請求匹配的服務器標識和日志時間戳，并將查找到的服務器標識和日志時間戳返回至用戶管理模塊，利用用戶管理模塊則可以將日志時間戳傳輸至與服務器標識對應的日志檢索模塊，并接收日志檢索模塊查找到的與日志時間戳匹配的日志記錄，節省了磁盤存儲資源的同時，提升了日志檢索的效率。

技術領域

本申請涉及計算機技術領域，具體而言，涉及一種日志檢索系統、方法、裝置、電子設備及存儲介質。

背景技術

隨著云計算、移動互聯網、物聯網的迅速發展，大數據的時代已經來臨。對大數據業務系統(如網約車打車服務系統)進行日志的采集、分析與檢索操作，是對系統出現的問題進行分析的依據所在。

相關技術中比較常用的日志解決方案多采用ELK(Elasticsearch-Logstash-Kibana)架構，該ELK架構是指由Elasticsearch、Logstash和Kibana構建的系統，其中，ElasticSearch作為一個開源分布式搜索引擎，可以用于進行日志檢索，Logstash可以用于進行日志搜集、過濾等，Kibana則可以用于日志展示。

然而，由于采用ELK架構的日志解決方案在進行日志檢索之前，需要將大數據業務系統產生的所有日志數據均采集到ElasticSearch上，大量的日志數據存儲不僅會對磁盤資源帶來極大挑戰，還會影響日志檢索的效率，從而無法滿足當前大數據業務系統的服務需求。

發明內容

有鑒于此，本申請的目的在于提供一種日志檢索方法、裝置、系統、電子設備及存儲介質，利用索引集中式和日志分布式的聯合存儲方式，節省了磁盤存儲資源的同時，提升了日志檢索的效率。

主要包括以下幾個方面：

第一方面，本申請提供了一種日志檢索系統，所述系統包括：用戶管理模塊、日志索引存儲模塊和多個日志檢索模塊，每個所述日志檢索模塊分布式部署在對應的服務器上；

所述用戶管理模塊，用于接收用戶端發送的日志檢索請求，并將所述日志檢索請求傳輸至所述日志索引存儲模塊；在獲取到所述日志索引存儲模塊返回的與所述日志檢索請求匹配的服務器標識和日志時間戳之后，將所述日志時間戳傳輸至與所述服務器標識對應的日志檢索模塊，并接收所述日志檢索模塊返回的日志記錄；

所述日志索引存儲模塊，用于接收所述日志檢索請求，查找與所述日志檢索請求匹配的服務器標識和日志時間戳，并將查找到的服務器標識和日志時間戳返回至所述用戶管理模塊；

所述日志檢索模塊，用于在接收到來自所述用戶管理模塊的日志時間戳后，查找與所述日志時間戳匹配的日志記錄，并將查找到的日志記錄返回至所述用戶管理模塊。

在一些實施例中，所述日志檢索模塊，具體用于在接收到來自所述用戶管理模塊的日志時間戳后，確定與所述日志時間戳對應的目標日志分塊；基于所述目標日志分塊的預存塊索引信息，確定與所述目標日志分塊對應的至少一個目標壓縮數據塊；對確定的各個目標壓縮數據塊進行解壓縮，并根據解壓縮結果查找與所述日志時間戳匹配的日志記錄。

在一種實施方式中，所述日志檢索模塊包括：

日志分塊確定單元，用于在接收到來自所述用戶管理模塊的日志時間戳后，確定與所述日志時間戳對應的目標日志分塊；

壓縮數據塊確定單元，用于基于所述目標日志分塊的預存塊索引信息，確定與所述目標日志分塊對應的至少一個目標壓縮數據塊；

日志記錄檢索單元，用于對確定的各個目標壓縮數據塊進行解壓縮，并根據解壓縮結果查找與所述日志時間戳匹配的日志記錄。

在另一種實施方式中，所述日志檢索模塊還包括：