[發明專利]日志查詢方法、裝置、設備及存儲介質

在審

• 申請號: 202110771839.5
• 申請日: 2021-07-08
• 公開（公告）號: CN113360521A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 饒琛琳;梁玫娟
• 申請（專利權）人: 北京優特捷信息技術有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2458;G06F16/248
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 趙迎迎

本發明實施例公開了一種日志查詢方法、裝置、設備及存儲介質。該方法包括：在檢測到用戶輸入目標查詢語句時，將目標查詢語句分解為多個子查詢語句，目標查詢語句為SPL查詢語句；根據各子查詢語句在目標查詢語句中的位置，確定各子查詢語句的類型，子查詢語句的類型包括：并行類型和非并行類型；通過并行檢索引擎，使用并行類型的子查詢語句，對待處理日志數據進行并行檢索，得到初步檢索結果；通過中央匯聚引擎，使用非并行類型的子查詢語句，對初步檢索結果進行二次處理，得到與目標查詢語句匹配的日志查詢結果。本發明實施例的技術方案，實現了無需編寫復雜的程序，根據SPL查詢語句就能夠對海量日志快速進行查詢分析，得到日志查詢結果。

技術領域

本發明實施例涉及數據處理技術領域，尤其涉及一種日志查詢方法、裝置、設備及存儲介質。

背景技術

目前，日志數據可以用于故障排除、監控、安全、合規、電子取證等方方面面，具有巨大的分析價值。但隨著大數據時代的來臨，日志的數量和類型快速增長，對日志內容進行分析并追蹤潛在的問題變得越來越困難。

現有技術中，業界通用的日志處理系統采用Hadoop分布式方案，需要使用者編寫復雜的MapReduce程序，甚至需要編寫多個MapReduce程序才能處理一次數據分析需求。在進行日志數據分析時，由于初始分析目標并不明確，需要多次試錯才能分析成功，而每次試錯都要重新編寫程序，因此，傳統的分析方法的時間成本和用戶學習成本都比較高。

發明內容

本發明實施例提供一種日志查詢方法、裝置、設備及存儲介質，以實現無需編寫復雜的程序，根據搜索處理語言(Search Processing Language，SPL)查詢語句就能夠對海量日志快速進行查詢分析，得到日志查詢結果。

第一方面，本發明實施例提供了一種日志查詢方法，包括：

在檢測到用戶輸入目標查詢語句時，將目標查詢語句分解為多個子查詢語句，目標查詢語句為SPL查詢語句；

根據各子查詢語句在目標查詢語句中的位置，確定各子查詢語句的類型，子查詢語句的類型包括：并行類型和非并行類型；

通過并行檢索引擎，使用并行類型的子查詢語句，對與目標查詢語句匹配的待處理日志數據進行并行檢索，得到初步檢索結果；

通過中央匯聚引擎，使用非并行類型的子查詢語句，對初步檢索結果進行二次處理，得到與目標查詢語句匹配的日志查詢結果。

可選的，在檢測到用戶輸入目標查詢語句時，將目標查詢語句分解為多個子查詢語句，包括：

在檢測到用戶輸入目標查詢語句時，識別目標查詢語句中的管道符，并將相鄰兩個管道符之間的數據作為一個子查詢語句；

其中，對于各管道符，管道符左側的子查詢語句的查詢結果，將作為管道符右側的子查詢語句的查詢范圍。

可選的，根據各子查詢語句在目標查詢語句中的位置，確定各子查詢語句的類型，包括：

按照從左到右的順序，查找第一個僅限中央匯聚引擎處理的目標子查詢語句；

將目標子查詢語句之前的子查詢語句判定為并行類型，將目標子查詢語句之后的子查詢語句，包括目標子查詢語句，判定為非并行類型。

可選的，通過并行檢索引擎，使用并行類型的子查詢語句，對與目標查詢語句匹配的待處理日志數據進行并行檢索，得到初步檢索結果，包括：

將并行類型的子查詢語句輸入并行檢索引擎，通過并行檢索引擎，根據各子查詢語句對日志數據庫進行并行檢索，得到與各子查詢語句對應的查詢結果；

通過并行分析引擎，對與各子查詢語句的查詢結果進行統計分析處理，得到與各子查詢語句對應的初步檢索結果。