[發明專利]一種用于日志文本數據的快速搜索方法和系統

在審

• 申請號: 202210182261.4
• 申請日: 2022-02-25
• 公開（公告）號: CN114661871A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 代向;肖龍;蘭明軍;侯勝良;陳泉伯
• 申請（專利權）人: 云智慧（北京）科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F3/0487
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種用于日志文本數據的快速搜索方法和系統，所述快速搜索方法包括以下步驟：S1，制定搜索語法；S2，劃詞搜索；本發明有效降低使用者的內容輸入頻次，同時降低了復雜搜索的使用難度，降低了日志產品的使用成本，有效提高了搜索的便捷，同時有效避免了復雜搜索語句輸入帶來的反復驗證，日志搜索和問題定位效率得到了顯著提升。

技術領域

本發明涉及數據處理技術領域，具體涉及一種用于日志文本數據的快速搜索方法。

背景技術

隨著企業的發展需要，其業務、設備、網絡等資源數日益增長，云時代的企業日志具有跨平臺、種類繁多、數據量大等特點，公司的日志量往往達到TB級別，當系統或應用程序發生問題時，運維或研發人員需要通過搜索和讀取日志來了解系統運行情況，定位故障原因，進而快速解決故障，保障業務連續性。日志搜索作為日志問題定位的最常用手段，其常規方法有以下幾種：

內置多維條件的搜索方式；將需要搜索的內容內置為一個個查詢條件，用戶通過內容輸入或選取的方式完成對需要搜索內容關鍵字的填充，執行搜索時將搜索條件傳遞到代碼后臺，完成搜索內容的SQL語句組合，執行搜索后并獲取到日志；此種方式雖然搜索使用簡單，但由于日志類型及格式多種多樣，為達到對不同類型日志搜索的目的，需根據日志類型及格式進行搜索條件的內置適配，搜索查詢的能力擴展較為局限，搜索條件的內置適配成本高，且無法較好的實現對不同類型日志的統一查詢。

使用SQL語句搜索日志，提供查詢窗口直接輸入SQL查詢語句完成對日志的搜索；如針對原始日志內容的搜索可使用like方式進行模糊查詢、等于方式進行日志解析后字段內容的搜索，使用and、or、not分別代表同時包含多個搜索條件、包含其中的一個一個搜索條件、或排除某搜索內容，來達到日志搜索定位的目的，但直接使用SQL語句搜索的方式，要求使用人具備SQL基礎，且當用戶需要完成多條件的復雜搜索時，需頻繁進行搜索邏輯的構思及語法正確性驗證，使用學習成本高，操作復雜，不易于推廣。

組合搜索過濾語句，獲取基于SQL語法，按照通過輸入搜索內容對文本日志進行匹配搜索，其基本原理為使用SQL中like方法進行內容的模糊匹配，如搜索的內容包含某個搜索內容，同時包含多個搜索內容，包含多個搜索內容的其中一個，排除掉包含的某個搜索內容等等，同時包含、包含其中一個、排除內容分別通過and、or、not的邏輯運算符來代表，通過三種關系的組合，但當使用人需進行多條件組合搜索，尤其是搜索內容中同時包含多個and、or、not的邏輯時，使用人需頻繁進行邏輯構思及驗證內容輸入語法的正確性，搜索語句編寫繁瑣，操作復雜，日志搜索和定位效率也較為低下，無法快速幫助使用人員定位問題日志。

因此需要提供一種用于日志文本數據的快速搜索方法，通過簡單的操作實現對文本日志的快速搜索和定位，提高使用人員通過日志進行故障排查的效率。

發明內容

本發明針對大數據處理的數據信息發展需求，提供一種用于日志文本數據的快速搜索方法和系統，通過對日志搜索輸入語法的處理、同時結合內容劃詞等操作方式，無需人工輸入復雜的搜索語句，即可實現對文本日志內容的統一搜索，快速搜索。

本發明解決上述技術問題所采用的技術方案包括：

一種用于日志文本數據的快速搜索方法，所述快速搜索方法包括以下步驟：S1，制定搜索語法；S2，劃詞搜索。

優選地，所述步驟S1中的制定搜索語法具體為：簡化語法的解析樹，同時將最小單元的輸入語法與SQL語法建立對應關系，當使用人根據簡化語法輸入搜索內容后，通過語法解析樹對輸入的內容進行語法解析，并將解析后的語法組裝為一個完整的SQL搜索語句。

優選地，所述的用于日志文本數據的快速搜索方法，按照搜索語法輸入后，對輸入內容均進行語法判斷和校驗，非法語法進行提示。

優選地，邏輯運算法默認為大寫，將輸入的語法內容通過自定義語法樹轉換為對應SQL。