[發明專利]一種日志壓縮和索引方法

有效

• 申請號: 201710470489.2
• 申請日: 2017-06-20
• 公開（公告）號: CN109101504B
• 公開（公告）日: 2023-09-19
• 發明（設計）人: 孫清孟
• 申請（專利權）人: 恒為科技（上海）股份有限公司
• 主分類號: G06F16/174
• 分類號: G06F16/174;G06F16/13;G06F16/14;G06F11/30
• 代理公司: 上海三方專利事務所(普通合伙) 31127
• 代理人: 吳瑋

本發明公開了一種日志壓縮和索引方法，1)日志數據特點分析；2)日志預處理；3)壓縮算法組合；4)壓縮數據索引；5)數據解壓縮還原；6)條件查詢，采用條件查詢模塊，其根據用戶提供過的字段條件，輸出滿足字段條件的日志記錄數據,實現日志的壓縮和索引。本發明提供了一種日志壓縮和索引方法，對日志的特點，進行預處理和可逆變換，使之成為更適合壓縮的格式，綜合運用各種壓縮算法，達到最大壓縮率的要求，且壓縮后的數據便于查詢，保證數據完整性、正確性。

技術領域

本發明涉及一種日志壓縮和索引方法，具體涉及一種分布式、高壓縮率和快速索引的方法。

背景技術

隨著互聯網數據的大爆發，現網環境中單節點的Radius和DNS服務器等日志生成量達到了日均100GB，這極大的提高了存儲成本。當前日志存儲只是簡單的落盤備份，運用這些數據是極其的困難，而且由于數據簡單扁平，通過簡單的方式備份會占用更多存儲空間。所以對于這些數據，急需一個能夠減少存儲空間，提供快速檢索功能系統進行處理，并保障數據安全的方法。通用的壓縮工具或者算法都是適用于普通的文本文件或者文本流，不能深入的理解數據的含義。所以使用通用壓縮工具來壓縮日志數據既不能達到較高壓縮比，又不能提供快速的檢索功能。

發明內容

有鑒于此，本發明提供了一種日志壓縮和索引方法，對日志的特點，進行預處理和可逆變換，使之成為更適合壓縮的格式，綜合運用各種壓縮算法，達到最大壓縮率的要求，且壓縮后的數據便于查詢，保證數據完整性、正確性。

本發明通過以下技術手段解決上述技術問題：

本發明的一種日志壓縮和索引方法，其包括以下步驟：

1)日志數據特點分析，采用日志數據特點解析模塊對日志自身的特點進行解析，包括對日志結構、日志字段數據類型、單字段重復及相似程度和字段間的關系約束等特點進行解析，輸出解析結果；

2)日志預處理，采用日志預處理模塊根據日志分析模塊輸出的特點，對原始日志數據進行處理，處理內容包括排序、分列、分塊及聚合，將數據各字段處理成重復或者相似度高的格式，使數據既能易于壓縮，又不會增加檢索查詢的消耗，然后輸出處理好的分塊數據；

3)壓縮算法組合，采用壓縮算法組合模塊對日志數據進行初次壓縮，通過機器學習的方式選擇、排列出最優的編碼和壓縮算法，生成壓縮算法組合表；

4)壓縮數據索引，對于需要查詢的字段，壓縮數據索引模塊提供查詢字段對應壓縮數據的索引表；

5)數據解壓縮還原，數據解壓縮還原模塊根據索引表，對壓縮結果進行逆向處理，還原出原始數據；

6)條件查詢，采用條件查詢模塊，其根據用戶提供過的字段條件，輸出滿足字段條件的日志記錄數據,實現日志的壓縮和索引。

所述步驟4中的索引表減少了不必要的解壓縮過程，提高查詢效率。

所述步驟6中的字段條件包括組合字段。

本發明本發明所要解決的問題是，在日志數據高速膨脹的趨勢下，提供一種分布式、高壓縮率和快速索引的方法。以滿足數據分析平臺和軟件的對日志的存儲需求,解決了日志數據存儲成本高、難以運用的問題。

本發明解決了常用壓縮工具或方法對壓縮日志數據的壓縮效率比較低問題，并且壓縮后難以檢索使用的難題。首先，通過分析通用壓縮方法的處理方式，選擇差異化的方法，并且兼顧對壓縮數據的檢索。常用壓縮工具或方法大體基于三種方式：基于統計、基于字典或基于變換三種方式。本發明通過分析日志數據特點，進行預處理，然后選擇組合合適的算法進行更高效的壓縮。

為了解決壓縮數據檢索查詢速度慢的問題，本發明提出對于壓縮數據的索引的模塊。并且對相同或者相似的數據進行聚合，形成一個壓縮塊，對于未命中檢索條件的壓縮塊不需要解壓縮，減少不必要解壓縮過程，提要檢索效率。

附圖說明