[發(fā)明專利]一種日志壓縮和索引方法有效
| 申請?zhí)枺?/td> | 201710470489.2 | 申請日： | 2017-06-20 |
| 公開（公告）號： | CN109101504B | 公開（公告）日： | 2023-09-19 |
| 發(fā)明（設(shè)計）人： | 孫清孟 | 申請（專利權(quán)）人： | 恒為科技（上海）股份有限公司 |
| 主分類號： | G06F16/174 | 分類號： | G06F16/174;G06F16/13;G06F16/14;G06F11/30 |
| 代理公司： | 上海三方專利事務(wù)所(普通合伙) 31127 | 代理人： | 吳瑋 |
| 地址： | 201114 上*** | 國省代碼： | 上海;31 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 日志 壓縮 索引 方法 | ||
1.一種日志壓縮和索引方法，其特征在于，包括以下步驟：
1)日志數(shù)據(jù)特點分析，采用日志數(shù)據(jù)特點解析模塊對日志自身的特點進行解析，包括對日志結(jié)構(gòu)、日志字段數(shù)據(jù)類型、單字段重復(fù)及相似程度和字段間的關(guān)系約束的特點進行解析，輸出解析結(jié)果；
2)日志預(yù)處理，采用日志預(yù)處理模塊根據(jù)日志分析模塊輸出的特點，對原始日志數(shù)據(jù)進行處理，處理內(nèi)容包括排序、分列、分塊及聚合，將數(shù)據(jù)各字段處理成重復(fù)或者相似度高的格式，使數(shù)據(jù)既能易于壓縮，又不會增加檢索查詢的消耗，然后輸出處理好的分塊數(shù)據(jù)；
3)壓縮算法組合，采用壓縮算法組合模塊對日志數(shù)據(jù)進行初次壓縮，分析關(guān)鍵字字段，選取主鍵，通過選擇出來的主鍵進行記錄的聚合，使用基于字典類型的壓縮算法；
4)壓縮數(shù)據(jù)索引，對于需要查詢的字段，壓縮數(shù)據(jù)索引模塊提供查詢字段對應(yīng)壓縮數(shù)據(jù)的索引表；
5)數(shù)據(jù)解壓縮還原，數(shù)據(jù)解壓縮還原模塊根據(jù)索引表，對壓縮結(jié)果進行逆向處理，還原出原始數(shù)據(jù)；
6)條件查詢，采用條件查詢模塊，其根據(jù)用戶提供過的字段條件，輸出滿足字段條件的日志記錄數(shù)據(jù),實現(xiàn)日志的壓縮和索引。
2.根據(jù)權(quán)利要求1所述的一種日志壓縮和索引方法，其特征在于：所述步驟6中的字段條件包括組合字段。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于恒為科技（上海）股份有限公司，未經(jīng)恒為科技（上海）股份有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710470489.2/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
