[發(fā)明專利]日志壓縮方法及裝置、解壓縮方法及裝置

有效

• 申請?zhí)枺?/td>: 201410283777.3
• 申請日: 2014-06-23
• 公開（公告）號: CN104050269B
• 公開（公告）日: 2017-06-16
• 發(fā)明（設計）人: 喬志剛;高亞明;顧慶榮
• 申請（專利權(quán)）人: 上海帝聯(lián)信息科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H03M7/30
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司11227
• 代理人: 駱蘇華

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)壓縮技術(shù)領(lǐng)域，特別是涉及一種日志壓縮方法及裝置、解壓縮方法及裝置。

背景技術(shù)

互聯(lián)網(wǎng)產(chǎn)生大數(shù)據(jù)，隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，數(shù)據(jù)也將像能源、材料一樣，成為戰(zhàn)略性資源。如何利用數(shù)據(jù)資源深挖創(chuàng)新、提升效益，是諸多IT企業(yè)的追求目標。互聯(lián)網(wǎng)所產(chǎn)生的大數(shù)據(jù)，主要來自于對互聯(lián)網(wǎng)訪問日志的深度分析。因此，對互聯(lián)網(wǎng)訪問日志的收集和存儲成為關(guān)鍵。尤其是日志存儲，由于不經(jīng)壓縮的原始日志所占存儲空間過大，必須對原始日志進行壓縮，才能達到長期保存目的。

現(xiàn)有技術(shù)中，存在著各種文件壓縮方法，可以應用于互聯(lián)網(wǎng)訪問日志記錄的壓縮。但是，現(xiàn)有的各種文件壓縮方法由于為充分考量互聯(lián)網(wǎng)訪問日志的特點，因而存在著壓縮率低的問題。

發(fā)明內(nèi)容

本發(fā)明實施例解決的問題是如何有效地提高日志文件的壓縮率。

為解決上述問題，本發(fā)明實施例提供了一種日志壓縮方法，所述方法包括：

讀取所述日志中的記錄，所述記錄包括至少一個字段，所述字段中包括至少一個字符組成的字符串；

將所述日志的記錄按照字段進行存放，在所存放的記錄的字段中添加所述記錄在所述日志中的位序信息；

通過將所述日志中記錄的所述字段的字符串分別與所選取的基準記錄的所述字段中的字符串進行比較，將所述日志中記錄的所述字段的字符串進行合并處理，得到合并字符串；

創(chuàng)建壓縮文件，所述壓縮文件包括所述壓縮文件的頭信息，所述頭信息包括用于標識所述日志壓縮方法的標識信息、所述日志中記錄的行數(shù)信息、所述日志的記錄所包括的字段個數(shù)的信息；

將所得到的合并字符串進行壓縮，并將壓縮后的合并字符串按照所述字段在所述記錄的位置順序依次添加到所創(chuàng)建的壓縮文件中。

可選地，所述日志的記錄的所述字段中的字符串之間有序排列，所述通過將所述日志中記錄的所述字段的字符串分別與所選取的基準記錄的所述字段中的字符串進行比較，將所述日志的記錄的所述字段中的字符串進行合并處理，得到合并字符串，包括：

遍歷所述日志的記錄的所述字段中的字符串；

在第一位序的記錄的所述字段中加入值為零的重復字符個數(shù)的信息，得到所述第一位序的記錄的所述字段中新的字符串；

將所述日志中非第一位序的記錄的所述字段中的字符串與所述第一位序的記錄的所述字段中的字符串進行比較，獲取并記錄二者之間重復字符的個數(shù)；

將所述非第一位序的記錄的所述字段與所述第一位序的記錄的所述字段之間的重復字符去掉，留下非重復字符，得到所述非第一位序的記錄的所述字段的新的字符串，所述非第一位序的記錄的所述字段的新的字符串包括所述非第一位序的記錄的位序信息和所述非第一位序的記錄的所述字段與所述第一位序的記錄的所述字段之間的重復字符的個數(shù)的信息；

以得到的所述第一位序的記錄的所述字段中新的字符串作為開頭，將所生成的非第一位序的記錄的所述字段中新的字符串依次添加到所述第一位序的記錄的所述字段中新的字符串之后，且所述第一位序的記錄的所述字段中新的字符串與非第一位序的記錄的所述字段中新的字符串之間、以及所述非第一位序的記錄的所述字段中的新的字符串之間分別設置有分隔標識，得到合并字符串。

可選地，當所述日志的記錄的所述字段中的字符串之間無序排列時，將所述日志的記錄的所述字段中的字符串進行有序排列，并執(zhí)行所述通過將所述日志中記錄的所述字段的字符串分別與所選取的基準記錄的所述字段中的字符串進行比較，將所述日志中記錄的所述字段的字符串進行合并處理，得到合并字符串的操作。

可選地，所述通過將所述日志中記錄的所述字段的字符串分別與所選取的基準記錄的所述字段中的字符串進行比較，將所述日志中記錄的所述字段的字符串進行合并處理，得到合并字符串，包括：

遍歷所述日志的記錄的所述字段中的字符串，獲取所述日志的記錄中所述字段的字符串；

將所述日志的記錄的所述字段中的字符串采用預設字符串進行代替，得到新的字符串，所述預設字符串的字符數(shù)量小于所述日志的記錄的所述字段中的字符串的字符數(shù)量；

將所得到的新的字符串進行合并，得到合并字符串，在所述合并字符串中，所得到的新的字符串之間設置有分隔標識。

一種日志解壓縮方法，其特征在于，包括：

獲取并解壓縮壓縮文件中經(jīng)過壓縮的所述日志的記錄中所述字段的合并字符串；