[發(fā)明專利]一種日志采集數(shù)據(jù)壓縮方法、解壓縮方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201210112487.3
• 申請(qǐng)日: 2012-04-17
• 公開（公告）號(hào): CN103379136B
• 公開（公告）日: 2017-02-22
• 發(fā)明（設(shè)計(jì)）人: 陳肅;陶振武;胡可云
• 申請(qǐng)（專利權(quán)）人: 中國(guó)移動(dòng)通信集團(tuán)公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司11291
• 代理人: 郭潤(rùn)湘

1.一種日志采集數(shù)據(jù)壓縮方法，其特征在于，包括：

獲取日志采集數(shù)據(jù)；

分別對(duì)所述日志采集數(shù)據(jù)中各屬性字段的各屬性值進(jìn)行編碼，得到與每個(gè)屬性值對(duì)應(yīng)的壓縮編碼；

使用得到的所述壓縮編碼，替換所述日志采集數(shù)據(jù)中對(duì)應(yīng)的屬性值，得到壓縮后的日志采集數(shù)據(jù)。

2.如權(quán)利要求1所述的方法，其特征在于，分別對(duì)所述日志采集數(shù)據(jù)中各屬性字段的各屬性值進(jìn)行編碼，得到與每個(gè)屬性值對(duì)應(yīng)的壓縮編碼，具體包括：

針對(duì)所述日志采集數(shù)據(jù)中的每個(gè)屬性字段的各屬性值，具體采用如下方式進(jìn)行編碼：

分別統(tǒng)計(jì)該屬性字段的各屬性值在所述日志采集數(shù)據(jù)中出現(xiàn)的次數(shù)；

根據(jù)各屬性值在所述日志采集數(shù)據(jù)中出現(xiàn)的次數(shù)，對(duì)該屬性字段的各屬性值進(jìn)行編碼，得到與各屬性值分別對(duì)應(yīng)的壓縮編碼，其中，出現(xiàn)的次數(shù)大的屬性值對(duì)應(yīng)的壓縮編碼的數(shù)據(jù)量，不大于出現(xiàn)的次數(shù)小的屬性值對(duì)應(yīng)的壓縮編碼的數(shù)據(jù)量。

3.如權(quán)利要求2所述的方法，其特征在于，根據(jù)各屬性值在所述日志采集數(shù)據(jù)中出現(xiàn)的次數(shù)，對(duì)該屬性字段的各屬性值進(jìn)行編碼，得到與各屬性值分別對(duì)應(yīng)的壓縮編碼，具體包括：

根據(jù)各屬性值在所述日志采集數(shù)據(jù)中出現(xiàn)的次數(shù)，構(gòu)建二叉樹，其中，所述二叉樹中的各葉子節(jié)點(diǎn)，分別對(duì)應(yīng)表征各屬性值在所述日志采集數(shù)據(jù)中出現(xiàn)的次數(shù)，且所述二叉樹中的父節(jié)點(diǎn)表征的數(shù)值，為該父節(jié)點(diǎn)的兩個(gè)子節(jié)點(diǎn)表征數(shù)值的和值，且所述二叉樹中每個(gè)節(jié)點(diǎn)表征的數(shù)值，不小于該節(jié)點(diǎn)所屬等級(jí)的下一級(jí)節(jié)點(diǎn)表征的數(shù)值；

確定所述二叉樹中葉子節(jié)點(diǎn)對(duì)應(yīng)的屬性值的壓縮編碼為，將從根節(jié)點(diǎn)到該葉子節(jié)點(diǎn)的路徑所包括的各子樹分別對(duì)應(yīng)的弧值，進(jìn)行排列得到的二進(jìn)制編號(hào)；

其中，所述二叉樹中節(jié)點(diǎn)的左子樹的弧值為0，右子樹的弧值為1；或者所述二叉樹中節(jié)點(diǎn)的左子樹的弧值為1，右子樹的弧值為0。

4.如權(quán)利要求3所述的方法，其特征在于，在確定所述二叉樹中葉子節(jié)點(diǎn)對(duì)應(yīng)的屬性值的壓縮編碼之后，還包括：

生成該屬性字段的各屬性值的編碼表，所述編碼表中包括所述二叉樹的信息，以及所述二叉樹的各葉子節(jié)點(diǎn)分別與各屬性值的對(duì)應(yīng)關(guān)系。

5.一種日志采集數(shù)據(jù)解壓縮方法，其特征在于，包括：

獲取壓縮后的日志采集數(shù)據(jù)，和未壓縮的日志采集數(shù)據(jù)中各屬性字段的各屬性值的編碼表；

使用所述編碼表中與各壓縮編碼分別對(duì)應(yīng)的屬性值，替換所述壓縮后的日志采集數(shù)據(jù)中對(duì)應(yīng)的壓縮編碼，得到解壓縮后的日志采集數(shù)據(jù)。

6.如權(quán)利要求5所述的方法，其特征在于，所述編碼表中包括與各壓縮字段分別對(duì)應(yīng)的二叉樹，且每個(gè)二叉樹中的各葉子節(jié)點(diǎn)，分別對(duì)應(yīng)該二叉樹對(duì)應(yīng)屬性字段的各屬性值，且該二叉樹中節(jié)點(diǎn)的左子樹的弧值為0，右子樹的弧值為1，或者該二叉樹中節(jié)點(diǎn)的左子樹的弧值為1，右子樹的弧值為0；

使用所述編碼表中與各壓縮編碼分別對(duì)應(yīng)的屬性值，替換所述壓縮后的日志采集數(shù)據(jù)中對(duì)應(yīng)的壓縮編碼，具體包括：

針對(duì)所述壓縮后的日志采集數(shù)據(jù)中的每個(gè)屬性字段的每個(gè)壓縮編碼，具體采用如下方式進(jìn)行解壓縮處理：

查詢?cè)搶傩宰侄螌?duì)應(yīng)的二叉樹，確定該屬性字段的該壓縮編碼對(duì)應(yīng)的葉子節(jié)點(diǎn)，其中，將從根節(jié)點(diǎn)到該對(duì)應(yīng)的葉子節(jié)點(diǎn)的路徑所包括的各子樹分別對(duì)應(yīng)的弧值，進(jìn)行排列得到的二進(jìn)制編號(hào)，與該壓縮編碼相同；

使用該壓縮編碼對(duì)應(yīng)的葉子節(jié)點(diǎn)對(duì)應(yīng)的屬性值，替換該壓縮后的日志采集數(shù)據(jù)中的該壓縮編碼。

7.一種日志采集數(shù)據(jù)壓縮裝置，其特征在于，包括：

第一獲取單元，用于獲取日志采集數(shù)據(jù)；

第一壓縮處理單元，用于分別對(duì)所述日志采集數(shù)據(jù)中各屬性字段的各屬性值進(jìn)行編碼，得到與每個(gè)屬性值對(duì)應(yīng)的壓縮編碼；

第二壓縮處理單元，用于使用得到的所述壓縮編碼，替換所述日志采集數(shù)據(jù)中對(duì)應(yīng)的屬性值，得到壓縮后的日志采集數(shù)據(jù)。

8.如權(quán)利要求7所述的裝置，其特征在于，所述第一壓縮處理單元，具體用于針對(duì)所述日志采集數(shù)據(jù)中的每個(gè)屬性字段的各屬性值，采用如下方式進(jìn)行編碼：

分別統(tǒng)計(jì)該屬性字段的各屬性值在所述日志采集數(shù)據(jù)中出現(xiàn)的次數(shù)；

根據(jù)各屬性值在所述日志采集數(shù)據(jù)中出現(xiàn)的次數(shù)，對(duì)該屬性字段的各屬性值進(jìn)行編碼，得到與各屬性值分別對(duì)應(yīng)的壓縮編碼，其中，出現(xiàn)的次數(shù)大的屬性值對(duì)應(yīng)的壓縮編碼的數(shù)據(jù)量，不大于出現(xiàn)的次數(shù)小的屬性值對(duì)應(yīng)的壓縮編碼的數(shù)據(jù)量。