[發(fā)明專利]用于列表數(shù)據(jù)壓縮的多重分類

有效

• 申請?zhí)枺?/td>: 201380017113.6
• 申請日: 2013-03-13
• 公開（公告）號: CN104205065B
• 公開（公告）日: 2017-09-29
• 發(fā)明（設(shè)計）人: J·阿米特;L·德米多夫;N·哈洛瓦尼;S·馬倫科夫
• 申請（專利權(quán)）人: 國際商業(yè)機器公司
• 主分類號: G06F12/00
• 分類號: G06F12/00;G06F5/00;G06F17/30
• 代理公司: 北京市金杜律師事務(wù)所11256
• 代理人: 酆迅,張凡

1.一種在計算環(huán)境中由處理器設(shè)備進(jìn)行的用于列表數(shù)據(jù)壓縮的多重分類的方法，所述方法包括：

將相似類型的數(shù)據(jù)段分類到多個類別之一，以用于將所述數(shù)據(jù)段分組成與所述多個類別中的每個類別關(guān)聯(lián)的壓縮流，其中所述壓縮流基于類別特定的優(yōu)化編碼操作而被編碼；以及

將所述壓縮流組合到一個輸出緩沖器中，其中所述壓縮流被提取；

還包括與對所述壓縮流進(jìn)行編碼結(jié)合地執(zhí)行以下各項中的至少一項：

分配填充首部；

檢測所述壓縮流的壓縮類型；

如果檢測到的所述壓縮類型是普通壓縮，則

設(shè)置所述普通壓縮，

設(shè)置未壓縮大小，并且

寫入壓縮的數(shù)據(jù)；

如果檢測到的所述壓縮類型是列壓縮，則

寫入用于所述列壓縮的流式器數(shù)目，并且

寫入正被處理的列編號，

寫入未壓縮的數(shù)據(jù)大小，并且

寫入列壓縮的數(shù)據(jù)；

如果檢測到的所述壓縮類型是普通列壓縮，則

寫入用于所述普通列壓縮的流式器數(shù)目，

寫入正被處理的列編號，

寫入未壓縮的數(shù)據(jù)大小，

寫入普通列壓縮的數(shù)據(jù)，并且

重復(fù)寫入所述流式器數(shù)目、所述列編號和所述普通列壓縮的數(shù)據(jù)直至所有普通列壓縮流被處理。

2.根據(jù)權(quán)利要求1所述的方法，其中所述多個類別至少包括文本、數(shù)字、日期、二進(jìn)制數(shù)、XML/HTML標(biāo)簽和電子郵件地址類別的分類。

3.根據(jù)權(quán)利要求2所述的方法，其中所述一個輸出緩沖器至少包含列壓縮流、普通列壓縮流和普通壓縮流。

4.根據(jù)權(quán)利要求1所述的方法，還包括與提取所述壓縮流結(jié)合地執(zhí)行以下各項中的至少一項：

讀取填充首部并且提取總壓縮大小；

提取壓縮類型；

如果所述壓縮類型是普通壓縮，則

讀取未壓縮大小，并且

提取壓縮的數(shù)據(jù)；

如果所述壓縮類型是列壓縮，則

提取用于所述列壓縮的流式器數(shù)目，并且

提取正被處理的列編號，

提取未壓縮的數(shù)據(jù)大小，并且

提取列壓縮的數(shù)據(jù)；

如果所述壓縮類型是普通列壓縮，則

提取用于所述普通列壓縮的流式器數(shù)目，

提取正被處理的列編號，

提取未壓縮的數(shù)據(jù)大小，

提取普通列壓縮的數(shù)據(jù)，并且

提取所述流式器數(shù)目、所述列編號和所述普通列壓縮的數(shù)據(jù)直至所有普通列壓縮流被提取。

5.根據(jù)權(quán)利要求1所述的方法，其中所述分類使用多個小詞典以輔助短權(quán)標(biāo)壓縮。

6.根據(jù)權(quán)利要求1所述的方法，其中所述分類保持較大壓縮窗，允許對重復(fù)的識別。

7.根據(jù)權(quán)利要求1所述的方法，還包括將多個列欄壓縮操作中的至少一個列欄壓縮操作應(yīng)用于所述壓縮流中的每個壓縮流以用于產(chǎn)生增加的壓縮比。