[發(fā)明專利]一種基于列存的多列聯(lián)合存儲(chǔ)的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910727581.1
• 申請(qǐng)日: 2019-08-07
• 公開(kāi)（公告）號(hào): CN110413624A
• 公開(kāi)（公告）日: 2019-11-05
• 發(fā)明（設(shè)計(jì)）人: 王帥
• 申請(qǐng)（專利權(quán)）人: 南京錄信軟件技術(shù)有限公司
• 主分類(lèi)號(hào): G06F16/22
• 分類(lèi)號(hào): G06F16/22;G06F16/28
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于列存的多列聯(lián)合存儲(chǔ)的方法，其特征在于：步驟如下：

S1：對(duì)多列創(chuàng)建聯(lián)合索引，數(shù)據(jù)入庫(kù)時(shí)干預(yù)數(shù)據(jù)的排序分布（按照group by排序存儲(chǔ)）；

S2：多列索引中的每一列采用列存儲(chǔ)，每一個(gè)列數(shù)據(jù)存儲(chǔ)在單獨(dú)的連續(xù)的區(qū)域，每列索引數(shù)據(jù)分塊存儲(chǔ)，塊是數(shù)據(jù)存取得最小單位；

S3：建立兩級(jí)跳表查詢結(jié)構(gòu)，加速數(shù)據(jù)的檢索；

S4：基于lucene的payload實(shí)現(xiàn)k/v存儲(chǔ)；

S5：創(chuàng)建聯(lián)合索引時(shí)根據(jù)每列數(shù)據(jù)特點(diǎn)自動(dòng)匹配對(duì)應(yīng)的數(shù)據(jù)壓縮類(lèi)型，針對(duì)數(shù)值型的數(shù)據(jù)可以選擇行程編碼、差值編碼、基于相鄰值的差值編碼、基于位置的差值編碼、整數(shù)壓縮算法、字典壓縮編碼，針對(duì)字符型的數(shù)據(jù)可以選擇行程編碼、字典編碼；

除此之外，壓縮編碼之間可以二次壓縮。

2.根據(jù)權(quán)利要求1所述的一種基于列存的多列聯(lián)合存儲(chǔ)的方法，其特征在于：所述S3中的兩級(jí)跳的跳躍表節(jié)點(diǎn)中保存下一層指針信息，和當(dāng)前區(qū)間最大值最小值。

3.根據(jù)權(quán)利要求1所述的一種基于列存的多列聯(lián)合存儲(chǔ)的方法，其特征在于：所述S1中首先根據(jù)level1節(jié)點(diǎn)最大值最小值檢索。

4.根據(jù)權(quán)利要求3所述的一種基于列存的多列聯(lián)合存儲(chǔ)的方法，其特征在于：在level1命中的節(jié)點(diǎn)中依次對(duì)level2層檢索。

5.根據(jù)權(quán)利要求4所述的一種基于列存的多列聯(lián)合存儲(chǔ)的方法，其特征在于：Level2中命中的數(shù)據(jù)就為真正的數(shù)據(jù)塊，最后就是對(duì)數(shù)據(jù)塊中的數(shù)據(jù)順序掃描判斷。