[發(fā)明專利]一種基于持久性內(nèi)存的列式存儲(chǔ)方法、裝置及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010850276.4
• 申請(qǐng)日: 2020-08-21
• 公開(kāi)（公告）號(hào): CN111984651A
• 公開(kāi)（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 秦朝陽(yáng)
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類(lèi)號(hào): G06F16/22
• 分類(lèi)號(hào): G06F16/22;G06F16/172;G06F16/13
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張春輝

1.一種基于持久性內(nèi)存的列式存儲(chǔ)方法，其特征在于，包括：

對(duì)待存儲(chǔ)的格式化文件進(jìn)行劃分，每預(yù)設(shè)數(shù)量的行劃分為一個(gè)行組；對(duì)所述行組進(jìn)行劃分，每一列作為一個(gè)列塊；

將所述列塊轉(zhuǎn)換為哈希結(jié)構(gòu)數(shù)據(jù)，將所述哈希結(jié)構(gòu)數(shù)據(jù)寫(xiě)入持久性內(nèi)存中；

根據(jù)文件劃分情況生成所述格式化文件的元數(shù)據(jù)，其中所述元數(shù)據(jù)包括所述格式化文件中各個(gè)行組的標(biāo)識(shí)信息、各個(gè)行組在所述格式化文件中的位置信息，還包括所述行組中各個(gè)列塊的標(biāo)識(shí)信息、各個(gè)列塊在所述行組中的位置信息；

根據(jù)列塊的實(shí)際數(shù)據(jù)中各個(gè)元素是否為空，生成所述列塊的位圖索引數(shù)據(jù)。

2.如權(quán)利要求1所述的基于持久性內(nèi)存的列式存儲(chǔ)方法，其特征在于，所述將所述列塊轉(zhuǎn)換為哈希結(jié)構(gòu)數(shù)據(jù)，將所述哈希結(jié)構(gòu)數(shù)據(jù)寫(xiě)入持久性內(nèi)存中，包括：

以所述列塊的列名和行組序號(hào)為鍵，以所述列塊的實(shí)際數(shù)據(jù)為值，將所述列塊轉(zhuǎn)換為哈希結(jié)構(gòu)數(shù)據(jù)，將所述哈希結(jié)構(gòu)數(shù)據(jù)寫(xiě)入持久性內(nèi)存中。

3.如權(quán)利要求2所述的基于持久性內(nèi)存的列式存儲(chǔ)方法，其特征在于，所述將所述哈希結(jié)構(gòu)數(shù)據(jù)寫(xiě)入持久性內(nèi)存中，包括：

對(duì)所述哈希結(jié)構(gòu)數(shù)據(jù)中的值進(jìn)行編碼壓縮，將編碼壓縮后的哈希結(jié)構(gòu)數(shù)據(jù)寫(xiě)入持久性內(nèi)存中。

4.如權(quán)利要求2所述的基于持久性內(nèi)存的列式存儲(chǔ)方法，其特征在于，所述將所述哈希結(jié)構(gòu)數(shù)據(jù)寫(xiě)入持久性內(nèi)存中，包括：

利用持久性內(nèi)存開(kāi)發(fā)套件中的操作函數(shù)，將所述哈希結(jié)構(gòu)數(shù)據(jù)寫(xiě)入持久性內(nèi)存中。

5.如權(quán)利要求2所述的基于持久性內(nèi)存的列式存儲(chǔ)方法，其特征在于，所述將所述列塊轉(zhuǎn)換為哈希結(jié)構(gòu)數(shù)據(jù)，將所述哈希結(jié)構(gòu)數(shù)據(jù)寫(xiě)入持久性內(nèi)存中，包括：

將所述列塊轉(zhuǎn)換為并發(fā)哈希結(jié)構(gòu)數(shù)據(jù)，將所述并發(fā)哈希結(jié)構(gòu)數(shù)據(jù)寫(xiě)入持久性內(nèi)存中。

6.如權(quán)利要求1-5任意一項(xiàng)所述的基于持久性內(nèi)存的列式存儲(chǔ)方法，其特征在于，所述根據(jù)文件劃分情況生成所述格式化文件的元數(shù)據(jù)，包括：

根據(jù)文件劃分情況生成所述格式化文件的元數(shù)據(jù)，其中所述元數(shù)據(jù)還包括所述列塊的空值標(biāo)志位，所述空值標(biāo)志位用于表示列塊的值全部為空。

7.如權(quán)利要求6所述的基于持久性內(nèi)存的列式存儲(chǔ)方法，其特征在于，在所述根據(jù)文件劃分情況生成所述格式化文件的元數(shù)據(jù)之后，還包括：

將所述元數(shù)據(jù)存儲(chǔ)至類(lèi)二維數(shù)組中。

8.一種基于持久性內(nèi)存的列式存儲(chǔ)裝置，其特征在于，包括：

行組鍵值化模塊，包括：

文件劃分單元：用于對(duì)待存儲(chǔ)的格式化文件進(jìn)行劃分，每預(yù)設(shè)數(shù)量的行劃分為一個(gè)行組；對(duì)所述行組進(jìn)行劃分，每一列作為一個(gè)列塊；

哈希單元：用于將所述列塊轉(zhuǎn)換為哈希結(jié)構(gòu)數(shù)據(jù)，將所述哈希結(jié)構(gòu)數(shù)據(jù)寫(xiě)入持久性內(nèi)存中；

元數(shù)據(jù)模塊：用于根據(jù)文件劃分情況生成所述格式化文件的元數(shù)據(jù)，其中所述元數(shù)據(jù)包括所述格式化文件中各個(gè)行組的標(biāo)識(shí)信息、各個(gè)行組在所述格式化文件中的位置信息，還包括所述行組中各個(gè)列塊的標(biāo)識(shí)信息、各個(gè)列塊在所述行組中的位置信息；

位圖索引模塊：用于根據(jù)列塊的實(shí)際數(shù)據(jù)中各個(gè)元素是否為空，生成所述列塊的位圖索引數(shù)據(jù)。

9.如權(quán)利要求8所述的基于持久性內(nèi)存的列式存儲(chǔ)裝置，其特征在于，所述哈希單元具體用于：

以所述列塊的列名和行組序號(hào)為鍵，以所述列塊的實(shí)際數(shù)據(jù)為值，將所述列塊轉(zhuǎn)換為哈希結(jié)構(gòu)數(shù)據(jù)，將所述哈希結(jié)構(gòu)數(shù)據(jù)寫(xiě)入持久性內(nèi)存中。

10.如權(quán)利要求9所述的基于持久性內(nèi)存的列式存儲(chǔ)裝置，其特征在于，所述哈希單元具體用于：

對(duì)所述哈希結(jié)構(gòu)數(shù)據(jù)中的值進(jìn)行編碼壓縮，將編碼壓縮后的哈希結(jié)構(gòu)數(shù)據(jù)寫(xiě)入持久性內(nèi)存中。

11.如權(quán)利要求9所述的基于持久性內(nèi)存的列式存儲(chǔ)裝置，其特征在于，所述哈希單元具體用于：

利用持久性內(nèi)存開(kāi)發(fā)套件中的操作函數(shù)，將所述哈希結(jié)構(gòu)數(shù)據(jù)寫(xiě)入持久性內(nèi)存中。