[發(fā)明專利]一種基于Greenplum大規(guī)模并行處理數(shù)據(jù)庫的內(nèi)容快速壓縮方法

在審

• 申請?zhí)枺?/td>: 202010325445.2
• 申請日: 2020-04-23
• 公開（公告）號(hào): CN111597201A
• 公開（公告）日: 2020-08-28
• 發(fā)明（設(shè)計(jì)）人: 陳海濤
• 申請（專利權(quán)）人: 南京聚力云成電子科技有限公司
• 主分類號(hào): G06F16/242
• 分類號(hào): G06F16/242;G06F16/2453;G06F16/2455;H03M7/30
• 代理公司: 北京挺立專利事務(wù)所(普通合伙) 11265
• 代理人: 許翠玲

1.一種基于Greenplum大規(guī)模并行處理數(shù)據(jù)庫的內(nèi)容快速壓縮方法，其特征在于，包括：

通過C語言，使QuickLZ壓縮算法與Greenplum大規(guī)模并行處理數(shù)據(jù)庫源碼集成；

根據(jù)標(biāo)準(zhǔn)SQL語句，結(jié)合QuickLZ壓縮算法或ZLIB壓縮算法創(chuàng)建大數(shù)據(jù)表；

根據(jù)所述大數(shù)據(jù)表信息和COPY指令，將采用QuickLZ壓縮算法的大數(shù)據(jù)表進(jìn)行數(shù)據(jù)導(dǎo)入；

獲取并優(yōu)化SQL查詢語句，對采用QuickLZ壓縮算法進(jìn)行壓縮存儲(chǔ)的大數(shù)據(jù)表進(jìn)行數(shù)據(jù)查詢。

2.如權(quán)利要求1所述的一種基于Greenplum大規(guī)模并行處理數(shù)據(jù)庫的內(nèi)容快速壓縮方法，其特征在于，所述通過C語言，使QuickLZ壓縮算法與Greenplum大規(guī)模并行處理數(shù)據(jù)庫源碼集成，包括：

通過C語言，將壓縮等級(jí)為3級(jí)的QuickLZ壓縮算法與Greenplum大規(guī)模并行處理數(shù)據(jù)庫源碼集成，并且所述QuickLZ壓縮算法與ZLIB壓縮算法并列提供壓縮存儲(chǔ)和解壓縮讀取功能。

3.如權(quán)利要求2所述的一種基于Greenplum大規(guī)模并行處理數(shù)據(jù)庫的內(nèi)容快速壓縮方法，其特征在于，所述根據(jù)標(biāo)準(zhǔn)SQL語句，結(jié)合QuickLZ壓縮算法或ZLIB壓縮算法創(chuàng)建大數(shù)據(jù)表，包括：

啟動(dòng)Greenplum大規(guī)模并行處理數(shù)據(jù)庫和客戶端程序，并獲取數(shù)據(jù)庫字段和存儲(chǔ)模式，且當(dāng)進(jìn)行壓縮時(shí)，根據(jù)獲取的標(biāo)準(zhǔn)SQL語句，選擇QuickLZ壓縮算法或者ZLIB壓縮算法及對應(yīng)的壓縮等級(jí)進(jìn)行壓縮。

4.如權(quán)利要求3所述的一種基于Greenplum大規(guī)模并行處理數(shù)據(jù)庫的內(nèi)容快速壓縮方法，其特征在于，所述根據(jù)標(biāo)準(zhǔn)SQL語句，結(jié)合QuickLZ壓縮算法或ZLIB壓縮算法創(chuàng)建大數(shù)據(jù)表，還包括：

若不需要進(jìn)行壓縮或者壓縮等級(jí)確定后，根據(jù)大數(shù)據(jù)表的數(shù)據(jù)格式、分布鍵和分區(qū)信息創(chuàng)建大數(shù)據(jù)表。

5.如權(quán)利要求4所述的一種基于Greenplum大規(guī)模并行處理數(shù)據(jù)庫的內(nèi)容快速壓縮方法，其特征在于，根據(jù)所述大數(shù)據(jù)表信息和COPY指令，將采用QuickLZ壓縮算法的大數(shù)據(jù)表進(jìn)行數(shù)據(jù)導(dǎo)入，包括：

根據(jù)所述大數(shù)據(jù)表信息和所述標(biāo)準(zhǔn)SQL語句的COPY指令，讀取數(shù)據(jù)庫元數(shù)據(jù)，并對數(shù)據(jù)文件進(jìn)行讀取和解析后，通過所述Greenplum大規(guī)模并行處理數(shù)據(jù)庫的主節(jié)點(diǎn)將數(shù)據(jù)整理后下發(fā)至每一個(gè)數(shù)據(jù)節(jié)點(diǎn)。

6.如權(quán)利要求5所述的一種基于Greenplum大規(guī)模并行處理數(shù)據(jù)庫的內(nèi)容快速壓縮方法，其特征在于，根據(jù)所述大數(shù)據(jù)表信息和COPY指令，將采用QuickLZ壓縮算法的大數(shù)據(jù)表進(jìn)行數(shù)據(jù)導(dǎo)入，還包括：

通過所述數(shù)據(jù)節(jié)點(diǎn)接收SQL語句和數(shù)據(jù)，并對每一條所述數(shù)據(jù)應(yīng)用所述QuickLZ壓縮算法進(jìn)行壓縮和存儲(chǔ)，同時(shí)返回狀態(tài)至所述主節(jié)點(diǎn)進(jìn)行對應(yīng)狀態(tài)和元數(shù)據(jù)的更新。

7.如權(quán)利要求6所述的一種基于Greenplum大規(guī)模并行處理數(shù)據(jù)庫的內(nèi)容快速壓縮方法，其特征在于，所述獲取并優(yōu)化SQL查詢語句，對采用QuickLZ壓縮算法進(jìn)行壓縮存儲(chǔ)的大數(shù)據(jù)表進(jìn)行數(shù)據(jù)查詢，包括：

利用所述主節(jié)點(diǎn)獲取SQL查詢語句，同時(shí)獲取所述大數(shù)據(jù)表信息后對所述SQL查詢語句進(jìn)行優(yōu)化，并傳輸至每一個(gè)所述數(shù)據(jù)節(jié)點(diǎn)。

8.如權(quán)利要求7所述的一種基于Greenplum大規(guī)模并行處理數(shù)據(jù)庫的內(nèi)容快速壓縮方法，其特征在于，所述獲取并優(yōu)化SQL查詢語句，對采用QuickLZ壓縮算法進(jìn)行壓縮存儲(chǔ)的大數(shù)據(jù)表進(jìn)行數(shù)據(jù)查詢，還包括：

根據(jù)接收到的優(yōu)化后的所述SQL查詢語句對壓縮數(shù)據(jù)利用所述QuickLZ解壓縮算法進(jìn)行解壓縮，并將解壓縮后的數(shù)據(jù)集進(jìn)行整理，同時(shí)將滿足查詢條件的數(shù)據(jù)集返回至所述主節(jié)點(diǎn)后，返回?cái)?shù)據(jù)并更新對應(yīng)狀態(tài)。