[發(fā)明專利]一種大數(shù)據(jù)存儲(chǔ)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010450208.9
• 申請(qǐng)日: 2020-05-25
• 公開（公告）號(hào): CN111611214B
• 公開（公告）日: 2023-08-18
• 發(fā)明（設(shè)計(jì)）人: 張鵬;謝城;張建秋;張嘉聲
• 申請(qǐng)（專利權(quán)）人: 廣州翔聲智能科技有限公司
• 主分類號(hào): G06F16/174
• 分類號(hào): G06F16/174;G06F16/13;G06F16/906;G06F21/60;G06F21/62;H04L9/40;H04L69/04
• 代理公司: 廣州市百拓共享專利代理事務(wù)所(特殊普通合伙) 44497
• 代理人: 程小輝

1.一種大數(shù)據(jù)存儲(chǔ)方法，其特征在于，其包括以下壓縮步驟：

S1：從上層應(yīng)用獲取原始數(shù)據(jù)，對(duì)原始數(shù)據(jù)進(jìn)行遍歷；

S2：對(duì)遍歷完的原始數(shù)據(jù)根據(jù)聚類算法拆分成前綴數(shù)據(jù)和后綴數(shù)據(jù)；

S3：獲取使用該些數(shù)據(jù)的機(jī)器的唯一識(shí)別ID，將該識(shí)別ID進(jìn)行編碼，根據(jù)校驗(yàn)規(guī)則生成與該識(shí)別ID唯一對(duì)應(yīng)的校驗(yàn)和；

S4：將所述前綴數(shù)據(jù)結(jié)合所述校驗(yàn)和，進(jìn)行加密運(yùn)算，生成加密的前綴數(shù)據(jù)文件；

S5：將所述后綴數(shù)據(jù)結(jié)合所述校驗(yàn)和，進(jìn)行反向加密運(yùn)算，生成加密的后綴數(shù)據(jù)文件；

S6：將所述識(shí)別ID、校驗(yàn)和、校驗(yàn)規(guī)則以及壓縮規(guī)則寫到頭文件，生成頭部壓縮文件；

S7：將前綴數(shù)據(jù)文件進(jìn)行壓縮生成前綴壓縮文件，將后綴數(shù)據(jù)文件進(jìn)行壓縮生成后綴壓縮文件；

所述步驟S2聚類算法包括如下步驟：

S21：獲取樣本數(shù)據(jù)，統(tǒng)計(jì)樣本數(shù)據(jù)單條數(shù)據(jù)的最大長(zhǎng)度Lmax和最小長(zhǎng)度Lmin；

S22：設(shè)定樣本數(shù)據(jù)采樣相近的樣本閾值N1位數(shù)；

S23：樣本聚類學(xué)習(xí)，計(jì)算樣本數(shù)據(jù)個(gè)體之間的相似度，選擇出樣本數(shù)據(jù)個(gè)體的局部最優(yōu)位置向量和種群的全局最優(yōu)位置向量；

S24：通過樣本聚類學(xué)習(xí)將樣本數(shù)據(jù)劃分為M1個(gè)集群；

S25：設(shè)定聚類閾值N2本位數(shù)；

S26：比較單個(gè)集群相似度位數(shù)個(gè)數(shù)Q，判斷相似度位數(shù)個(gè)數(shù)Q是否大于N2；

S271：當(dāng)相似度位數(shù)個(gè)數(shù)Q＞N2時(shí)，將集群歸為前綴數(shù)據(jù)；

S272：當(dāng)相似度位數(shù)個(gè)數(shù)Q＜N2時(shí)，將集群歸為后綴數(shù)據(jù)；

所述前綴壓縮文件、后綴壓縮文件通過一種大數(shù)據(jù)壓縮包解壓方法解壓，其包括以下解壓步驟：

S01：獲取前綴壓縮文件、后綴壓縮文件以及頭部壓縮文件；

S02：根據(jù)頭部壓縮文件中的校驗(yàn)和、校驗(yàn)規(guī)則以及壓縮規(guī)則對(duì)所述前綴壓縮文件以及后綴壓縮文件進(jìn)行解壓縮；

S03：組織步驟二的文件形成加密的前綴文件以及加密的后綴文件；

S04：根據(jù)識(shí)別ID、校驗(yàn)和以及加密規(guī)則對(duì)所述加密的前綴文件以及加密的后綴文件進(jìn)行解密得到前綴數(shù)據(jù)以及后綴數(shù)據(jù)；

S05：根據(jù)S2中的聚類算法重組所述前綴數(shù)據(jù)以及后綴數(shù)據(jù)形成原始數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述前綴數(shù)據(jù)、后綴數(shù)據(jù)以及校驗(yàn)和是根據(jù)DES加密算法形成加密的前綴數(shù)據(jù)文件以及加密的后綴數(shù)據(jù)文件。

3.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)存儲(chǔ)方法，其特征在于，步驟S7可以具體為：建立具有索引的數(shù)據(jù)字符串以及編碼的映射表，根據(jù)所述映射表對(duì)步驟S4中所述加密的前綴數(shù)據(jù)文件進(jìn)行數(shù)據(jù)字符串壓縮編譯，在壓縮編譯時(shí)，相同的數(shù)據(jù)字符串以編碼對(duì)應(yīng)的索引表示。

4.根據(jù)權(quán)利要求3所述的一種大數(shù)據(jù)存儲(chǔ)方法，其特征在于，根據(jù)所述映射表對(duì)步驟S4中所述加密的后綴數(shù)據(jù)文件進(jìn)行數(shù)據(jù)字符串壓縮編譯。

5.根據(jù)權(quán)利要求4所述的一種大數(shù)據(jù)存儲(chǔ)方法，其特征在于，步驟S7中對(duì)所述加密的前綴數(shù)據(jù)文件以及加密的后綴數(shù)據(jù)文件壓縮編譯時(shí)，結(jié)合校驗(yàn)和進(jìn)行分段壓縮形成若干個(gè)前綴壓縮文件以及若干個(gè)后綴壓縮文件。

6.根據(jù)權(quán)利要求5所述的一種大數(shù)據(jù)存儲(chǔ)方法，其特征在于，步驟S7中對(duì)所述加密的后綴數(shù)據(jù)文件進(jìn)行分段壓縮時(shí)，根據(jù)校驗(yàn)和的值對(duì)每一條所述后綴數(shù)據(jù)文件的數(shù)據(jù)進(jìn)行切割得到第一后綴數(shù)據(jù)以及第二后綴數(shù)據(jù)，將每一條所述后綴數(shù)據(jù)文件的數(shù)據(jù)的第一后綴數(shù)據(jù)存儲(chǔ)到其中一個(gè)后綴壓縮文件中，每一條所述后綴數(shù)據(jù)文件的數(shù)據(jù)的第二后綴數(shù)據(jù)存儲(chǔ)與所述其中一個(gè)后綴壓縮文件相對(duì)的另一個(gè)后綴壓縮文件中。

7.一種大數(shù)據(jù)壓縮包解壓方法，其用于解壓如權(quán)利要求1-6中任意一項(xiàng)所述的一種大數(shù)據(jù)存儲(chǔ)方法得到的前綴壓縮文件以及后綴壓縮文件，其特征在于，其包括以下解壓步驟：

S01：獲取前綴壓縮文件、后綴壓縮文件以及頭部壓縮文件；

S02：根據(jù)頭部壓縮文件中的校驗(yàn)和、校驗(yàn)規(guī)則以及壓縮規(guī)則對(duì)所述前綴壓縮文件以及后綴壓縮文件進(jìn)行解壓縮；

S03：組織步驟二的文件形成加密的前綴文件以及加密的后綴文件；

S04：根據(jù)識(shí)別ID、校驗(yàn)和以及加密規(guī)則對(duì)所述加密的前綴文件以及加密的后綴文件進(jìn)行解密得到前綴數(shù)據(jù)以及后綴數(shù)據(jù)；

S05：根據(jù)聚類算法重組所述前綴數(shù)據(jù)以及后綴數(shù)據(jù)形成原始數(shù)據(jù)。