[發(fā)明專利]一種大數(shù)據(jù)存儲(chǔ)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010450208.9
• 申請(qǐng)日: 2020-05-25
• 公開（公告）號(hào): CN111611214B
• 公開（公告）日: 2023-08-18
• 發(fā)明（設(shè)計(jì)）人: 張鵬;謝城;張建秋;張嘉聲
• 申請(qǐng)（專利權(quán)）人: 廣州翔聲智能科技有限公司
• 主分類號(hào): G06F16/174
• 分類號(hào): G06F16/174;G06F16/13;G06F16/906;G06F21/60;G06F21/62;H04L9/40;H04L69/04
• 代理公司: 廣州市百拓共享專利代理事務(wù)所(特殊普通合伙) 44497
• 代理人: 程小輝

本發(fā)明提供一種大數(shù)據(jù)存儲(chǔ)方法，其包括以下步驟，S1：從上層應(yīng)用獲取原始數(shù)據(jù)，對(duì)原始數(shù)據(jù)進(jìn)行遍歷；S2：對(duì)遍歷完的原始數(shù)據(jù)根據(jù)聚類算法拆分成前綴數(shù)據(jù)和后綴數(shù)據(jù)；S3：獲取使用該些數(shù)據(jù)的機(jī)器的唯一識(shí)別ID，將該識(shí)別ID進(jìn)行編碼，根據(jù)校驗(yàn)規(guī)則生成與該識(shí)別ID唯一對(duì)應(yīng)的校驗(yàn)和；S4：將所述前綴數(shù)據(jù)結(jié)合所述校驗(yàn)和，進(jìn)行加密運(yùn)算，生成加密的前綴數(shù)據(jù)文件；S5：將所述后綴數(shù)據(jù)結(jié)合所述校驗(yàn)和，進(jìn)行反向加密運(yùn)算，生成加密的后綴數(shù)據(jù)文件；S6：將所述識(shí)別ID、校驗(yàn)和、校驗(yàn)規(guī)則以及壓縮規(guī)則寫到頭文件，生成頭部壓縮文件；S7：將前綴數(shù)據(jù)文件進(jìn)行壓縮生成前綴壓縮文件，將后綴數(shù)據(jù)文件進(jìn)行壓縮生成后綴壓縮文件。

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)存儲(chǔ)算法，尤其涉及一種大數(shù)據(jù)存儲(chǔ)方法。

背景技術(shù)

現(xiàn)有信息數(shù)據(jù)存儲(chǔ)，常規(guī)的存儲(chǔ)是十分占用硬盤空間的，而且數(shù)據(jù)以明文的方式存儲(chǔ)是不安全的，容易導(dǎo)致數(shù)據(jù)外泄，而對(duì)于有一定數(shù)據(jù)規(guī)則的數(shù)據(jù)我們可以對(duì)其進(jìn)行加密壓縮存儲(chǔ)的。數(shù)據(jù)加密是為了保住數(shù)據(jù)的安全性，而數(shù)據(jù)壓縮存儲(chǔ)是為了減少數(shù)據(jù)的冗余，減少數(shù)據(jù)的存儲(chǔ)空間，提高數(shù)據(jù)的傳輸效率，而對(duì)數(shù)據(jù)壓縮存儲(chǔ)的手段需要保證數(shù)據(jù)解壓出來的完整性，保證數(shù)據(jù)在傳輸?shù)臅r(shí)候不能丟失相關(guān)信息，解壓時(shí)按照一定的算法規(guī)則對(duì)數(shù)據(jù)進(jìn)行重新組織，因此，需要提出一種大數(shù)據(jù)存儲(chǔ)方法。

發(fā)明內(nèi)容

本發(fā)明提供一種大數(shù)據(jù)存儲(chǔ)方法，完成對(duì)數(shù)據(jù)的加密以及壓縮，加密壓縮后的數(shù)據(jù)即使外泄，若不具有對(duì)應(yīng)的組織規(guī)則以及加密方式則無法對(duì)數(shù)據(jù)進(jìn)行解壓重構(gòu)，保證數(shù)據(jù)存儲(chǔ)及傳輸安全。

本發(fā)明提供一種大數(shù)據(jù)存儲(chǔ)方法，其包括以下壓縮步驟：

S1：從上層應(yīng)用獲取原始數(shù)據(jù)，對(duì)原始數(shù)據(jù)進(jìn)行遍歷；

S2：對(duì)遍歷完的原始數(shù)據(jù)根據(jù)聚類算法拆分成前綴數(shù)據(jù)和后綴數(shù)據(jù)；

S3：獲取使用該些數(shù)據(jù)的機(jī)器的唯一識(shí)別ID，將該識(shí)別ID進(jìn)行編碼，根據(jù)校驗(yàn)規(guī)則生成與該識(shí)別ID唯一對(duì)應(yīng)的校驗(yàn)和；

S4：將所述前綴數(shù)據(jù)結(jié)合所述校驗(yàn)和，進(jìn)行加密運(yùn)算，生成加密的前綴數(shù)據(jù)文件；

S5：將所述后綴數(shù)據(jù)結(jié)合所述校驗(yàn)和，進(jìn)行反向加密運(yùn)算，生成加密的后綴數(shù)據(jù)文件；

S6：將所述識(shí)別ID、校驗(yàn)和、校驗(yàn)規(guī)則以及壓縮規(guī)則寫到頭文件，生成頭部壓縮文件；

S7：將前綴數(shù)據(jù)文件進(jìn)行壓縮生成前綴壓縮文件，將后綴數(shù)據(jù)文件進(jìn)行壓縮生成后綴壓縮文件。

其中，參閱圖2，步驟S2中的聚類算法具體包括以下步驟：

S21：獲取樣本數(shù)據(jù)，統(tǒng)計(jì)樣本數(shù)據(jù)單條數(shù)據(jù)的最大長(zhǎng)度Lmax和最小長(zhǎng)度Lmin；S22：設(shè)定樣本數(shù)據(jù)采樣相近的樣本閾值N1位數(shù)；

S23：樣本聚類學(xué)習(xí)，計(jì)算樣本數(shù)據(jù)個(gè)體之間的相似度，選擇出樣本數(shù)據(jù)個(gè)體的局部最優(yōu)位置向量和種群的全局最優(yōu)位置向量；

S24：通過樣本聚類學(xué)習(xí)將樣本數(shù)據(jù)劃分為M1個(gè)集群；

S25：設(shè)定聚類閾值N2本位數(shù)；

S26：比較單個(gè)集群相似度位數(shù)個(gè)數(shù)Q，判斷相似度位數(shù)個(gè)數(shù)Q是否大于N2；S271：當(dāng)相似度位數(shù)個(gè)數(shù)Q＞N2時(shí)，將集群歸為前綴數(shù)據(jù)；

S272：當(dāng)相似度位數(shù)個(gè)數(shù)Q＜N2時(shí)，將集群歸為后綴數(shù)據(jù)。

優(yōu)選的，所述前綴數(shù)據(jù)、后綴數(shù)據(jù)以及校驗(yàn)和是根據(jù)DES加密算法形成加密的前綴數(shù)據(jù)文件以及加密的后綴數(shù)據(jù)文件。

優(yōu)選的，步驟S7可以具體為：建立具有索引的數(shù)據(jù)字符串以及編碼的映射表，根據(jù)所述映射表對(duì)步驟S4中所述加密的前綴數(shù)據(jù)文件進(jìn)行數(shù)據(jù)字符串壓縮編譯，在壓縮編譯時(shí)，相同的數(shù)據(jù)字符串以編碼對(duì)應(yīng)的索引表示。