[發(fā)明專利]數(shù)據(jù)存儲的方法和裝置

在審

• 申請?zhí)枺?/td>: 201410729329.1
• 申請日: 2014-12-03
• 公開（公告）號: CN105718478A
• 公開（公告）日: 2016-06-29
• 發(fā)明（設(shè)計）人: 王鋒
• 申請（專利權(quán)）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京國昊天誠知識產(chǎn)權(quán)代理有限公司 11315
• 代理人: 許志勇

技術(shù)領(lǐng)域

本申請涉及通信技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)存儲的方法和裝置。

背景技術(shù)

Cassandra是一個混合型的非關(guān)系的數(shù)據(jù)庫，以Amazon(亞馬遜)專有 的完全分布式的Dynamo為基礎(chǔ)，結(jié)合了GoogleBigTable基于列族(Column Family)的數(shù)據(jù)模型、采用去中心化的存儲架構(gòu)。Cassandra是依賴DHT (DistributedHashTable，分布式哈希表)技術(shù)實現(xiàn)的一種典型的無中心節(jié)點(diǎn) (每個節(jié)點(diǎn)都既作為接入節(jié)點(diǎn)，又作為數(shù)據(jù)節(jié)點(diǎn)而存在)的環(huán)形結(jié)構(gòu)的分布 式存儲系統(tǒng)。Cassandra數(shù)據(jù)存儲空間可以抽象為一個環(huán)形結(jié)構(gòu)，數(shù)據(jù)就是通 過Hash分散在這個環(huán)形存儲空間上。Cassandra的每個節(jié)點(diǎn)負(fù)責(zé)管理這個環(huán) 形存儲空間上的某一塊連續(xù)的范圍(也叫Range)，落在此Range空間上的 數(shù)據(jù)就存儲在這個節(jié)點(diǎn)上。

現(xiàn)有Cassandra中數(shù)據(jù)存儲的方法是，當(dāng)數(shù)據(jù)被發(fā)送到數(shù)據(jù)節(jié)點(diǎn)進(jìn)行存 儲時，首先調(diào)用gzip(壓縮程序)壓縮算法對預(yù)存儲的數(shù)據(jù)進(jìn)行壓縮，然后 將壓縮后的數(shù)據(jù)存儲到磁盤文件中。

現(xiàn)有數(shù)據(jù)存儲的方法，對每個預(yù)存儲的數(shù)據(jù)都執(zhí)行壓縮，當(dāng)數(shù)據(jù)類型是 文本文件類型時具有較大的壓縮比，但當(dāng)數(shù)據(jù)類型是二進(jìn)制文件類型時壓縮 比很小。當(dāng)需要存儲大量的二進(jìn)制文件類型的數(shù)據(jù)時，會導(dǎo)致壓縮率極低， 甚至產(chǎn)生嚴(yán)重的壓縮膨脹，使得在產(chǎn)生大量的CPU開銷的同時，卻并未節(jié) 省大量的存儲空間，浪費(fèi)CPU和存儲空間的資源。

發(fā)明內(nèi)容

本申請所要解決的技術(shù)問題在于現(xiàn)有技術(shù)在產(chǎn)生大量的CPU開銷的同 時，卻并未節(jié)省大量的存儲空間，浪費(fèi)CPU和存儲空間的資源。為了解決 該技術(shù)問題，本發(fā)明提供了一種數(shù)據(jù)存儲的方法和裝置，可以避免對一些數(shù) 據(jù)類型進(jìn)行存儲時，導(dǎo)致壓縮率極低，甚至產(chǎn)生嚴(yán)重的壓縮膨脹，避免在產(chǎn) 生大量的CPU開銷的同時，卻并未節(jié)省大量的存儲空間，避免浪費(fèi)CPU和 存儲空間的資源。

為了解決上述問題，本申請公開了一種數(shù)據(jù)存儲的方法，所述方法包括：

Cassandra系統(tǒng)的存儲節(jié)點(diǎn)接收預(yù)存儲的數(shù)據(jù)，識別所述預(yù)存儲的數(shù)據(jù)的 數(shù)據(jù)類型；

所述Cassandra系統(tǒng)的存儲節(jié)點(diǎn)根據(jù)所述預(yù)存儲的數(shù)據(jù)的數(shù)據(jù)類型，判 定對所述預(yù)存儲的數(shù)據(jù)進(jìn)行壓縮后存儲。

為了解決上述問題，本申請還公開了一種數(shù)據(jù)存儲的方法，所述方法包 括：

Cassandra系統(tǒng)的存儲節(jié)點(diǎn)接收預(yù)存儲的數(shù)據(jù)，獲取所述預(yù)存儲的數(shù)據(jù)中 攜帶的存儲方式信息；

所述Cassandra系統(tǒng)的存儲節(jié)點(diǎn)根據(jù)所述存儲方式信息選定壓縮算法， 根據(jù)選定的壓縮算法對所述預(yù)存儲的數(shù)據(jù)進(jìn)行壓縮后存儲。

為了解決上述問題，本申請公開了一種數(shù)據(jù)存儲的裝置，所述裝置包括：

第一接收模塊，用于接收預(yù)存儲的數(shù)據(jù)；

識別模塊，用于識別所述預(yù)存儲的數(shù)據(jù)的數(shù)據(jù)類型；

第一存儲模塊，用于根據(jù)所述預(yù)存儲的數(shù)據(jù)的數(shù)據(jù)類型，判定對所述預(yù) 存儲的數(shù)據(jù)進(jìn)行壓縮后存儲。

為了解決上述問題，本申請還公開了一種數(shù)據(jù)存儲的裝置，所述裝置包 括：

第二接收模塊，用于接收預(yù)存儲的數(shù)據(jù)；

獲取模塊，用于獲取所述預(yù)存儲的數(shù)據(jù)中攜帶的存儲方式信息；

驗證模塊，用于根據(jù)所述存儲方式信息選定壓縮算法；

第三存儲模塊，用于根據(jù)選定的壓縮算法對所述預(yù)存儲的數(shù)據(jù)進(jìn)行壓縮 后存儲。

與現(xiàn)有技術(shù)相比，本申請可以獲得包括以下技術(shù)效果：

可以避免對一些數(shù)據(jù)類型進(jìn)行存儲時，導(dǎo)致壓縮率極低，甚至產(chǎn)生嚴(yán)重 的壓縮膨脹，避免在產(chǎn)生大量的CPU開銷的同時，卻并未節(jié)省大量的存儲 空間，避免浪費(fèi)CPU和存儲空間的資源。例如，當(dāng)數(shù)據(jù)類型是文本文件類 型時具有較大的壓縮比，對預(yù)存儲的數(shù)據(jù)進(jìn)行壓縮，將壓縮后的數(shù)據(jù)存儲到 磁盤文件中，可以節(jié)省大量的存儲空間。當(dāng)數(shù)據(jù)類型是二進(jìn)制文件類型時壓 縮比很小，不對預(yù)存儲的數(shù)據(jù)進(jìn)行壓縮，將預(yù)存儲的數(shù)據(jù)直接存儲到磁盤文 件中，避免導(dǎo)致壓縮率極低，甚至產(chǎn)生嚴(yán)重的壓縮膨脹，不會在產(chǎn)生大量的 CPU開銷的同時，卻并未節(jié)省大量的存儲空間，避免浪費(fèi)CPU和存儲空間 的資源。

當(dāng)然，實施本申請的任一產(chǎn)品必不一定需要同時達(dá)到以上所述的所有技 術(shù)效果。

附圖說明