[發(fā)明專利]用于分布式鍵-值存儲(chǔ)系統(tǒng)的數(shù)據(jù)存儲(chǔ)、管理和查詢方法及系統(tǒng)

無效

• 申請?zhí)枺?/td>: 201110314927.9
• 申請日: 2011-10-17
• 公開（公告）號: CN102332030A
• 公開（公告）日: 2012-01-25
• 發(fā)明（設(shè)計(jì)）人: 吳廣君;郝麗珍;王樹鵬;云曉春;安豐春
• 申請（專利權(quán)）人: 中國科學(xué)院計(jì)算技術(shù)研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京泛華偉業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11280
• 代理人: 王勇

技術(shù)領(lǐng)域

本發(fā)明屬于信息安全領(lǐng)域，尤其涉及在分布式鍵-值(KEY-VALUE)文本數(shù)據(jù)存儲(chǔ)系統(tǒng)中的數(shù)據(jù)存儲(chǔ)、管理與查詢機(jī)制。

背景技術(shù)

目前電子商務(wù)，系統(tǒng)運(yùn)行日志，web應(yīng)用等都積累了大量的文本類數(shù)據(jù)，其規(guī)模巨大，即使是小型企業(yè)也收集了上TB的數(shù)據(jù)量，對于這種大數(shù)據(jù)集的應(yīng)用背景，傳統(tǒng)的數(shù)據(jù)庫已經(jīng)無法適用。目前針對該類場景，成功的解決方案是利用分布式KEY-VALUE型NO-SQL數(shù)據(jù)庫通過建立列存結(jié)構(gòu)，結(jié)合壓縮、分塊等技術(shù)提高數(shù)據(jù)的壓縮效率和存儲(chǔ)規(guī)模。由于文本數(shù)據(jù)類型簡單直觀，易于在異構(gòu)的集群系統(tǒng)中遷移，目前典型大規(guī)模分布式海量數(shù)據(jù)存儲(chǔ)系統(tǒng)中直接采用文本類型數(shù)據(jù)作為底層的存儲(chǔ)數(shù)據(jù)源。典型的分布式NO-SQL數(shù)據(jù)庫如Google的Bigtable，Apache的Hbase以及Yahoo的PNUTS等，都直接保存文本類型的數(shù)據(jù)源，建立列存儲(chǔ)結(jié)構(gòu)并在此基礎(chǔ)上進(jìn)一步實(shí)現(xiàn)分布式海量數(shù)據(jù)存儲(chǔ)管理系統(tǒng)。在文本類數(shù)據(jù)存儲(chǔ)系統(tǒng)中對文本數(shù)據(jù)按照字典序排序存儲(chǔ)，可以快速定位到滿足條件的記錄位置，然后返回該條記錄或從該記錄開始按序返回其后的所有記錄，由于避免了大量的隨機(jī)讀取操作帶來的開銷，精確查詢和區(qū)間查詢在文本類數(shù)據(jù)存儲(chǔ)管理系統(tǒng)中具有很高的查詢效率。

但是在文本類數(shù)據(jù)存儲(chǔ)系統(tǒng)中，對于非字符型數(shù)據(jù)，比如整數(shù)(INTEGER)類型等，按照文本的字典序排序后存儲(chǔ)順序與數(shù)值順序不一致，在數(shù)據(jù)檢索時(shí)無法發(fā)揮出文本類數(shù)據(jù)存儲(chǔ)系統(tǒng)的批量檢索優(yōu)勢。而且現(xiàn)有的文本類數(shù)據(jù)存儲(chǔ)管理系統(tǒng)對外僅能提供精確查找、區(qū)間查找兩種方法。通過KEY查找VALUE，即在KEY＝K1條件下，查找對應(yīng)的VALUE；通過KEY查找一個(gè)區(qū)間的VALUE，即在K1＜KEY＜K2范圍內(nèi)查找所有的VALUE?？梢姡@種基于列存的分布式文本存儲(chǔ)系統(tǒng)對于復(fù)雜查詢的應(yīng)用場景不再適用，無法實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)的多屬性檢索、數(shù)值類統(tǒng)計(jì)、分析等操作。這一局限降低了文本類分布式數(shù)據(jù)庫在大數(shù)據(jù)集、結(jié)構(gòu)化數(shù)據(jù)中應(yīng)用范圍。

發(fā)明內(nèi)容

因此，本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的缺陷，提供一種用于分布式KEY-VALUE數(shù)據(jù)存儲(chǔ)系統(tǒng)的數(shù)據(jù)存儲(chǔ)、管理和查詢方法，支持多字段屬性、多數(shù)據(jù)類型的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)與查詢。

本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：

根據(jù)本發(fā)明的一個(gè)方面，本發(fā)明提供了一種用于分布式KEY-VALUE數(shù)據(jù)存儲(chǔ)系統(tǒng)的數(shù)據(jù)存儲(chǔ)方法，該方法包括：

步驟1)根據(jù)不同的數(shù)據(jù)類型的轉(zhuǎn)換方式將數(shù)據(jù)轉(zhuǎn)換為相應(yīng)的字符串，以使轉(zhuǎn)換后的字符串以字典序排序后的順序與轉(zhuǎn)換前的數(shù)據(jù)的數(shù)值順序相一致；

步驟2)將步驟1)得到的字符串按字典序排序存儲(chǔ)。

上述數(shù)據(jù)存儲(chǔ)方法中，所述數(shù)據(jù)類型包括數(shù)值類型、文本類型、存儲(chǔ)點(diǎn)分十進(jìn)制的IP地址的數(shù)據(jù)類型，存儲(chǔ)時(shí)間的數(shù)據(jù)類型。

上述數(shù)據(jù)存儲(chǔ)方法中，所述數(shù)值類型的轉(zhuǎn)換方式為將數(shù)值類型的數(shù)據(jù)通過左填充0的方式轉(zhuǎn)換為定長的數(shù)字字符串。

上述數(shù)據(jù)存儲(chǔ)方法中，所述存儲(chǔ)時(shí)間的數(shù)據(jù)類型的轉(zhuǎn)換方式為將該類型的數(shù)據(jù)轉(zhuǎn)換為“年月日時(shí)分秒”格式的長度為14的字符串，其中“年”為4個(gè)字符長度，其余為2個(gè)字符長度。

上述數(shù)據(jù)存儲(chǔ)方法中，所述存儲(chǔ)點(diǎn)分十進(jìn)制的IP地址的數(shù)據(jù)類型的轉(zhuǎn)換方式為：

首先，將該類型的數(shù)據(jù)從“a.b.c.d”的格式按如下計(jì)算公式轉(zhuǎn)換為整數(shù)：a×k³+b×k²+c×k¹+d，其中k為大于255的自然數(shù)；

然后將經(jīng)公式計(jì)算后得到的整數(shù)以左填充0的方式轉(zhuǎn)換為定長的字符串。

上述數(shù)據(jù)存儲(chǔ)方法中，所述文本類型的轉(zhuǎn)換方式為直接將該類型的數(shù)據(jù)保存為字符串。

根據(jù)本發(fā)明的又一個(gè)方面，本發(fā)明提供了一種用于采用上述數(shù)據(jù)存儲(chǔ)方法的分布式KEY-VALUE數(shù)據(jù)存儲(chǔ)系統(tǒng)的數(shù)據(jù)查詢方法，所述方法包括：

接收用戶輸入的檢索條件，并根據(jù)不同的數(shù)據(jù)類型的轉(zhuǎn)換方式將檢索條件中的數(shù)據(jù)轉(zhuǎn)換為相應(yīng)的字符串；

基于所述字符串，通過KEY-VALUE數(shù)據(jù)存儲(chǔ)系統(tǒng)提供的精確查詢和/或區(qū)間查找，定位具體的存儲(chǔ)位置，并返回查詢結(jié)果；

根據(jù)所述不同的數(shù)據(jù)類型的轉(zhuǎn)換方式對查詢結(jié)果進(jìn)行逆運(yùn)算以得到相應(yīng)類型的數(shù)據(jù)。

根據(jù)本發(fā)明的又一個(gè)方面，本發(fā)明提供了一種用于分布式KEY-VALUE數(shù)據(jù)存儲(chǔ)系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)管理方法，所述方法包括：