[發(fā)明專(zhuān)利]一種分布式NewSQL數(shù)據(jù)庫(kù)系統(tǒng)和半結(jié)構(gòu)化數(shù)據(jù)儲(chǔ)存方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710580739.8
• 申請(qǐng)日: 2017-07-17
• 公開(kāi)（公告）號(hào): CN107402990B
• 公開(kāi)（公告）日: 2020-06-09
• 發(fā)明（設(shè)計(jì)）人: 晉彤;譚恒亮
• 申請(qǐng)（專(zhuān)利權(quán)）人: 云潤(rùn)大數(shù)據(jù)服務(wù)有限公司
• 主分類(lèi)號(hào): G06F16/31
• 分類(lèi)號(hào): G06F16/31;G06F16/27;G06F16/332
• 代理公司: 廣州三環(huán)專(zhuān)利商標(biāo)代理有限公司 44202
• 代理人: 梁順宜;郝傳鑫

本發(fā)明公開(kāi)了一種分布式NewSQL數(shù)據(jù)庫(kù)系統(tǒng)，包括：控制單元，用于以數(shù)據(jù)庫(kù)接口的方式接入用戶請(qǐng)求，并將所述用戶請(qǐng)求發(fā)送給計(jì)劃單元；其中，所述用戶請(qǐng)求包括需要寫(xiě)入的JSON數(shù)據(jù)；計(jì)劃單元，用于解析所述用戶請(qǐng)求，編譯以及生成對(duì)應(yīng)的執(zhí)行計(jì)劃；執(zhí)行單元，用于根據(jù)執(zhí)行計(jì)劃，將所述JSON數(shù)據(jù)作為普通字符串類(lèi)型整體作為一個(gè)數(shù)據(jù)字段寫(xiě)入數(shù)據(jù)表；Hbase單元，儲(chǔ)存所述數(shù)據(jù)表和索引表；所述Hbase單元包括協(xié)同處理模塊，用于在JSON數(shù)據(jù)寫(xiě)入數(shù)據(jù)表時(shí)，將JSON數(shù)據(jù)作為一個(gè)嵌套的類(lèi)型生成倒排索引形式的索引數(shù)據(jù)，并將所述索引數(shù)據(jù)寫(xiě)入到所述索引表。本發(fā)明還公開(kāi)了半結(jié)構(gòu)化數(shù)據(jù)查詢方法。本發(fā)明能實(shí)現(xiàn)JSON格式的數(shù)據(jù)查詢，解決處理半結(jié)構(gòu)化數(shù)據(jù)時(shí)效果以及性能不佳的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及一種分布式NewSQL數(shù)據(jù)庫(kù)系統(tǒng)和半結(jié)構(gòu)化數(shù)據(jù)儲(chǔ)存方法。

背景技術(shù)

目前Hbase是Hadoop生態(tài)體系中最著名的分布式NoSQL數(shù)據(jù)庫(kù)之一。Hbase主要組件包括HMaster和HRegionsever，為用戶提供表格類(lèi)型的數(shù)據(jù)模型，按主鍵范圍劃分為多個(gè)region，HMaster負(fù)責(zé)管理和分配region，HRegionserver負(fù)責(zé)region數(shù)據(jù)的讀寫(xiě)。現(xiàn)有的Hbase存儲(chǔ)的數(shù)據(jù)沒(méi)有數(shù)據(jù)類(lèi)型之分，均為byte數(shù)組，因此如若要存儲(chǔ)JSON這種半結(jié)構(gòu)化數(shù)據(jù)即在查詢方面會(huì)存在一些問(wèn)題。在Hbase要存儲(chǔ)JSON格式數(shù)據(jù)，則常規(guī)會(huì)將整個(gè)JSON對(duì)象當(dāng)作字符串存儲(chǔ)。該方式存在如下缺陷：

要過(guò)濾記錄的時(shí)候，需要將所有的記錄都讀取出來(lái)然后在客戶端進(jìn)行過(guò)濾，在數(shù)據(jù)量較大的情況下該性能不能被接受。

要更新記錄的時(shí)候，需要將記錄讀取出來(lái)再針對(duì)具體的字段進(jìn)行更新后重寫(xiě)入到Hbase進(jìn)行覆蓋。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的是提供一種分布式NewSQL數(shù)據(jù)庫(kù)系統(tǒng)和半結(jié)構(gòu)化數(shù)據(jù)儲(chǔ)存方法，能實(shí)現(xiàn)JSON格式的數(shù)據(jù)儲(chǔ)存，解決處理半結(jié)構(gòu)化數(shù)據(jù)時(shí)效果以及性能不佳的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供了一種分布式NewSQL數(shù)據(jù)庫(kù)系統(tǒng)，包括：

控制單元，用于以數(shù)據(jù)庫(kù)接口的方式接入用戶請(qǐng)求，并將所述用戶請(qǐng)求發(fā)送給計(jì)劃單元；其中，所述用戶請(qǐng)求包括需要寫(xiě)入的JSON數(shù)據(jù)；

計(jì)劃單元，用于解析所述用戶請(qǐng)求，編譯以及生成對(duì)應(yīng)的執(zhí)行計(jì)劃；

執(zhí)行單元，用于根據(jù)執(zhí)行計(jì)劃，將所述JSON數(shù)據(jù)作為普通字符串類(lèi)型整體作為一個(gè)數(shù)據(jù)字段寫(xiě)入數(shù)據(jù)表；

Hbase單元，用于儲(chǔ)存所述數(shù)據(jù)表和索引表，其中，Hbase單元的底層增加JSON類(lèi)型數(shù)據(jù)，所述JSON數(shù)據(jù)整體存儲(chǔ)在底層HFile中；所述Hbase單元還包括協(xié)同處理模塊，所述協(xié)同處理模塊用于在所述JSON數(shù)據(jù)寫(xiě)入數(shù)據(jù)表時(shí)，將所述JSON數(shù)據(jù)作為一個(gè)嵌套的類(lèi)型生成倒排索引形式的索引數(shù)據(jù)，并將所述索引數(shù)據(jù)寫(xiě)入到所述索引表。

與現(xiàn)有技術(shù)相比，本發(fā)明公開(kāi)的一種分布式NewSQL數(shù)據(jù)庫(kù)系統(tǒng)，首先通過(guò)控制單元以數(shù)據(jù)庫(kù)接口的方式接入用戶請(qǐng)求，并將用戶請(qǐng)求發(fā)送給計(jì)劃單元；然后通過(guò)計(jì)劃單元解析用戶請(qǐng)求，編譯以及生成對(duì)應(yīng)的執(zhí)行計(jì)劃；接著，通過(guò)執(zhí)行單元根據(jù)執(zhí)行計(jì)劃，將所述JSON數(shù)據(jù)作為普通字符串類(lèi)型整體作為一個(gè)數(shù)據(jù)字段寫(xiě)入數(shù)據(jù)表，所述JSON數(shù)據(jù)整體存儲(chǔ)在Hbase單元的底層HFile中；所述協(xié)同處理模塊用于在所述JSON數(shù)據(jù)寫(xiě)入數(shù)據(jù)表時(shí)，將所述JSON數(shù)據(jù)作為一個(gè)嵌套的類(lèi)型生成倒排索引形式的索引數(shù)據(jù)，并將所述索引數(shù)據(jù)寫(xiě)入到所述索引表的技術(shù)方案，實(shí)現(xiàn)JSON格式的數(shù)據(jù)儲(chǔ)存，解決處理半結(jié)構(gòu)化數(shù)據(jù)時(shí)效果以及性能不佳的問(wèn)題。

進(jìn)一步的，所述執(zhí)行單元用于將所述Hbase單元的處理結(jié)果返回至所述控制單元；所述控制單元還用于將所述處理結(jié)果返回用戶。

進(jìn)一步的，還包括：分布式事務(wù)管理器，用于當(dāng)所述執(zhí)行計(jì)劃中涉及分布式事務(wù)時(shí),協(xié)調(diào)所述執(zhí)行計(jì)劃中的多方完成分布式事務(wù)管理。