[發(fā)明專利]一種分布式NewSQL數(shù)據(jù)庫(kù)系統(tǒng)及圖片數(shù)據(jù)查詢方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710580752.3
• 申請(qǐng)日: 2017-07-17
• 公開(kāi)（公告）號(hào): CN107247808B
• 公開(kāi)（公告）日: 2020-01-10
• 發(fā)明（設(shè)計(jì)）人: 晉彤;譚恒亮
• 申請(qǐng)（專利權(quán)）人: 云潤(rùn)大數(shù)據(jù)服務(wù)有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25;G06F16/27;G06F16/24;G06F16/50
• 代理公司: 44202 廣州三環(huán)專利商標(biāo)代理有限公司
• 代理人: 梁順宜;郝傳鑫

本發(fā)明公開(kāi)了一種分布式NewSQL數(shù)據(jù)庫(kù)系統(tǒng)，包括：控制單元，用于以數(shù)據(jù)庫(kù)接口的方式接入用戶請(qǐng)求，并將所述用戶請(qǐng)求發(fā)送給計(jì)劃單元；還用于將查詢結(jié)果返回用戶；計(jì)劃單元，用于解析所述用戶請(qǐng)求，編譯以及生成執(zhí)行計(jì)劃；執(zhí)行單元，用于根據(jù)執(zhí)行計(jì)劃，啟動(dòng)協(xié)同處理模塊獲取MD5；并根據(jù)所述MD5查詢圖片數(shù)據(jù)表，獲得查詢結(jié)果；并返回查詢結(jié)果至所述控制單元；Hbase單元，儲(chǔ)存原始數(shù)據(jù)表和所述圖片數(shù)據(jù)表；所述Hbase單元包括所述協(xié)同處理模塊，用于根據(jù)所述查詢條件查詢?cè)紨?shù)據(jù)表，獲得對(duì)應(yīng)的所述MD5；其中Hbase單元的底層增加LOB類型。本發(fā)明還公開(kāi)了圖片數(shù)據(jù)儲(chǔ)存方法。本發(fā)明滿足用戶圖片的查詢需求，解決由圖片數(shù)據(jù)所導(dǎo)致的其他字段讀取性能下降的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及一種分布式NewSQL數(shù)據(jù)庫(kù)系統(tǒng)和圖片數(shù)據(jù)查詢方法。

背景技術(shù)

Hbase存儲(chǔ)的數(shù)據(jù)沒(méi)有數(shù)據(jù)類型之分，均為byte數(shù)組。如若要存儲(chǔ)圖片數(shù)據(jù)即需要將圖片數(shù)據(jù)序列化后和其他字段的數(shù)據(jù)一起存儲(chǔ)。在實(shí)際場(chǎng)景中，圖片數(shù)據(jù)屬于一次寫(xiě)入多次讀取的數(shù)據(jù)，而且圖片的數(shù)據(jù)會(huì)比較大，其他字段卻是會(huì)出現(xiàn)頻繁的讀寫(xiě)操作，基于現(xiàn)有的Hbase存儲(chǔ)圖片數(shù)據(jù)的方式，會(huì)導(dǎo)致當(dāng)只是查詢其他字段時(shí)造成讀取數(shù)據(jù)的性能的下降。再者因?yàn)镠base其region中的實(shí)質(zhì)數(shù)據(jù)在flush到磁盤(pán)時(shí)是需要同時(shí)flush的，這樣一并存儲(chǔ)也會(huì)對(duì)寫(xiě)入數(shù)據(jù)的性能造成影響。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的是提供一種分布式NewSQL數(shù)據(jù)庫(kù)系統(tǒng)及圖片數(shù)據(jù)查詢方法，滿足用戶圖片的查詢需求，解決由圖片數(shù)據(jù)所導(dǎo)致的其他字段讀取性能下降的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供了一種分布式NewSQL數(shù)據(jù)庫(kù)系統(tǒng)，包括：

控制單元，用于以數(shù)據(jù)庫(kù)接口的方式接入用戶請(qǐng)求，并將所述用戶請(qǐng)求發(fā)送給計(jì)劃單元；還用于將查詢結(jié)果返回用戶；其中，所述用戶請(qǐng)求包括需要查詢的圖片數(shù)據(jù)的查詢條件，所述查詢結(jié)果為根據(jù)所述查詢條件所獲得的查詢結(jié)果；

計(jì)劃單元，用于解析所述用戶請(qǐng)求，編譯以及生成對(duì)應(yīng)的執(zhí)行計(jì)劃；

執(zhí)行單元，用于根據(jù)執(zhí)行計(jì)劃，啟動(dòng)協(xié)同處理模塊獲取與所述用戶請(qǐng)求的所述查詢條件相對(duì)應(yīng)的MD5；并根據(jù)獲取的所述MD5查詢圖片數(shù)據(jù)表，從而獲得對(duì)應(yīng)的所述查詢結(jié)果；并返回查詢結(jié)果至所述控制單元；

Hbase單元，用于儲(chǔ)存原始數(shù)據(jù)表和所述圖片數(shù)據(jù)表；所述Hbase單元包括所述協(xié)同處理模塊，用于根據(jù)所述查詢條件查詢?cè)紨?shù)據(jù)表，獲得相對(duì)應(yīng)的所述MD5；其中Hbase單元的底層增加LOB類型。

與現(xiàn)有技術(shù)相比，本發(fā)明公開(kāi)的一種分布式NewSQL數(shù)據(jù)庫(kù)系統(tǒng)，通過(guò)控制單元以數(shù)據(jù)庫(kù)接口的方式接入用戶請(qǐng)求，并將所述用戶請(qǐng)求發(fā)送給計(jì)劃單元；通過(guò)計(jì)劃單元解析所述用戶請(qǐng)求，編譯以及生成對(duì)應(yīng)的執(zhí)行計(jì)劃；通過(guò)執(zhí)行單元根據(jù)執(zhí)行計(jì)劃，啟動(dòng)協(xié)同處理模塊獲取Hbase單元的原始數(shù)據(jù)表中與所述用戶請(qǐng)求的所述查詢條件相對(duì)應(yīng)的MD5；并根據(jù)獲取的所述MD5查詢Hbase單元的圖片數(shù)據(jù)表，從而獲得對(duì)應(yīng)的所述查詢結(jié)果；并返回查詢結(jié)果至所述控制單元；通過(guò)控制單元將查詢結(jié)果返回用戶的技術(shù)方案，解決了現(xiàn)有技術(shù)中因圖片數(shù)據(jù)導(dǎo)致其它數(shù)據(jù)的讀取性能下降的問(wèn)題，保證了用戶對(duì)圖片數(shù)據(jù)的檢索需求，同時(shí)提高其它數(shù)據(jù)的讀取性能。

進(jìn)一步的，還包括分布式事務(wù)管理器，用于當(dāng)所述執(zhí)行計(jì)劃中涉及分布式事務(wù)時(shí),協(xié)調(diào)所述執(zhí)行計(jì)劃中的多方完成分布式事務(wù)管理。

進(jìn)一步的，還包括：所述Hbase單元還包括Hbase單元API接口，所述執(zhí)行單元用于根據(jù)獲取的所述MD5通過(guò)所述Hbase單元API接口查詢數(shù)據(jù)表，從而獲得對(duì)應(yīng)的所述查詢結(jié)果。

進(jìn)一步的，所述數(shù)據(jù)庫(kù)接口為JDBC或ODBC。

本發(fā)明實(shí)施例還提供了一種圖片數(shù)據(jù)查詢方法，基于上述本發(fā)明實(shí)施例提供的分布式NewSQL數(shù)據(jù)庫(kù)系統(tǒng)，包括：