[發(fā)明專利]物聯(lián)網(wǎng)的數(shù)據(jù)平臺(tái)及其數(shù)據(jù)查詢和多表聯(lián)合查詢方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910081295.2
• 申請(qǐng)日: 2019-01-28
• 公開（公告）號(hào): CN109918393A
• 公開（公告）日: 2019-06-21
• 發(fā)明（設(shè)計(jì)）人: 陳文韜;王勇
• 申請(qǐng)（專利權(quán)）人: 武漢慧聯(lián)無(wú)限科技有限公司
• 主分類號(hào): G06F16/242
• 分類號(hào): G06F16/242;G06F16/27;H04L29/08
• 代理公司: 北京遠(yuǎn)大卓悅知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11369
• 代理人: 王瑩

1.一種物聯(lián)網(wǎng)的數(shù)據(jù)平臺(tái)，其特征在于，

采用HBase數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)存儲(chǔ)，并且在HBase數(shù)據(jù)庫(kù)的集群里集成Phoenix查詢引擎。

2.一種如權(quán)利要求1所述的物聯(lián)網(wǎng)的數(shù)據(jù)平臺(tái)的數(shù)據(jù)查詢方法，其特征在于，通過(guò)Phoenix查詢引擎使用SQL在HBase數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)的查詢。

3.一種如權(quán)利要求1所述的物聯(lián)網(wǎng)的數(shù)據(jù)平臺(tái)的多表聯(lián)合查詢方法，其特征在于，包括步驟：

S1，基于datax，將待聯(lián)合查詢的N個(gè)數(shù)據(jù)表的數(shù)據(jù)從原儲(chǔ)存的MYSQL數(shù)據(jù)庫(kù)的導(dǎo)入到Phoenix查詢引擎的數(shù)據(jù)庫(kù)中，再進(jìn)行SQL查詢；

其中，N≤3，并且每個(gè)數(shù)據(jù)表的數(shù)據(jù)的數(shù)量在十萬(wàn)以內(nèi)。

4.如權(quán)利要求3所述的物聯(lián)網(wǎng)的數(shù)據(jù)平臺(tái)的多表聯(lián)合查詢方法，其特征在于，所述步驟S1具體包括：

B1，針對(duì)MYSQL數(shù)據(jù)庫(kù)中的所有的數(shù)據(jù)表，窮舉其中任意N個(gè)數(shù)據(jù)表之間聯(lián)合的所有情況，并確定每種情況下N個(gè)數(shù)據(jù)表聯(lián)合所對(duì)應(yīng)的SQL查詢語(yǔ)句，并在Phoenix查詢引擎的數(shù)據(jù)庫(kù)中創(chuàng)建相應(yīng)的表結(jié)構(gòu)；

B2，編寫步驟B1中每種情況的job腳本；

B3，datax執(zhí)行步驟B2得到的job腳本，將步驟B1中每種情況下對(duì)應(yīng)的N個(gè)數(shù)據(jù)表、相應(yīng)SQL查詢語(yǔ)句以及表結(jié)構(gòu)從原儲(chǔ)存的MYSQL數(shù)據(jù)庫(kù)導(dǎo)入到Phoenix查詢引擎的數(shù)據(jù)庫(kù)中；

B4，根據(jù)用戶輸入SQL查詢語(yǔ)句，在Phoenix查詢引擎的數(shù)據(jù)庫(kù)中進(jìn)行SQL查詢。

5.如權(quán)利要求4所述的物聯(lián)網(wǎng)的數(shù)據(jù)平臺(tái)的多表聯(lián)合查詢方法，其特征在于，所述datax包括讀取模塊和寫入模塊；

步驟B3，具體為：

讀取模塊連接遠(yuǎn)程MYSQL數(shù)據(jù)庫(kù)，并執(zhí)行步驟B2得到的job腳本，從而將步驟B1中每種情況下對(duì)應(yīng)的N個(gè)數(shù)據(jù)表、相應(yīng)SQL查詢語(yǔ)句以及表結(jié)構(gòu)從MYSQL數(shù)據(jù)庫(kù)中抽選出來(lái)，并將該job腳本的執(zhí)行返回結(jié)果拼裝為抽象的數(shù)據(jù)集，并傳遞給下游的寫入模塊處理；

寫入模塊提供單間的SQL表的數(shù)據(jù)導(dǎo)入方式接收上述讀取模塊傳遞的抽象的數(shù)據(jù)集，通過(guò)Phoenix查詢引擎的JDBC驅(qū)動(dòng)，將該抽象的數(shù)據(jù)插入到Phoenix查詢引擎的數(shù)據(jù)庫(kù)中。