[發明專利]物聯網的數據平臺及其數據查詢和多表聯合查詢方法

在審

• 申請號: 201910081295.2
• 申請日: 2019-01-28
• 公開（公告）號: CN109918393A
• 公開（公告）日: 2019-06-21
• 發明（設計）人: 陳文韜;王勇
• 申請（專利權）人: 武漢慧聯無限科技有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/27;H04L29/08
• 代理公司: 北京遠大卓悅知識產權代理事務所(普通合伙) 11369
• 代理人: 王瑩

本發明公開了一種物聯網的數據平臺及其數據查詢和多表聯合查詢方法，所述物聯網的數據平臺采用HBase數據庫進行數據的存儲，并且在HBase數據庫的集群里集成Phoenix的交互引擎。一種所述的物聯網的數據平臺的多表聯合查詢方法，包括步驟：S1，基于datax，將待聯合查詢的N個數據表的數據從MYSQL數據庫的導入到Phoenix中，再進行SQL查詢；其中，N≤3，并且每個數據表的數據的數量在十萬以內。本發明具有存儲量大、數據查詢速度快等優點，可廣泛應用于物聯網平臺的大數據相關技術領域。

技術領域

本發明涉及物聯網平臺的大數據相關技術領域。更具體地說，本發明涉及物聯網的數據平臺及其數據查詢和多表聯合查詢方法。

背景技術

隨著基于LPWAN物聯網的蓬勃發展，大量的終端設備能夠快速接入網絡并匯聚在一起，隨著終端設備的不斷增多，每天產生海量的日志數據信息給平臺系統的存儲和查詢都帶來了巨大的壓力。物聯網符合并發量大，數據上傳頻率高，寫多讀少的高吞吐型業務場景，對查詢要求也接近準實時，隨著海量數據的線性增長，原有的關系數據庫已經不能滿足我們的業務需要，尤其數億量級下的分頁查詢和海量數據的多表聯合查詢的場景下，關系數據庫的讀取相應延遲已經達到了數分鐘級，完全不能滿足需要。

發明內容

本發明的目的是提供一種存儲量大、數據查詢速度快，能進行多表聯合查詢的物聯網的數據平臺及其數據查詢和多表聯合查詢方法。

為了實現根據本發明的這些目的和其它優點，提供了一種物聯網的數據平臺，采用HBase數據庫進行數據存儲，并且在HBase數據庫的集群里集成Phoenix查詢引擎。

一種所述的物聯網的數據平臺的數據查詢方法，通過Phoenix查詢引擎使用SQL在HBase數據庫進行數據的查詢。

一種所述的物聯網的數據平臺的多表聯合查詢方法包括步驟：

S1，基于datax，將待聯合查詢的N個數據表的數據從原儲存的MYSQL數據庫的導入到Phoenix查詢引擎的數據庫中，再進行SQL查詢；

其中，N≤3，并且每個數據表的數據的數量在十萬以內。

優選地，所述步驟S1具體包括：

B1，針對MYSQL數據庫中的所有的數據表，窮舉其中任意N個數據表之間聯合的所有情況，并確定每種情況下N個數據表聯合所對應的SQL查詢語句，并在Phoenix查詢引擎的數據庫中創建相應的表結構；

B2，編寫步驟B1中每種情況的job腳本；

B3，datax執行步驟B2得到的job腳本，將步驟B1中每種情況下對應的N個數據表、相應SQL查詢語句以及表結構從原儲存的MYSQL數據庫導入到Phoenix查詢引擎的數據庫中；

B4，根據用戶輸入SQL查詢語句，在Phoenix查詢引擎的數據庫中進行SQL查詢。

優選地，所述datax包括讀取模塊和寫入模塊；

步驟B3，具體為：

讀取模塊連接遠程MYSQL數據庫，并執行步驟B2得到的job腳本，從而將步驟B1中每種情況下對應的N個數據表、相應SQL查詢語句以及表結構從MYSQL數據庫中抽選出來，并將該job腳本的執行返回結果拼裝為抽象的數據集，并傳遞給下游的寫入模塊處理；

寫入模塊提供單間的SQL表的數據導入方式接收上述讀取模塊傳遞的抽象的數據集，通過Phoenix查詢引擎的JDBC驅動，將該抽象的數據插入到Phoenix查詢引擎的數據庫中。

本發明至少包括以下有益效果：