[發明專利]一種分布式NewSQL數據庫系統

有效

• 申請號: 201710581195.7
• 申請日: 2017-07-17
• 公開（公告）號: CN107451220B
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 晉彤
• 申請（專利權）人: 云潤大數據服務有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/2458
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 梁順宜;郝傳鑫

本發明公開了一種分布式NewSQL數據庫系統，包括：JDBC/ODBC接口單元，用于接收用戶向Master單元發送的用戶請求，并將所述Master單元返回的結果以返回用戶；Master單元，用于以JDBC/ODBC接口單元接入用戶請求并且協調多個處理器之間的數據通訊以及管理整體流程，并將所述用戶請求優先發送給SQLPlaner單元；SQLPlaner單元，用于解析所述用戶請求，根據所述用戶請求編譯以及定制執行計劃；Worker單元，用于并行地執行所述計劃，以獲得數據進行歸并匯總以返回給Master單元。本發明支持標準JDBC接口，簡化ETL過程，降低成本。

技術領域

本發明涉及大數據技術領域，尤其涉及一種分布式NewSQL數據庫系統。

背景技術

目前HBase是Hadoop生態體系中最著名的分布式NoSQL數據庫之一。其設計理念來源于Google的Bigtable。HBase僅提供了Java Api的訪問接口，其封裝了大量的數據操作接口。但其操作模式和方法是Hbase特有的Api模式。與人們習慣的JDBC/ODBC方式完全不同。隨著越來越多的應用嘗試遷移到HBase上，HBase的缺陷也越來越被暴露出來：用戶需要通過API編程訪問HBase，對于復雜應用的使用成本過高，直接導致許多較為復雜的應用無法使用HBase。

發明內容

本發明實施例的目的是提供一種分布式NewSQL數據庫，支持標準JDBC接口，簡化ETL過程，降低成本。

為實現上述目的，本發明實施例提供了一種分布式NewSQL數據庫系統，包括：

JDBC/ODBC接口單元，用于接收用戶向Master單元發送的用戶請求，并將所述Master單元返回的結果以返回用戶；

Master單元，用于以JDBC/ODBC接口單元接入用戶請求并且協調多個處理器之間的數據通訊以及管理整體流程，并將所述用戶請求優先發送給SQLPlaner單元；

SQLPlaner單元，用于解析所述用戶請求，根據所述用戶請求編譯以及定制執行計劃；

Worker單元，用于并行地執行所述計劃，以獲得數據進行歸并匯總以返回給Master單元。

進一步的，還包括：分布式事務管理單元，用于協調所述計劃中所設計的多方完成分布式事務管理。

進一步的，還包括：hbase單元和SOLR單元，均用于儲存數據；

所述Worker單元進一步用于通過所述hbase單元和所述SOLR單元獲取數據。

進一步的，還包括：監視器，所述監視器用于負責元數據管理以及用于監控所述hbase單元的Region的負載，避免特定的region負載過高，以及利用所述hbase單元的Coprocessor模塊重新分配Region；

所述監視器與所述Master單元連接。

進一步的，所述解析所述用戶請求，根據所述用戶請求編譯以及定制執行計劃具體包括：

判斷共享緩存池中是否存在與SQL語句相對應的預存SQL語句，若是，則輸出與所述SQL語句對應的執行計劃，若否，則

對所述SQL語句進行語法檢查，若語法錯誤返回錯誤信息給用戶，否則，

對所述SQL語句進行語義檢查，若語義錯誤返回錯誤信息給用戶，否則，

對所述SQL語句進行視圖以及表達式轉換，獲得對應的轉化結果；

根據所述轉換結果選擇優化器，獲得對應的優化器選擇結果；

根據所述優化器選擇結果選擇對應的數據連接方式以及連接順序；