[發明專利]一種分布式newSQL數據庫系統及方法

有效

• 申請號: 201710585103.2
• 申請日: 2017-07-17
• 公開（公告）號: CN107402995B
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 張中弦;譚恒亮
• 申請（專利權）人: 云潤大數據服務有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 梁順宜;郝傳鑫

1.一種分布式newSQL數據庫系統，其特征在于，包括：

數據庫接口，用于用戶向Master發送請求，并接收master返回的結果；

Master，用于負責以JDBC、ODBC的方式接入用戶請求并且協調多個處理器之間的數據通訊以及管理整體流程，并將所述用戶請求優先發送給SQLPlaner；所述master連接一監視器，用于負責元數據管理以及用于監控底層hbase Region的負載，避免特定的region負載過高，以及利用hbase coprocessor重新分配Region；

SQLPlaner，用于解析所述用戶請求，編譯以及定制執行計劃；

分布式事務管理器，用于協調所述計劃中多方完成分布式事務管理；

并行任務執行器，用于負責所述計劃的任務并行地執行，以及將從數據庫獲得的數據進行歸并匯總以返回給master。

2.如權利要求1所述的分布式newSQL數據庫系統，其特征在于，所述并行任務執行器通過hbase和搜索引擎服務器向所述數據庫獲取數據。

3.如權利要求1所述的分布式newSQL數據庫系統，其特征在于，所述定制執行計劃包括：

通過所述數據庫接口輸入SQL語句；

判斷共享緩存池中是否已經存在該SQL，如若存在，輸出該SQL對應的執行計劃；

否則，對SQL語句進行語法檢查和進行語義檢查，語法檢查和語義檢查通過后，對SQL語句進行視圖以及表達式轉換；

根據轉換結果進行優化器選擇；

根據所述優化器的選擇結果選擇數據連接方式以及連接順序；

根據所述連接方式和所述連接順序選擇搜索路徑；

根據所述搜索路徑生成執行計劃并輸出。

4.如權利要求2所述的分布式newSQL數據庫系統，其特征在于，所述Master還用于建立和查詢多個二級索引，包括：

利用所述hbase的Coprocessor和Filter生成針對數據的索引表:所述Coprocessor根據索引定義將以倒排索引的方式將索引數據并行寫入所述索引表，從而建立多個二級索引；

所述Master根據查詢條件動態計算使用索引的代價:所述Coprocessor會根據索引定義以及查詢條件優先查詢所述索引表，并行地通過所述索引表查詢結果再次查詢數據表。

5.如權利要求2所述的分布式newSQL數據庫系統，其特征在于，所述并行任務執行器還用于實現半結構化數據存取，包括

所述并行任務執行器將JSON數據作為普通字符串類型整體作為一個字段寫入到所述hbase的數據表中；所述hbase中的coprocessor根據字段描述，提取JSON中的數據，以倒排索引的方式將索引數據寫入到另外的hbase索引表中，完成半結構化數據的存儲；

所述并行任務執行器根據查詢條件，利用coprocessor并行地查詢索引表；所述hbase中的索引coprocessor將索引表的索引ID返回給所述并行任務執行器；所述并行任務執行器根據所述索引ID，利用hbase的API查詢數據表，返回結果，完成半結構化數據的獲取。

6.如權利要求2所述的分布式newSQL數據庫系統，其特征在于，所述并行任務執行器還用于實現圖片數據存取，包括

所述并行任務執行器將圖片數據生成信息摘要算法加密后的圖像數據格式，將加密后的圖片數據寫入到原始數據表；所述并行任務執行器將加密后的所述圖片數據寫入到圖片數據表中進行獨立存儲；

并行任務執行器根據查詢條件，查詢原始數據表，得到信息摘要算法加密后的圖像數據；并行任務執行器根據加密后的所述圖像數據，利用所述hbase的API查詢圖片數據表，獲取圖片數據。

7.如權利要求6所述的分布式newSQL數據庫系統，其特征在于，所述實現圖片數據存取，還包括

所述hbase底層增加LOB類型，針對LOB類型建立另類索引，將大對象圖片數據存儲為所述數據庫中的一個位圖，圖片數據以位圖存儲在獨立的數據表中，原始數據表僅僅存儲索引ID。

8.如權利要求2所述的分布式newSQL數據庫系統，其特征在于，所述并行任務執行器通過hbase和搜索引擎服務器向所述數據庫獲取數據，包括

所述并行任務執行器將需要全文檢索的字段作為普通字符串類型寫入到所述hbase的數據表中進行存儲，所述hbase中的coprocessor根據字段描述，將數據寫入到搜索引擎服務器中進行索引；

所述并行任務執行器根據查詢條件，到所述搜索引擎服務器中查詢具體的索引ID，所述搜索引擎服務器根據查詢條件返回索引ID，所述并行任務執行器根據索引ID，利用所述hbase的API查詢數據表，獲取查詢數據。