[發明專利]一種分布式NewSQL數據庫系統和半結構化數據儲存方法

有效

• 申請號: 201710580739.8
• 申請日: 2017-07-17
• 公開（公告）號: CN107402990B
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 晉彤;譚恒亮
• 申請（專利權）人: 云潤大數據服務有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/27;G06F16/332
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 梁順宜;郝傳鑫

1.一種分布式NewSQL數據庫系統，其特征在于，包括：

控制單元，用于以數據庫接口的方式接入用戶請求，并將所述用戶請求發送給計劃單元；其中，所述用戶請求包括需要寫入的JSON數據；所述數據庫接口為JDBC或ODBC；

計劃單元，用于解析所述用戶請求，編譯以及生成對應的執行計劃；具體的，判斷共享緩存池中是否存在與SQL語句相對應的預存SQL語句，若是，則輸出與SQL語句對應的執行計劃，若否，則對SQL語句進行語法檢查，若語法錯誤返回錯誤信息給用戶，否則，對SQL語句進行語義檢查，若語義錯誤返回錯誤信息給用戶，否則，對SQL語句進行視圖以及表達式轉換，獲得對應的轉化結果；根據轉換結果選擇優化器，獲得對應的優化器選擇結果；根據優化器選擇結果選擇對應的數據連接方式以及連接順序；根據連接方式和連接順序選擇搜索的路徑；根據搜索路徑生成執行計劃，并輸出執行計劃；

執行單元，用于根據執行計劃，將所述JSON數據作為普通字符串類型整體作為一個數據字段寫入數據表；

Hbase單元，用于儲存所述數據表和索引表，其中，Hbase單元的底層增加JSON類型數據，所述JSON數據整體存儲在底層HFile中；所述Hbase單元還包括協同處理模塊，所述協同處理模塊用于在所述JSON數據寫入數據表時，將所述JSON數據作為一個嵌套的類型生成倒排索引形式的索引數據，并將所述索引數據寫入到所述索引表。

2.如權利要求1所述的分布式NewSQL數據庫系統，其特征在于，所述執行單元用于將所述Hbase單元的處理結果返回至所述控制單元；所述控制單元還用于將所述處理結果返回用戶。

3.如權利要求2所述的分布式NewSQL數據庫系統，其特征在于，還包括：分布式事務管理器，用于當所述執行計劃中涉及分布式事務時,協調所述執行計劃中的多方應用程序完成分布式事務管理。

4.如權利要求3所述的分布式NewSQL數據庫系統，其特征在于，所述Hbase單元還包括過濾模塊，所述過濾模塊和所述協同處理模塊用于生成針對數據的所述索引表。

5.一種半結構化數據儲存方法，基于上述權利要求1～4任一項所述的分布式NewSQL數據庫系統，其特征在于，包括：

通過控制單元以數據庫接口的方式接入用戶請求，并將所述用戶請求發送給計劃單元；其中，所述用戶請求包括需要寫入的JSON數據；所述數據庫接口為JDBC或ODBC；

通過計劃單元解析所述用戶請求，編譯以及生成對應的執行計劃；具體的，判斷共享緩存池中是否存在與SQL語句相對應的預存SQL語句，若是，則輸出與SQL語句對應的執行計劃，若否，則對SQL語句進行語法檢查，若語法錯誤返回錯誤信息給用戶，否則，對SQL語句進行語義檢查，若語義錯誤返回錯誤信息給用戶，否則，對SQL語句進行視圖以及表達式轉換，獲得對應的轉化結果；根據轉換結果選擇優化器，獲得對應的優化器選擇結果；根據優化器選擇結果選擇對應的數據連接方式以及連接順序；根據連接方式和連接順序選擇搜索的路徑；根據搜索路徑生成執行計劃，并輸出執行計劃；

通過執行單元根據執行計劃，將所述JSON數據作為普通字符串類型整體作為一個數據字段寫入數據表；其中，所述數據表儲存于Hbase單元中；所述Hbase單元的底層增加JSON類型數據，所述JSON數據整體存儲在底層HFile中；

在所述JSON數據寫入數據表時，通過所述Hbase單元的協同處理模塊將所述JSON數據作為一個嵌套的類型生成倒排索引形式的索引數據，并將所述索引數據寫入到所述索引表，其中，所述索引表儲存于所述Hbase單元。

6.如權利要求5所述的一種半結構化數據儲存方法，其特征在于，通過所述協同處理模塊將所述索引數據寫入到索引表后，還包括：

通過所述執行單元將所述Hbase單元的處理結果返回至所述控制單元；

所述控制單元將所述處理結果返回用戶。

7.如權利要求5所述的一種半結構化數據儲存方法，其特征在于，還包括：

通過分布式事務管理器當所述執行計劃中涉及分布式事務時,協調所述執行計劃中的多方應用程序完成分布式事務管理。

8.如權利要求5所述的一種半結構化數據儲存方法，其特征在于，所述Hbase單元還包括過濾模塊，通過所述過濾模塊和協同處理模塊生成針對數據的所述索引表。