[發(fā)明專利]一種分布式NewSQL數(shù)據(jù)庫系統(tǒng)和全文檢索方法

有效

• 申請?zhí)枺?/td>: 201710580435.1
• 申請日: 2017-07-17
• 公開（公告）號: CN107480198B
• 公開（公告）日: 2020-05-19
• 發(fā)明（設計）人: 晉彤;譚恒亮
• 申請（專利權(quán)）人: 云潤大數(shù)據(jù)服務有限公司
• 主分類號: G06F16/24
• 分類號: G06F16/24;G06F16/25;G06F16/27
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 梁順宜;郝傳鑫

本發(fā)明公開了一種分布式NewSQL數(shù)據(jù)庫系統(tǒng)，包括：控制單元，用于以數(shù)據(jù)庫接口的方式接入用戶請求，并將所述用戶請求發(fā)送給計劃單元；還用于將查詢結(jié)果返回用戶；其中，所述用戶請求包括查詢條件；計劃單元，用于解析所述用戶請求，編譯以及生成對應的執(zhí)行計劃；執(zhí)行單元，用于根據(jù)執(zhí)行計劃，將所述查詢條件從SQL條件語句轉(zhuǎn)換成SOLR的查詢表達式，然后根據(jù)所述SOLR的查詢表達式查詢索引表，獲取對應的索引數(shù)據(jù)；并根據(jù)獲取的所述索引數(shù)據(jù)查詢數(shù)據(jù)表，獲得對應的查詢結(jié)果；并返回查詢結(jié)果至控制單元；Hbase單元，用于儲存所述數(shù)據(jù)表；Solr單元，用于儲存所述索引表。本發(fā)明還公開了全文檢索方法。本發(fā)明支持分布式全文檢索，滿足用戶創(chuàng)建全文索引的需求。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及一種分布式NewSQL數(shù)據(jù)庫系統(tǒng)和全文檢索方法。

背景技術(shù)

目前Hbase單元是Hadoop生態(tài)體系中最著名的分布式NoSQL數(shù)據(jù)庫之一。其設計理念來源于Google的Bigtable。Hbase單元主要組件包括HMaster和HRegionsever，為用戶提供表格類型的數(shù)據(jù)模型，按主鍵范圍劃分為多個region，HMaster負責管理和分配region，HRegionserver負責region數(shù)據(jù)的讀寫。Hbase單元的優(yōu)點使其成為目前應用最廣泛的分布式NoSQL數(shù)據(jù)庫之一，隨著越來越多的應用嘗試遷移到Hbase單元上，但Hbase單元只支持基于主鍵的查詢，并不支持全文檢索，給很多應用帶來了不便。

發(fā)明內(nèi)容

本發(fā)明實施例的目的是提供一種分布式NewSQL數(shù)據(jù)庫系統(tǒng)和全文檢索方法，通過Solr支持分布式全文檢索，支持非主鍵的查詢，滿足用戶全文檢索的需求。

為實現(xiàn)上述目的，本發(fā)明實施例提供了一種分布式NewSQL數(shù)據(jù)庫系統(tǒng)，包括：

控制單元，用于以數(shù)據(jù)庫接口的方式接入用戶請求，并將所述用戶請求發(fā)送給計劃單元；還用于將查詢結(jié)果返回用戶；其中，所述用戶請求包括全文檢索的查詢條件；

計劃單元，用于解析所述用戶請求，編譯以及生成對應的執(zhí)行計劃；

執(zhí)行單元，用于根據(jù)執(zhí)行計劃，將所述查詢條件從SQL條件語句轉(zhuǎn)換成SOLR的查詢表達式，然后根據(jù)所述SOLR的查詢表達式查詢索引表，獲取對應的索引數(shù)據(jù)；并根據(jù)獲取的所述索引數(shù)據(jù)查詢數(shù)據(jù)表，從而獲得對應的所述查詢結(jié)果；并返回查詢結(jié)果至所述控制單元；

Hbase單元，用于儲存所述數(shù)據(jù)表；其中，所述數(shù)據(jù)表中存有全文檢索的數(shù)據(jù)字段；

Solr單元，用于儲存所述索引表；其中，所述索引表中存有由根據(jù)所述全文檢索的數(shù)據(jù)字段的描述所生成的倒排索引形式的索引數(shù)據(jù)。

與現(xiàn)有技術(shù)相比，本發(fā)明公開的一種分布式NewSQL數(shù)據(jù)庫系統(tǒng)，通過控制單元以數(shù)據(jù)庫接口的方式接入用戶請求，并將所述用戶請求發(fā)送給計劃單元；通過計劃單元解析所述用戶請求，編譯以及生成對應的執(zhí)行計劃；通過執(zhí)行單元根據(jù)執(zhí)行計劃，根據(jù)執(zhí)行計劃，將所述查詢條件從SQL條件語句轉(zhuǎn)換成SOLR的查詢表達式，然后根據(jù)所述SOLR的查詢表達式查詢索引表，獲取對應的索引數(shù)據(jù)；并根據(jù)獲取的所述索引數(shù)據(jù)查詢數(shù)據(jù)表，從而獲得對應的所述查詢結(jié)果，并返回查詢結(jié)果至所述控制單元；最后，通過控制單元將處理結(jié)果返回用戶的技術(shù)方案，基于Solr單元實現(xiàn)全文檢索，以支持分布式全文檢索，支持用戶非主鍵查詢，滿足用戶全文檢索的需求，提高用戶體驗。

進一步的，還包括：

分布式事務管理器，用于當所述執(zhí)行計劃中涉及事務時,協(xié)調(diào)所述執(zhí)行計劃中的多方完成分布式事務管理。

進一步的，所述Hbase單元還包括Hbase單元API接口，所述執(zhí)行單元用于根據(jù)獲取的所述索引數(shù)據(jù)通過所述Hbase單元API接口查詢數(shù)據(jù)表，從而獲得對應的所述查詢結(jié)果。

進一步的，所述數(shù)據(jù)庫接口為JDBC或ODBC。