[發明專利]通過Elasticsearch數據庫的復雜SQL查詢方法、裝置、處理器及存儲介質

有效

• 申請號: 202011641229.5
• 申請日: 2020-12-31
• 公開（公告）號: CN112685446B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 屈棟棟;郭德宇;吳鵬程
• 申請（專利權）人: 上海夢魚信息科技有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453
• 代理公司: 上海智信專利代理有限公司 31002
• 代理人: 王潔;鄭暄

本發明涉及一種通過Elasticsearch數據庫實現復雜SQL查詢處理的方法，包括將各業務數據導入ElasticSearch集群；發起復雜SQL查詢請求，通過SQL解析引擎解析SQL中存在的所有表名；檢索ElasticSearch集群；將各表數據映射到內存數據庫的表中；在內存中實現SQL執行引擎，將復雜SQL在內存中執行返回結果集。本發明還涉及相應的、裝置、處理器及其計算機可讀存儲介質。采用了本發明的通過Elasticsearch數據庫實現復雜SQL查詢處理的方法、裝置、處理器及其計算機可讀存儲介質，在elasticsearch上執行復雜SQL的效果，高效的實現實時檢索效果。現有技術中數據庫表一數據量4000多萬，表二數據量6000多萬，進行復雜SQL查詢處理mysql表耗時30多秒，查詢es數據后進行邏輯處理耗時30多秒。而本發明在改進后實現了內存數據庫對es進行復雜SQL查詢時，耗時2秒多，效果提升15倍以上，具有廣泛的應用范圍。

技術領域

本發明涉及大數據處理領域，尤其涉及SQL查詢領域，具體是指一種通過Elasticsearch數據庫實現復雜SQL查詢處理的方法、裝置、處理器及其計算機可讀存儲介質。

背景技術

現有技術中需要實時處理大數據復雜查詢的步驟如下：

1、檢索數據，進行復雜SQL處理時，一般都是其他數據庫；

2、檢索elasticsearch數據庫，然后編輯復雜邏輯代碼進行處理。

現有技術存在的缺陷如下：

1、現有技術時效性低，延遲大，用戶反饋度不好；

2、elasticsearch只支持單文檔的SQL查詢，不支持復雜SQL查詢，而且對于SQL支持很少的關鍵字。

發明內容

本發明的目的是克服了上述現有技術的缺點，提供了一種滿足實時性高、準確性高、適用范圍較為廣泛的通過Elasticsearch數據庫實現復雜SQL查詢處理的方法、裝置、處理器及其計算機可讀存儲介質。

為了實現上述目的，本發明的通過Elasticsearch數據庫實現復雜SQL查詢處理的方法、裝置、處理器及其計算機可讀存儲介質如下：

該通過Elasticsearch數據庫實現復雜SQL查詢處理的方法，其主要特點是，所述的方法包括以下步驟：

(1)將各業務數據導入ElasticSearch集群；

(2)發起復雜SQL查詢請求，通過SQL解析引擎解析SQL中存在的所有表名；

(3)檢索ElasticSearch集群；

(4)將各表數據映射到內存數據庫的表中；

(5)在內存中實現SQL執行引擎，將復雜SQL在內存中執行返回結果集。

較佳地，所述的步驟(1)具體包括以下步驟：

(1.1)將各業務數據導入ElasticSearch集群；

(1.2)創建內存數據庫的整體結構、模式、表、字段、類型之間的映射關系。

較佳地，所述的步驟(3)具體為：

檢索ElasticSearch集群，將其映射mapping組織成內存結構到內存數據庫的表結構中。

較佳地，所述的步驟(4)具體包括以下步驟：

(4.1)將elasticsearch集群服務的表對象ElasticsearchTable與文檔mapping對應；

(4.2)將elasticsearch數據庫模式對象ElasticsearchSchema與文檔index對應；