[發明專利]一種基于Elasticsearch的Hive二級全文索引技術方法及系統

在審

• 申請號: 202010616559.2
• 申請日: 2020-07-01
• 公開（公告）號: CN111753045A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 于偉;周恒;樊文昌
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/33
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

1.一種基于Elasticsearch的Hive二級全文索引技術方法，其特征是所述的方法具體步驟包括：

S1通過CREATE FULL INDEX對Hive原始數據表創建全文索引表；

S2將原始表INSERT、UPDATE、DELETE與ES中的全文索引表同步操作；

S3使用全文索引條件查詢原始表；

S4刪除全文索引；

S5刪除原始表。

2.根據權利要求1所述的基于Elasticsearch的Hive二級全文索引技術方法，其特征是所述S1通過CREATE FULL INDEX對Hive原始數據表創建全文索引表的具體步驟包括：

S101增加DDL關鍵字FULL；

S102對CREATE FULL INDEX進行語句掃描、詞法分析和語法檢查

S103檢查通過后根據DDL元數據信息在ES引擎中創建對應的索引表。

3.根據權利要求2所述的基于Elasticsearch的Hive二級全文索引技術方法，其特征是所述S2將原始表INSERT、UPDATE、DELETE與ES中的全文索引表同步操作的具體步驟包括：

S201記錄本次操作的事務日志；

S202 INSERT、UPDATE、DELETE在原始表上操作，成功向下執行，失敗則返回S201；

S203 INSERT、UPDATE、DELETE在索引表上操作，成功執行則提交事務，失敗則根據事務日志回滾事務。

4.根據權利要求3所述的基于Elasticsearch的Hive二級全文索引技術方法，其特征是所述S3使用全文索引條件查詢原始表的具體步驟包括：

S301將Hive driver語法解析成抽象語法樹；

S302獲取語法樹查詢表達式子句、解析restful查詢部分；

S303通過DSLBuilder創建restful查詢語句并下推至Elasticsearch引擎；

S304利用Hive driver將ES引擎返回的結果集合作為原始表的RowKey集合去查詢；

S305利用Hive driver將結果集映射為關系表并返回給用戶。

5.根據權利要求4所述的基于Elasticsearch的Hive二級全文索引技術方法，其特征是所述S4刪除全文索引具體步驟包括：

S401刪除Hive中INDEX元數據；

S402刪除ES引擎中對應的索引表。

6.一種基于Elasticsearch的Hive二級全文索引技術系統，其特征是所述系統包括創建模塊、操作模塊、查詢模塊、刪除模塊和處理模塊：

創建模塊：通過CREATE FULL INDEX對Hive原始數據表創建全文索引表；

操作模塊：將原始表INSERT、UPDATE、DELETE與ES中的全文索引表同步操作；

查詢模塊：使用全文索引條件查詢原始表；

刪除模塊：刪除全文索引；

處理模塊：刪除原始表。

7.根據權利要求6所述的基于Elasticsearch的Hive二級全文索引技術系統，其特征是所述創建模塊具體包括編輯模塊、檢查模塊和建立模塊：

編輯模塊：增加DDL關鍵字FULL；

檢查模塊：CREATE FULL INDEX進行語句掃描、詞法分析和語法檢查

建立模塊：檢查通過后根據DDL元數據信息在ES引擎中創建對應的索引表。

8.根據權利要求7所述的基于Elasticsearch的Hive二級全文索引技術系統，其特征是所述操作模塊具體包括記錄模塊、原始表操作模塊和索引表操作模塊：

記錄模塊：記錄本次操作的事務日志；

原始表操作模塊：INSERT、UPDATE、DELETE在原始表上操作，成功向下執行，失敗則返回記錄模塊；

索引表操作模塊：INSERT、UPDATE、DELETE在索引表上操作，成功執行則提交事務，失敗則根據事務日志回滾事務。