[發明專利]一種基于elasticsearch的數據檢索優化方法及系統

有效

• 申請號: 202010977565.0
• 申請日: 2020-09-17
• 公開（公告）號: CN112115361B
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 張帆;宋設;王勇慶
• 申請（專利權）人: 浪潮卓數大數據產業發展有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F40/289;G06F40/253;G06F16/951;G06F16/9538
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

1.一種基于elasticsearch的數據檢索優化方法，其特征是所述的方法具體步驟如下：

S1根據檢索目的選擇字段數據生成索引：

S101將索引文件經過語法分析和語言處理形成一系列詞Term；

S102經過索引創建形成詞典和反向索引表；

S103通過索引存儲將索引寫入硬盤；

S2對輸入的查詢語句經過語法分析和語言分析得到一系列詞Term；

S3通過語法分析得到一個查詢樹；

S4通過索引存儲將索引讀入到內存；

S5利用查詢樹搜索索引，得到每個詞Term的文檔鏈表，對文檔鏈表進行交差，并得到結果文檔：

S501基于elasticsearch做搜索，將原始文件存入hbase中；

S502根據搜索需求，將文檔存入elasticsearch中進行索引，在存入的時候使用hbase中的文檔id作為elasticsearch的id，同時設置不保存原始文件；

S503搜索時通過elasticsearch搜索到文檔id，然后利用這一id去hbase中快速得到文件；

S6將搜索到的結果文檔對查詢的相關性進行排序；

S7返回查詢結果給用戶，將elasticsearch的內存設置為系統可用內存的一半，另一半留給系統做緩存使用。

2.根據權利要求1所述的方法，其特征是所述S103通過索引存儲選擇性的將索引寫入硬盤。

3.一種基于elasticsearch的數據檢索優化系統，其特征是所述的系統具體包括分詞模塊、過濾模塊、分析模塊、存儲模塊、查詢模塊、排序模塊和反饋模塊：

分詞模塊：根據檢索目的選擇字段數據生成索引；

所述分詞模塊具體包括處理模塊、建立模塊和保存模塊：

處理模塊：將索引文件經過語法分析和語言處理形成一系列詞Term；

建立模塊：經過索引創建形成詞典和反向索引表；

保存模塊：通過索引存儲將索引寫入硬盤；

過濾模塊：對輸入的查詢語句經過語法分析和語言分析得到一系列詞Term；

分析模塊：通過語法分析得到一個查詢樹；

存儲模塊：通過索引存儲將索引讀入到內存；

查詢模塊：利用查詢樹搜索索引，得到每個詞Term的文檔鏈表，對文檔鏈表進行交差，并得到結果文檔：基于elasticsearch做搜索，將原始文件存入hbase中；

根據搜索需求，將文檔存入elasticsearch中進行索引，在存入的時候使用hbase中的文檔id作為elasticsearch的id，同時設置不保存原始文件；

搜索時通過elasticsearch搜索到文檔id，然后利用這一id去hbase中快速得到文件；

排序模塊：將搜索到的結果文檔對查詢的相關性進行排序；

反饋模塊：返回查詢結果給用戶，將elasticsearch的內存設置為系統可用內存的一半，另一半留給系統做緩存使用。

4.根據權利要求3所述的系統，其特征是所述保存模塊通過索引存儲選擇性的將索引寫入硬盤。