[發明專利]一種Elasticsearch索引的加載方法、裝置、計算機設備和存儲介質

在審

• 申請號: 201911418702.0
• 申請日: 2019-12-31
• 公開（公告）號: CN113127479A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 段軍義;韓洪偉
• 申請（專利權）人: 奇安信科技集團股份有限公司;網神信息技術（北京）股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27;G06F9/50
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 程超

本發明公開了一種Elasticsearch索引的加載方法，能夠解決現有技術中將所有索引的FST都加載至內存中導致內存空間占用不合理的技術問題，所述方法包括：響應于Elasticsearch索引的打開指令，確定所述Elasticsearch索引的使用狀態；在所述Elasticsearch索引處于第一狀態時，將磁盤中的所述Elasticsearch索引的FST和所述Elasticsearch索引的FST的元數據加載至內存；在所述Elasticsearch索引處于第二狀態時，將所述磁盤中的所述Elasticsearch索引的FST的元數據加載至所述內存。本公開還提供了一種Elasticsearch索引的加載裝置、一種計算機設備以及一種計算機可讀存儲介質。

技術領域

本發明涉及計算機技術領域，具體涉及一種Elasticsearch索引的加載方法、裝置、計算機設備和計算機可讀存儲介質。

背景技術

Elasticsearch是基于Apache Lucene的分布式檢索系統。Apache Lucene的索引整體分為兩部分：一部分為索引表，即Term Dictionary，Term Dictionary是由一系列的Term組成的；另一部分為倒排表，倒排表是由所有term對應的postings組成的。

全文搜索引擎是在Elasticsearch的基礎上實現查詢的，由于全文搜索引擎通常需要存儲大量的文件，且每次查詢均需要查詢文件的Term Dictionary才能在倒排表中找到對應的postings，在海量數據的背景下，這些Term Dictionary本身的數據量會非常大，若是將Term Dictionary完全加載至內存中會占用大量的內存空間。

為了解決上述問題，現有技術設計了針對Term Dictionary的Term DictionaryTndex，該Term Dictionary Tndex由一個或多個FST(Finite State Transducers，有窮狀態轉換器)組成，每個FST能夠定位Term Dictionary中對應Term的位置，且FST相比于Term所占的空間非常小。因此，在查詢過程中，現有技術會將FST加載內存，以降低對內存空間的需求。

然而，發明人研究發現，現有技術中將所有索引的FST都加載至內存中，仍然存在內存空間占用不合理的問題。

針對現有技術中將所有索引的FST都加載至內存中導致內存空間占用不合理的技術問題，目前尚未提出有效的解決方案。

發明內容

本發明的目的在于提供了一種Elasticsearch索引的加載方法、裝置、計算機設備和計算機可讀存儲介質，能夠解決現有技術中將所有索引的FST都加載至內存中導致內存空間占用不合理的技術問題。

本發明的一個方面提供了一種Elasticsearch索引的加載方法，所述方法包括：響應于Elasticsearch索引的打開指令，確定所述Elasticsearch索引的使用狀態；在所述Elasticsearch索引處于第一狀態時，將磁盤中的所述Elasticsearch索引的FST和所述Elasticsearch索引的FST的元數據加載至內存；在所述Elasticsearch索引處于第二狀態時，將所述磁盤中的所述Elasticsearch索引的FST的元數據加載至所述內存。

可選地，所述方法還包括：響應于基于所述Elasticsearch索引的查詢指令，判斷所述內存中是否加載有所述Elasticsearch索引的FST；在所述內存中未加載有所述Elasticsearch索引的FST時，利用所述內存中加載的所述Elasticsearch索引的FST的元數據從所述磁盤中獲取所述Elasticsearch索引的FST；將獲取到的所述Elasticsearch索引的FST加載至所述內存。