[發明專利]基于ElasticSearch的數據索引方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202010610262.5
• 申請日: 2020-06-29
• 公開（公告）號: CN111797096A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 王康任
• 申請（專利權）人: 中國平安財產保險股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2458;G06F16/27
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

本申請公開了一種基于ElasticSearch的數據索引方法、裝置、計算機設備和存儲介質，方法包括：基于分布式搜索引擎ElasticSearch，設置主分片，向主分片寫入數據；針對每一個主分片的數據，分別創建索引任務，并通過索引任務的類型，向主分片導入對應的索引分片，創建索引；若檢測到數據查詢請求指令，則通過每個節點服務器對索引分片進行索引查詢，得到每個節點服務器索引數據量；合并每個節點服務器的索引數據量，得到總索引數據量；若檢測到總索引數據量超過預設數值，則通過預設方式進行索引。本申請還涉及區塊鏈技術，索引數據存儲于區塊鏈中。本申請針對百T以上級別的海量數據，提高數據索引效率。

技術領域

本申請涉及數據處理技術領域，尤其涉及基于ElasticSearch的數據索引方法、裝置、計算機設備及存儲介質。

背景技術

當前大數據盛行的年代，用于存儲海量數據的數據倉庫也十分得多，分布式搜索引擎ElasticSearch(搜索引擎，ES)便是屬于其中之一。分布式搜索引擎ElasticSearch是一個基于Lucene構建的開源、分布式、Restful搜索服務器，一般用于云計算中。它能夠很方便的使大量數據具有搜索、分析和探索的能力。充分利用分布式搜索引擎ElasticSearch的水平伸縮性，能使數據在生產環境變得更有價值。

針對百T以上級別的海量數據在分布式搜索引擎ElasticSearch中的索引方案，由于數據量巨大，如果沒有相應的索引管理方案，索引速度將會大大降低。現有的技術，是通過將分布式搜索引擎ElasticSearch進行分布式搜索，再合并搜索結果數據，得到最終的數據，這種索引方案在面對百T以上級別的海量數據前，索引效率會很低，很難滿足索引的需求；現亟需一種能夠針對百T以上級別的海量數據，提高數據索引效率的方案。

發明內容

本申請實施例的目的在于提出一種基于ElasticSearch的數據索引方法，針對百T以上級別的海量數據，提高數據索引效率。

為了解決上述技術問題，本申請實施例提供一種基于ElasticSearch的數據索引方法，包括：

基于分布式搜索引擎ElasticSearch，設置主分片，并向所述主分片寫入數據；

針對每一個所述主分片的數據，分別創建索引任務，并通過所述索引任務的類型，向所述主分片導入對應的索引分片，創建索引；

若檢測到數據查詢請求指令，則通過每個節點服務器對所述索引分片進行索引查詢，得到每個節點服務器的索引數據量；

合并所述每個節點服務器索引數據量，得到總索引數據量；

若檢測到所述總索引數據量超過預設數值，則通過預設方式進行索引。

進一步的，所述基于分布式搜索引擎ElasticSearch，設置主分片，并向所述主分片寫入數據之前，所述方法還包括：

為每條數據設置編號，并將所述編號寫入到所述分布式搜索引擎ElasticSearch中。

進一步的，所述基于分布式搜索引擎ElasticSearch，設置主分片，并向所述主分片寫入數據包括：

從所述分布式搜索引擎ElasticSearch中抽取數據，并根據抽取到的數據建立讀取任務；

根據所述讀取任務，將所述數據寫入所述主分片。

進一步的，所述基于分布式搜索引擎ElasticSearch，設置主分片，并向所述主分片寫入數據之后，所述方法還包括：

在檢測到所述主分片的數據寫完時，根據所述主分片的數量，創建副本，其中，所述副本的數量按照所述主分片的數量和預設比例進行設置。