[發(fā)明專利]基于ElasticSearch的數(shù)據(jù)索引方法、裝置、計算機(jī)設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010610262.5
• 申請日: 2020-06-29
• 公開（公告）號: CN111797096A
• 公開（公告）日: 2020-10-20
• 發(fā)明（設(shè)計）人: 王康任
• 申請（專利權(quán)）人: 中國平安財產(chǎn)保險股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2458;G06F16/27
• 代理公司: 深圳市世聯(lián)合知識產(chǎn)權(quán)代理有限公司 44385
• 代理人: 汪琳琳

1.一種基于ElasticSearch的數(shù)據(jù)索引方法，其特征在于，包括：

基于分布式搜索引擎ElasticSearch，設(shè)置主分片，并向所述主分片寫入數(shù)據(jù)；

針對每一個所述主分片的數(shù)據(jù)，分別創(chuàng)建索引任務(wù)，并通過所述索引任務(wù)的類型，向所述主分片導(dǎo)入對應(yīng)的索引分片，創(chuàng)建索引；

若檢測到數(shù)據(jù)查詢請求指令，則通過每個節(jié)點服務(wù)器對所述索引分片進(jìn)行索引查詢，得到每個節(jié)點服務(wù)器的索引數(shù)據(jù)量；

合并所述每個節(jié)點服務(wù)器索引數(shù)據(jù)量，得到總索引數(shù)據(jù)量；

若檢測到所述總索引數(shù)據(jù)量超過預(yù)設(shè)數(shù)值，則通過預(yù)設(shè)方式進(jìn)行索引。

2.根據(jù)權(quán)利要求1所述的基于ElasticSearch的數(shù)據(jù)索引方法，其特征在于，所述基于分布式搜索引擎ElasticSearch，設(shè)置主分片，并向所述主分片寫入數(shù)據(jù)之前，所述方法還包括：

為每條數(shù)據(jù)設(shè)置編號，并將所述編號寫入到所述分布式搜索引擎ElasticSearch中。

3.根據(jù)權(quán)利要求1所述的基于ElasticSearch的數(shù)據(jù)索引方法，其特征在于，所述基于分布式搜索引擎ElasticSearch，設(shè)置主分片，并向所述主分片寫入數(shù)據(jù)包括：

從所述分布式搜索引擎ElasticSearch中抽取數(shù)據(jù)，并根據(jù)抽取到的數(shù)據(jù)建立讀取任務(wù)；

根據(jù)所述讀取任務(wù)，將所述數(shù)據(jù)寫入所述主分片。

4.根據(jù)權(quán)利要求1所述的基于ElasticSearch的數(shù)據(jù)索引方法，其特征在于，所述基于分布式搜索引擎ElasticSearch，設(shè)置主分片，并向所述主分片寫入數(shù)據(jù)之后，所述方法還包括：

在檢測到所述主分片的數(shù)據(jù)寫完時，根據(jù)所述主分片的數(shù)量，創(chuàng)建副本，其中，所述副本的數(shù)量按照所述主分片的數(shù)量和預(yù)設(shè)比例進(jìn)行設(shè)置。

5.根據(jù)權(quán)利要求1所述的基于ElasticSearch的數(shù)據(jù)索引方法，其特征在于，所述針對每一個所述主分片的數(shù)據(jù)，分別創(chuàng)建索引任務(wù)，并通過所述索引任務(wù)的類型，引導(dǎo)所述主分片導(dǎo)入對應(yīng)的索引分片，創(chuàng)建索引包括：

將同一類型的主分片數(shù)據(jù)，通過分布式系統(tǒng)基礎(chǔ)架構(gòu)hadoop創(chuàng)建成一個類型的所述索引任務(wù)；

針對同一類型的所述索引任務(wù)，將所述主分片導(dǎo)入對應(yīng)的索引分片，創(chuàng)建索引。

6.根據(jù)權(quán)利要求1至5任一項所述的基于ElasticSearch的數(shù)據(jù)索引方法，其特征在于，所述若檢測到所述總索引數(shù)據(jù)量超過預(yù)設(shè)數(shù)值，則通過預(yù)設(shè)方式進(jìn)行索引包括：

若檢測到所述總索引數(shù)據(jù)量超過預(yù)設(shè)數(shù)值，增加新的節(jié)點服務(wù)器進(jìn)行分布式索引。

7.根據(jù)權(quán)利要求1至5任一項所述的基于ElasticSearch的數(shù)據(jù)索引方法，其特征在于，所述若檢測到所述總索引數(shù)據(jù)量超過預(yù)設(shè)數(shù)值，則通過預(yù)設(shè)方式進(jìn)行索引還包括：

若檢測到所述總索引數(shù)據(jù)量超過預(yù)設(shè)數(shù)值，則通過所述節(jié)點服務(wù)器分批進(jìn)行索引。

8.一種基于ElasticSearch的數(shù)據(jù)索引裝置，其特征在于，包括：

數(shù)據(jù)寫入模塊，用于基于分布式搜索引擎ElasticSearch，設(shè)置主分片，并向所述主分片寫入數(shù)據(jù)；

索引創(chuàng)建模塊，用于針對每一個所述主分片的數(shù)據(jù)，分別創(chuàng)建索引任務(wù)，并通過所述索引任務(wù)的類型，向所述主分片導(dǎo)入對應(yīng)的索引分片，創(chuàng)建索引；

索引查詢模塊，用于若檢測到數(shù)據(jù)查詢請求指令，則通過每個節(jié)點服務(wù)器對所述索引分片進(jìn)行索引查詢，得到每個節(jié)點服務(wù)器的索引數(shù)據(jù)量；

合并數(shù)據(jù)模塊，用于合并所述每個節(jié)點服務(wù)器索引數(shù)據(jù)量，得到總索引數(shù)據(jù)量；

分片索引模塊，用于若檢測到所述總索引數(shù)據(jù)量超過預(yù)設(shè)數(shù)值，則通過預(yù)設(shè)方式進(jìn)行索引。

9.一種計算機(jī)設(shè)備，包括存儲器和處理器，所述存儲器中存儲有計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)如權(quán)利要求1至7中任一項所述的基于ElasticSearch的數(shù)據(jù)索引方法。

10.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7中任一項所述的基于ElasticSearch的數(shù)據(jù)索引方法。