[發(fā)明專利]索引構(gòu)建方法、索引構(gòu)建系統(tǒng)及索引更新方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210769434.2
• 申請(qǐng)日: 2022-07-01
• 公開（公告）號(hào): CN115017164A
• 公開（公告）日: 2022-09-06
• 發(fā)明（設(shè)計(jì)）人: 黃國欽;譚廣宜;王志林
• 申請(qǐng)（專利權(quán)）人: 唯品會(huì)（廣州）軟件有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/2453;G06F16/2455
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張茵

1.一種索引構(gòu)建方法，其特征在于，包括：

獲取需要建立索引的數(shù)據(jù)信息，根據(jù)所述數(shù)據(jù)信息的數(shù)據(jù)量確定構(gòu)建的ES索引的數(shù)量；

創(chuàng)建ES索引集合，所述ES索引集合中ES索引的個(gè)數(shù)等于所述數(shù)量，所述ES索引集合中的每一ES索引包含單個(gè)主分片；

確定每一ES索引對(duì)應(yīng)的目標(biāo)數(shù)據(jù)信息，所述ES索引集合中的各個(gè)ES索引對(duì)應(yīng)的目標(biāo)數(shù)據(jù)信息組成所述數(shù)據(jù)信息；

將與每一ES索引對(duì)應(yīng)的目標(biāo)數(shù)據(jù)信息寫入所述ES索引的主分片中。

2.根據(jù)權(quán)利要求1所述的索引構(gòu)建方法，其特征在于，所述創(chuàng)建ES索引集合，包括：

利用預(yù)置的索引初始化模板，設(shè)置所述ES索引集合中每一ES索引的初始值，所述索引初始化模板包括分片數(shù)、副本數(shù)及對(duì)應(yīng)的ES構(gòu)建節(jié)點(diǎn)，其中，所述副本數(shù)為零，所述分片數(shù)為一，以實(shí)現(xiàn)所述ES索引集合中每一ES索引僅包含單個(gè)分片，且該分片為主分片；

所述將與每一ES索引對(duì)應(yīng)的目標(biāo)數(shù)據(jù)信息寫入所述ES索引的主分片中，包括：

利用每一ES索引對(duì)應(yīng)的ES構(gòu)建節(jié)點(diǎn)，將與每一ES索引對(duì)應(yīng)的目標(biāo)數(shù)據(jù)信息寫入所述ES索引的主分片中。

3.根據(jù)權(quán)利要求2所述的索引構(gòu)建方法，其特征在于，所述利用每一ES索引對(duì)應(yīng)的ES構(gòu)建節(jié)點(diǎn)，將與每一ES索引對(duì)應(yīng)的目標(biāo)數(shù)據(jù)信息寫入所述ES索引的主分片中，包括：

將所述目標(biāo)數(shù)據(jù)信息整理成所述ES索引對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu)；

通過所述ES索引對(duì)應(yīng)的ES構(gòu)建節(jié)點(diǎn)，將整理后的目標(biāo)數(shù)據(jù)信息寫入所述ES索引中。

4.根據(jù)權(quán)利要求2所述的索引構(gòu)建方法，其特征在于，在利用每一ES索引對(duì)應(yīng)的ES構(gòu)建節(jié)點(diǎn)，將與每一ES索引對(duì)應(yīng)的目標(biāo)數(shù)據(jù)信息寫入所述ES索引的主分片中之后，還包括：

對(duì)所述ES索引進(jìn)行刷新，并對(duì)所述ES索引進(jìn)行段合并；

增加所述ES索引對(duì)應(yīng)的ES查詢節(jié)點(diǎn)，且所述ES構(gòu)建節(jié)點(diǎn)及所述ES查詢節(jié)點(diǎn)組成ES節(jié)點(diǎn)集合，所述ES節(jié)點(diǎn)集合對(duì)應(yīng)于所述ES索引；

對(duì)所述ES索引的副本數(shù)進(jìn)行更新，更新后的副本數(shù)等于所述ES節(jié)點(diǎn)集合的個(gè)數(shù)減1，以供所述ES索引得到與副本數(shù)相同數(shù)目的復(fù)制分片，以實(shí)現(xiàn)所述ES索引的分片數(shù)等于所述ES節(jié)點(diǎn)集合中的節(jié)點(diǎn)個(gè)數(shù)，所述ES索引的分片包括主分片及復(fù)制分片；

刪除所述ES索引與所述ES構(gòu)建節(jié)點(diǎn)之間的對(duì)應(yīng)關(guān)系，并減少所述ES索引的副本數(shù)，減少后的副本數(shù)及復(fù)制分片的數(shù)目均等于ES查詢節(jié)點(diǎn)的個(gè)數(shù)減1，以實(shí)現(xiàn)所述ES索引的分片數(shù)等于所述ES查詢節(jié)點(diǎn)的個(gè)數(shù)。

5.根據(jù)權(quán)利要求1所述的索引構(gòu)建方法，其特征在于，在將與每一ES索引對(duì)應(yīng)的目標(biāo)數(shù)據(jù)信息寫入所述ES索引的主分片中之后，還包括：

對(duì)所述ES索引進(jìn)行檢查，判斷所述ES索引中的數(shù)據(jù)量是否符合預(yù)置的索引標(biāo)準(zhǔn)；

若不符合所述索引標(biāo)準(zhǔn)，則刪除所述ES索引，并返回執(zhí)行創(chuàng)建ES索引集合的步驟。

6.根據(jù)權(quán)利要求1所述的索引構(gòu)建方法，其特征在于，在創(chuàng)建ES索引集合之前，還包括：

判斷是否存在未構(gòu)建成功的ES索引；

若存在未構(gòu)建成功的ES索引，刪除所述未構(gòu)建成功的ES索引，并返回執(zhí)行創(chuàng)建ES索引集合的步驟；

若不存在未構(gòu)建成功的ES索引，則直接執(zhí)行創(chuàng)建ES索引集合的步驟。

7.一種索引構(gòu)建系統(tǒng)，其特征在于，包括索引創(chuàng)建端及數(shù)據(jù)寫入端；

所述索引創(chuàng)建端，獲取需要建立索引的數(shù)據(jù)信息，根據(jù)所述數(shù)據(jù)信息的數(shù)據(jù)量確定構(gòu)建的ES索引的數(shù)量；創(chuàng)建ES索引集合，所述ES索引集合中ES索引的個(gè)數(shù)等于所述數(shù)量，所述ES索引集合中的每一ES索引包含單個(gè)主分片；并確定每一ES索引對(duì)應(yīng)的目標(biāo)數(shù)據(jù)信息，所述ES索引集合中的各個(gè)ES索引對(duì)應(yīng)的目標(biāo)數(shù)據(jù)信息組成所述數(shù)據(jù)信息；

所述數(shù)據(jù)寫入端，將與每一ES索引對(duì)應(yīng)的目標(biāo)數(shù)據(jù)信息寫入所述ES索引的主分片中。