[發(fā)明專(zhuān)利]分布式集群索引分片的評(píng)估方法及裝置、電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201810698652.5
• 申請(qǐng)日: 2018-06-29
• 公開(kāi)（公告）號(hào): CN108897858B
• 公開(kāi)（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 任娜;王立新
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京奇虎科技有限公司
• 主分類(lèi)號(hào): G06F16/31
• 分類(lèi)號(hào): G06F16/31;G06F16/33
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國(guó)

本發(fā)明公開(kāi)了一種分布式集群索引分片的評(píng)估方法及裝置、電子設(shè)備，所述方法包括：獲取業(yè)務(wù)方所選定的集群的配置信息以及業(yè)務(wù)方指定的單個(gè)索引的數(shù)據(jù)量的預(yù)估值；獲取分布式集群的節(jié)點(diǎn)配置信息；根據(jù)集群的配置信息、單個(gè)索引的數(shù)據(jù)量的預(yù)估值以及節(jié)點(diǎn)配置信息，計(jì)算得到單個(gè)索引的分片數(shù)量區(qū)間。利用上述方案可以使索引分片等技術(shù)問(wèn)題對(duì)用戶(hù)透明，用戶(hù)不需要了解分布式集群本身的運(yùn)行以及性能相關(guān)問(wèn)題，直接根據(jù)選定的配置信息及業(yè)務(wù)索引數(shù)據(jù)量的預(yù)估值，可以得到索引的分片數(shù)量區(qū)間，方便用戶(hù)根據(jù)分片數(shù)量區(qū)間建立對(duì)應(yīng)的索引，提高索引建立的合理性，有效避免業(yè)務(wù)發(fā)展可能出現(xiàn)的性能問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及軟件領(lǐng)域，具體涉及一種分布式集群索引分片的評(píng)估方法及裝置、電子設(shè)備。

背景技術(shù)

分布式搜索服務(wù)器，如ElasticSearch(以下簡(jiǎn)稱(chēng)ES)，可以利用分布式集群提供分布式多用戶(hù)能力的全文搜索引擎，能夠達(dá)到實(shí)時(shí)搜索，穩(wěn)定、可靠、快速。ES可以把一個(gè)完整的索引分成多個(gè)分片，這樣的好處是可以把一個(gè)大的索引拆分成多個(gè)，分布到不同的節(jié)點(diǎn)上，使得一個(gè)索引可以存儲(chǔ)超過(guò)一個(gè)節(jié)點(diǎn)容量的數(shù)據(jù)，從而構(gòu)成分布式集群搜索。但ES本身限定了只能在索引創(chuàng)建時(shí)一次指定分片的數(shù)量，在索引創(chuàng)建后分片數(shù)量不能再進(jìn)行更改。因此，在建立索引時(shí)，需要預(yù)先考慮如何創(chuàng)建合理的分片數(shù)量，如過(guò)度分片，每個(gè)分片都是有額外的成本的，當(dāng)建立的分片數(shù)量過(guò)多，分片開(kāi)始競(jìng)爭(zhēng)相同的硬件資源時(shí),性能便會(huì)逐步下降；同時(shí)，增大了合并分片查詢(xún)結(jié)果時(shí)的復(fù)雜度，增大了查詢(xún)耗時(shí)；且如果在大量分片上只維護(hù)了很少的數(shù)據(jù),則將導(dǎo)致最終的文檔相關(guān)性較差。當(dāng)分片數(shù)量過(guò)少時(shí)，分片本身過(guò)大，可能會(huì)對(duì)分布式集群從故障中恢復(fù)的能力產(chǎn)生負(fù)面影響。當(dāng)分片的數(shù)量建立不合理時(shí)，只能重新創(chuàng)建索引，又使得整個(gè)過(guò)程耗時(shí)較多且影響業(yè)務(wù)使用。

基于上述問(wèn)題，使得用戶(hù)在建立索引時(shí)，需要先了解ES應(yīng)如何設(shè)置分片，對(duì)用戶(hù)限定了技術(shù)門(mén)檻要求。但實(shí)際在建立索引時(shí)，很多用戶(hù)往往只想得到明確的分片數(shù)量，甚至都不關(guān)心隨意的設(shè)置可能帶來(lái)的問(wèn)題。但現(xiàn)有技術(shù)還不能使用戶(hù)直接得到合理的分片數(shù)量。

發(fā)明內(nèi)容

鑒于上述問(wèn)題，提出了本發(fā)明以便提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的分布式集群索引分片的評(píng)估方法及裝置、電子設(shè)備。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種分布式集群索引分片的評(píng)估方法，其包括：

獲取業(yè)務(wù)方所選定的集群的配置信息以及業(yè)務(wù)方指定的單個(gè)索引的數(shù)據(jù)量的預(yù)估值；

獲取分布式集群的節(jié)點(diǎn)配置信息；

根據(jù)集群的配置信息、單個(gè)索引的數(shù)據(jù)量的預(yù)估值以及節(jié)點(diǎn)配置信息，計(jì)算得到單個(gè)索引的分片數(shù)量區(qū)間。

根據(jù)本發(fā)明的另一方面，提供了一種分布式集群索引分片的評(píng)估裝置，其包括：

獲取模塊，適于獲取業(yè)務(wù)方所選定的集群的配置信息以及業(yè)務(wù)方指定的單個(gè)索引的數(shù)據(jù)量的預(yù)估值；

節(jié)點(diǎn)獲取模塊，適于獲取分布式集群的節(jié)點(diǎn)配置信息；

分片計(jì)算模塊，適于根據(jù)集群的配置信息、單個(gè)索引的數(shù)據(jù)量的預(yù)估值以及節(jié)點(diǎn)配置信息，計(jì)算得到單個(gè)索引的分片數(shù)量區(qū)間。

根據(jù)本發(fā)明的又一方面，提供了一種電子設(shè)備，包括：處理器、存儲(chǔ)器、通信接口和通信總線(xiàn)，處理器、存儲(chǔ)器和通信接口通過(guò)通信總線(xiàn)完成相互間的通信；

存儲(chǔ)器用于存放至少一可執(zhí)行指令，可執(zhí)行指令使處理器執(zhí)行上述分布式集群索引分片的評(píng)估方法對(duì)應(yīng)的操作。

根據(jù)本發(fā)明的再一方面，提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，存儲(chǔ)介質(zhì)中存儲(chǔ)有至少一可執(zhí)行指令，可執(zhí)行指令使處理器執(zhí)行如上述分布式集群索引分片的評(píng)估方法對(duì)應(yīng)的操作。