[發(fā)明專利]一種分布式系統(tǒng)、數(shù)據(jù)聚合方法和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911418011.0
• 申請(qǐng)日: 2019-12-31
• 公開（公告）號(hào): CN113132267B
• 公開（公告）日: 2022-09-02
• 發(fā)明（設(shè)計(jì)）人: 于平;韓洪偉
• 申請(qǐng)（專利權(quán)）人: 奇安信科技集團(tuán)股份有限公司;奇安信網(wǎng)神信息技術(shù)（北京）股份有限公司
• 主分類號(hào): G06F16/24
• 分類號(hào): G06F16/24;G06F16/27
• 代理公司: 北京英特普羅知識(shí)產(chǎn)權(quán)代理有限公司 11015
• 代理人: 程超

本發(fā)明公開了一種分布式系統(tǒng)，其中：協(xié)調(diào)節(jié)點(diǎn)用于：解析查詢請(qǐng)求以確定查詢請(qǐng)求指向的目標(biāo)索引分片，獲取目標(biāo)索引分片的分片信息，確定本地存儲(chǔ)目標(biāo)索引分片的查詢節(jié)點(diǎn)，作為目標(biāo)節(jié)點(diǎn)，根據(jù)分片信息構(gòu)建查詢子請(qǐng)求，并將查詢子請(qǐng)求發(fā)送至目標(biāo)節(jié)點(diǎn)；目標(biāo)節(jié)點(diǎn)用于：接收并解析查詢子請(qǐng)求以得到分片信息，根據(jù)分片信息定位出本地存儲(chǔ)的目標(biāo)索引分片，運(yùn)行目標(biāo)索引分片以得到查詢子請(qǐng)求所請(qǐng)求的查詢結(jié)果，在本地存儲(chǔ)的所有目標(biāo)索引分片不唯一時(shí)，聚合所有目標(biāo)索引分片的查詢結(jié)果得到第一聚合結(jié)果，并將第一聚合結(jié)果返回協(xié)調(diào)節(jié)點(diǎn)；協(xié)調(diào)節(jié)點(diǎn)還用于：接收目標(biāo)節(jié)點(diǎn)返回的第一聚合結(jié)果，并聚合若干目標(biāo)節(jié)點(diǎn)返回的所有第一聚合結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及一種分布式系統(tǒng)、數(shù)據(jù)聚合方法、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

ElasticSearch是基于Apache Lucene的分布式檢索系統(tǒng)，其可以通過(guò)索引實(shí)現(xiàn)檢索功能。ElasticSearch的檢索流程分為query階段和fetch階段，query階段用于根據(jù)查詢請(qǐng)求查詢到doc id列表，fetch階段用于根據(jù)doc id列表獲取doc文檔。其中，在ElasticSearch系統(tǒng)中，一個(gè)索引可以由若干索引分片組成，且ElasticSearch系統(tǒng)中包括多個(gè)查詢節(jié)點(diǎn)，每個(gè)查詢節(jié)點(diǎn)中存儲(chǔ)有多個(gè)索引分片，接收到查詢請(qǐng)求的查詢節(jié)點(diǎn)又稱為協(xié)調(diào)節(jié)點(diǎn)。

在query階段，協(xié)調(diào)節(jié)點(diǎn)接收查詢請(qǐng)求之后，確定查詢請(qǐng)求對(duì)應(yīng)的索引分片，并根據(jù)每個(gè)索引分片的分片信息構(gòu)建新的查詢請(qǐng)求下發(fā)給存儲(chǔ)該索引分片的查詢節(jié)點(diǎn)，查詢節(jié)點(diǎn)接收到該新的查詢請(qǐng)求后，根據(jù)對(duì)應(yīng)的索引分片執(zhí)行查詢工作，并將每一次的查詢結(jié)果即doc id列表返回給協(xié)調(diào)節(jié)點(diǎn)，在所有的doc id列表均返回以后，協(xié)調(diào)節(jié)點(diǎn)聚合這些docid列表，然后根據(jù)聚合結(jié)果執(zhí)行fetch階段。

然而，發(fā)明人研究發(fā)現(xiàn)，現(xiàn)有技術(shù)中至少存在如下缺陷：在查詢請(qǐng)求對(duì)應(yīng)的索引分片過(guò)多時(shí)，由協(xié)調(diào)節(jié)點(diǎn)聚合所有索引分片的查詢結(jié)果，會(huì)對(duì)協(xié)調(diào)節(jié)點(diǎn)的內(nèi)存造成巨大的壓力，大大增加了協(xié)調(diào)節(jié)點(diǎn)不穩(wěn)定的因素，嚴(yán)重時(shí)甚至?xí)?dǎo)致協(xié)調(diào)節(jié)點(diǎn)掛掉。

針對(duì)現(xiàn)有技術(shù)的ElasticSearch檢索中不考慮協(xié)調(diào)節(jié)點(diǎn)內(nèi)存壓力，可能引起協(xié)調(diào)節(jié)點(diǎn)不穩(wěn)定或掛掉的技術(shù)問(wèn)題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供了一種分布式系統(tǒng)、數(shù)據(jù)聚合方法、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，能夠解決現(xiàn)有技術(shù)的ElasticSearch檢索中不考慮協(xié)調(diào)節(jié)點(diǎn)內(nèi)存壓力可能引起協(xié)調(diào)節(jié)點(diǎn)不穩(wěn)定或掛掉的技術(shù)問(wèn)題。

本發(fā)明的第一個(gè)方面提供了一種分布式系統(tǒng)，所述分布式系統(tǒng)包括若干查詢節(jié)點(diǎn)，所述查詢節(jié)點(diǎn)用于接收用戶發(fā)送的查詢請(qǐng)求，且接收所述查詢請(qǐng)求的查詢節(jié)點(diǎn)稱為協(xié)調(diào)節(jié)點(diǎn)，其中：所述協(xié)調(diào)節(jié)點(diǎn)用于：解析所述查詢請(qǐng)求以確定所述查詢請(qǐng)求指向的目標(biāo)索引分片，獲取所述目標(biāo)索引分片的分片信息，確定本地存儲(chǔ)所述目標(biāo)索引分片的查詢節(jié)點(diǎn)，作為目標(biāo)節(jié)點(diǎn)，根據(jù)所述分片信息構(gòu)建查詢子請(qǐng)求，并將所述查詢子請(qǐng)求發(fā)送至所述目標(biāo)節(jié)點(diǎn)；所述目標(biāo)節(jié)點(diǎn)用于：接收并解析所述查詢子請(qǐng)求以得到所述分片信息，根據(jù)所述分片信息定位出本地存儲(chǔ)的所述目標(biāo)索引分片，運(yùn)行所述目標(biāo)索引分片以得到所述查詢子請(qǐng)求所請(qǐng)求的查詢結(jié)果，在本地存儲(chǔ)的所有所述目標(biāo)索引分片不唯一時(shí)，聚合所有所述目標(biāo)索引分片的查詢結(jié)果得到第一聚合結(jié)果，并將所述第一聚合結(jié)果返回所述協(xié)調(diào)節(jié)點(diǎn)；所述協(xié)調(diào)節(jié)點(diǎn)還用于：接收所述目標(biāo)節(jié)點(diǎn)返回的所述第一聚合結(jié)果，并聚合若干所述目標(biāo)節(jié)點(diǎn)返回的所有所述第一聚合結(jié)果。

本發(fā)明的第二個(gè)方面提供了一種數(shù)據(jù)聚合方法，所述方法包括：接收協(xié)調(diào)節(jié)點(diǎn)發(fā)送的查詢請(qǐng)求，作為第一查詢請(qǐng)求；解析所述第一查詢請(qǐng)求以得到分片信息；根據(jù)所述分片信息定位出本地存儲(chǔ)的目標(biāo)索引分片；運(yùn)行所述目標(biāo)索引分片以得到所述第一查詢請(qǐng)求所請(qǐng)求的查詢結(jié)果；在本地存儲(chǔ)的所有所述目標(biāo)索引分片不唯一時(shí)，聚合所有所述目標(biāo)索引分片的查詢結(jié)果得到第一聚合結(jié)果，并將所述第一聚合結(jié)果返回所述協(xié)調(diào)節(jié)點(diǎn)。