[發(fā)明專利]分布式數(shù)據(jù)庫(kù)中的并行任務(wù)調(diào)度系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011262176.6
• 申請(qǐng)日: 2020-11-12
• 公開（公告）號(hào): CN112416969B
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 陶征霖;申小龍;姚佳麗;曾明慧
• 申請(qǐng)（專利權(quán)）人: 北京偶數(shù)科技有限公司
• 主分類號(hào): G06F16/2453
• 分類號(hào): G06F16/2453;G06F16/28
• 代理公司: 北京萬(wàn)思博知識(shí)產(chǎn)權(quán)代理有限公司 11694
• 代理人: 劉冀

本申請(qǐng)公開了一種分布式數(shù)據(jù)庫(kù)中的并行任務(wù)調(diào)度系統(tǒng)，包括：主節(jié)點(diǎn)以及與主節(jié)點(diǎn)通信的至少一個(gè)從節(jié)點(diǎn)，并且從節(jié)點(diǎn)設(shè)置有用于執(zhí)行調(diào)度任務(wù)的代理調(diào)度器，其中主節(jié)點(diǎn)配置用于執(zhí)行以下操作：接收查詢語(yǔ)句，并根據(jù)查詢語(yǔ)句生成查詢?nèi)蝿?wù)；將查詢?nèi)蝿?wù)發(fā)送至至少一個(gè)從節(jié)點(diǎn)；以及從節(jié)點(diǎn)配置用于執(zhí)行以下操作：接收查詢?nèi)蝿?wù)；通過(guò)代理調(diào)度器將查詢?nèi)蝿?wù)分配至由從節(jié)點(diǎn)管理的至少一個(gè)查詢執(zhí)行器進(jìn)行處理。

技術(shù)領(lǐng)域

本申請(qǐng)涉及分布式數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，特別是涉及一種分布式數(shù)據(jù)庫(kù)中的并行任務(wù)調(diào)度系統(tǒng)。

背景技術(shù)

并行任務(wù)調(diào)度器是分布式數(shù)據(jù)庫(kù)中最核心的與分布式緊密相關(guān)的模塊之一，負(fù)責(zé)將分片的查詢計(jì)劃調(diào)度到各個(gè)從節(jié)點(diǎn)上，并且負(fù)責(zé)協(xié)調(diào)查詢計(jì)劃執(zhí)行的全過(guò)程，是整個(gè)并行系統(tǒng)的粘合劑。如果執(zhí)行成功，調(diào)度器將負(fù)責(zé)匯總調(diào)度信息。如果執(zhí)行失敗，調(diào)度器將負(fù)責(zé)取消其他正在運(yùn)行的任務(wù)，以及把第一個(gè)出錯(cuò)的任務(wù)相關(guān)的報(bào)錯(cuò)信息返回終端用戶。現(xiàn)有技術(shù)中，如開源的GPDB和Apache頂級(jí)項(xiàng)目HAWQ都是采用master節(jié)點(diǎn)上的QD(querydispatcher查詢調(diào)度器)和segment節(jié)點(diǎn)上的每一個(gè)QE(queryexecutor查詢執(zhí)行器)直接建立libpq連接，發(fā)送接收消息。

然而，現(xiàn)有技術(shù)會(huì)在大規(guī)模集群下，造成master和segment節(jié)點(diǎn)之間存在大量libpq連接，比如1000個(gè)節(jié)點(diǎn)集群，每個(gè)節(jié)點(diǎn)啟動(dòng)了100個(gè)QE，這樣就是100*1000＝100000個(gè)libpq連接。同時(shí)任務(wù)分發(fā)的時(shí)候會(huì)給每個(gè)QE分發(fā)大量的重復(fù)的信息，包括序列化的查詢計(jì)劃，元信息等。這些都會(huì)導(dǎo)致隨著集群規(guī)模的擴(kuò)大，任務(wù)派遣的性能會(huì)越來(lái)越慢，甚至造成master節(jié)點(diǎn)最早成為整個(gè)集群的瓶頸。

針對(duì)上述的現(xiàn)有技術(shù)中存在的分布式集群中的主節(jié)點(diǎn)的查詢調(diào)度器需要和和每個(gè)從節(jié)點(diǎn)的每個(gè)查詢執(zhí)行器建立連接關(guān)系，因此隨著集群規(guī)模的擴(kuò)大會(huì)影響任務(wù)派遣速度，甚至造成集群到達(dá)瓶頸的技術(shù)問(wèn)題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本公開的實(shí)施例提供了一種分布式數(shù)據(jù)庫(kù)中的并行任務(wù)調(diào)度系統(tǒng)，以至少解決現(xiàn)有技術(shù)中存在的分布式集群中的主節(jié)點(diǎn)的查詢調(diào)度器需要和和每個(gè)從節(jié)點(diǎn)的每個(gè)查詢執(zhí)行器建立連接關(guān)系，因此隨著集群規(guī)模的擴(kuò)大會(huì)影響任務(wù)派遣速度，甚至造成集群到達(dá)瓶頸的技術(shù)問(wèn)題。

根據(jù)本公開實(shí)施例的一個(gè)方面，提供了一種分布式數(shù)據(jù)庫(kù)中的并行任務(wù)調(diào)度系統(tǒng)，包括：主節(jié)點(diǎn)以及與主節(jié)點(diǎn)通信的至少一個(gè)從節(jié)點(diǎn)，并且從節(jié)點(diǎn)設(shè)置有用于執(zhí)行調(diào)度任務(wù)的代理調(diào)度器，其中主節(jié)點(diǎn)配置用于執(zhí)行以下操作：接收查詢語(yǔ)句，并根據(jù)查詢語(yǔ)句生成查詢?nèi)蝿?wù)；將查詢?nèi)蝿?wù)發(fā)送至至少一個(gè)從節(jié)點(diǎn)；以及從節(jié)點(diǎn)配置用于執(zhí)行以下操作：接收查詢?nèi)蝿?wù)；通過(guò)代理調(diào)度器將查詢?nèi)蝿?wù)分配至由從節(jié)點(diǎn)管理的至少一個(gè)查詢執(zhí)行器進(jìn)行處理。

在本公開實(shí)施例中，在分布式數(shù)據(jù)庫(kù)中的每個(gè)從節(jié)點(diǎn)設(shè)置代理調(diào)度器，因此主節(jié)點(diǎn)的調(diào)度器在每次發(fā)送任務(wù)的時(shí)候只需要向從節(jié)點(diǎn)發(fā)送任務(wù)，然后從節(jié)點(diǎn)通過(guò)代理調(diào)度器將任務(wù)下發(fā)至查詢執(zhí)行器，因此主節(jié)點(diǎn)不需要向每個(gè)查詢執(zhí)行器發(fā)送。從而與現(xiàn)有技術(shù)相比，本方案可以顯著減少主節(jié)點(diǎn)與查詢執(zhí)行器之間的連接數(shù)量。達(dá)到了節(jié)省計(jì)算資源的技術(shù)效果。此外，通過(guò)向從節(jié)點(diǎn)發(fā)送查詢?nèi)蝿?wù)的過(guò)程中，對(duì)于共用的數(shù)據(jù)部分只發(fā)送一份，因此還可以進(jìn)一步地節(jié)省了計(jì)算資源，提高數(shù)據(jù)的發(fā)送效率。進(jìn)而解決了現(xiàn)有技術(shù)中存在的分布式集群中的主節(jié)點(diǎn)的查詢調(diào)度器需要和和每個(gè)從節(jié)點(diǎn)的每個(gè)查詢執(zhí)行器建立連接關(guān)系，因此隨著集群規(guī)模的擴(kuò)大會(huì)影響任務(wù)派遣速度，甚至造成集群到達(dá)瓶頸的技術(shù)問(wèn)題。

附圖說(shuō)明

此處所說(shuō)明的附圖用來(lái)提供對(duì)本公開的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本公開的示意性實(shí)施例及其說(shuō)明用于解釋本公開，并不構(gòu)成對(duì)本公開的不當(dāng)限定。在附圖中：

圖1是用于實(shí)現(xiàn)根據(jù)本公開實(shí)施例1所述的方法的計(jì)算設(shè)備的硬件結(jié)構(gòu)框圖；

圖2是根據(jù)本公開實(shí)施例1所述的分布式數(shù)據(jù)庫(kù)中的并行任務(wù)調(diào)度系統(tǒng)的示意圖；

圖3是根據(jù)本公開實(shí)施例1所述的主節(jié)點(diǎn)執(zhí)行操作的流程示意圖；以及