[發(fā)明專利]一種分布式任務(wù)調(diào)度系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710113656.8
• 申請(qǐng)日: 2017-02-28
• 公開（公告）號(hào): CN106909451A
• 公開（公告）日: 2017-06-30
• 發(fā)明（設(shè)計(jì)）人: 劉正偉;郭濤
• 申請(qǐng)（專利權(quán)）人: 鄭州云海信息技術(shù)有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/50
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司11227
• 代理人: 王寶筠

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)計(jì)算領(lǐng)域，具體涉及一種分布式任務(wù)調(diào)度系統(tǒng)及方法。

背景技術(shù)

云計(jì)算技術(shù)經(jīng)過多年的發(fā)展已經(jīng)日漸成熟，虛擬化、云網(wǎng)絡(luò)以及云安全等技術(shù)在不斷發(fā)展。云計(jì)算給社會(huì)帶來的IT(Internet Technology，互聯(lián)網(wǎng)技術(shù))服務(wù)按需使用、IT資源高效利用、綠色節(jié)能等巨大的經(jīng)濟(jì)效益和社會(huì)效益，不僅使美國(guó)、歐盟、日本等發(fā)達(dá)國(guó)家的政府將其列入國(guó)家發(fā)展戰(zhàn)略，甚至亞非拉等廣大發(fā)展中國(guó)家也已經(jīng)非常重視，各國(guó)國(guó)家級(jí)數(shù)據(jù)中心已經(jīng)在雨后春筍般地建設(shè)。云計(jì)算大規(guī)模應(yīng)用的技術(shù)條件和環(huán)境已經(jīng)具備，云數(shù)據(jù)中心的建設(shè)已經(jīng)成為業(yè)界不可扭轉(zhuǎn)的趨勢(shì)。

在現(xiàn)有技術(shù)中，單點(diǎn)的數(shù)據(jù)中心對(duì)提交的任務(wù)進(jìn)行調(diào)度執(zhí)行時(shí)會(huì)面臨大任務(wù)、高并發(fā)的挑戰(zhàn)，隨著業(yè)務(wù)的擴(kuò)張和功能的累積，對(duì)任務(wù)處理的要求越來越高，既要保證高效性，又要保證安全性、準(zhǔn)確性的需求下，現(xiàn)有的數(shù)據(jù)中心任務(wù)調(diào)度方式無法高效處理任務(wù)的調(diào)度執(zhí)行，很難適應(yīng)快速變更的需求。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)?zhí)峁┮环N分布式任務(wù)調(diào)度系統(tǒng)及方法，以解決現(xiàn)有技術(shù)中存在的無法高效處理任務(wù)調(diào)度執(zhí)行的技術(shù)問題。

為解決上述問題，本申請(qǐng)?zhí)峁┑募夹g(shù)方案如下：

一種分布式任務(wù)調(diào)度系統(tǒng)，所述系統(tǒng)包括：

任務(wù)提交集群、任務(wù)調(diào)度集群以及任務(wù)執(zhí)行集群；所述任務(wù)提交集群包括多個(gè)任務(wù)客戶端節(jié)點(diǎn)，所述任務(wù)調(diào)度集群包括多個(gè)任務(wù)調(diào)度節(jié)點(diǎn)，所述任務(wù)執(zhí)行集群包括多個(gè)任務(wù)執(zhí)行節(jié)點(diǎn)；

所述任務(wù)提交集群中的所述任務(wù)客戶端節(jié)點(diǎn)用于向所述任務(wù)調(diào)度集群提交任務(wù)；

所述任務(wù)調(diào)度集群中的所述任務(wù)調(diào)度節(jié)點(diǎn)用于接收所述任務(wù)，生成所述任務(wù)的任務(wù)分配信息，按照所述任務(wù)分配信息將所述任務(wù)發(fā)送給所述任務(wù)執(zhí)行集群；

所述任務(wù)執(zhí)行集群中的所述任務(wù)執(zhí)行節(jié)點(diǎn)用于執(zhí)行所述任務(wù)并將執(zhí)行結(jié)果返回給提交任務(wù)的任務(wù)客戶端節(jié)點(diǎn)。

相應(yīng)的，所述任務(wù)調(diào)度節(jié)點(diǎn)包括主任務(wù)調(diào)度節(jié)點(diǎn)以及從任務(wù)調(diào)度節(jié)點(diǎn)，所述任務(wù)執(zhí)行節(jié)點(diǎn)包括主任務(wù)執(zhí)行節(jié)點(diǎn)以及從任務(wù)執(zhí)行節(jié)點(diǎn)；

所述主任務(wù)調(diào)度節(jié)點(diǎn)用于從所述任務(wù)客戶端節(jié)點(diǎn)接收所述任務(wù)，并將所述任務(wù)分配給任意一個(gè)從任務(wù)調(diào)度節(jié)點(diǎn)；

所述從任務(wù)調(diào)度節(jié)點(diǎn)用于在接收到所述任務(wù)后生成所述任務(wù)的任務(wù)分配信息，按照所述任務(wù)分配信息將所述任務(wù)發(fā)送給所述任務(wù)執(zhí)行集群；

所述主任務(wù)執(zhí)行節(jié)點(diǎn)用于接收所述任務(wù)，并將所述任務(wù)分配給從一個(gè)或多個(gè)任務(wù)執(zhí)行節(jié)點(diǎn)；

所述從任務(wù)執(zhí)行節(jié)點(diǎn)用于在接收到所述任務(wù)后執(zhí)行所述任務(wù)并將執(zhí)行結(jié)果返回給提交任務(wù)的任務(wù)客戶端節(jié)點(diǎn)。

相應(yīng)的，所述系統(tǒng)還包括：

分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)zookeeper節(jié)點(diǎn)，所述zookeeper節(jié)點(diǎn)分別與所述任務(wù)提交集群、所述任務(wù)調(diào)度集群以及任務(wù)執(zhí)行集群相連；

所述zookeeper節(jié)點(diǎn)用于保持與各個(gè)所述任務(wù)客戶端節(jié)點(diǎn)、各個(gè)所述任務(wù)調(diào)度節(jié)點(diǎn)以及各個(gè)所述任務(wù)執(zhí)行節(jié)點(diǎn)的連接，保存各個(gè)所述任務(wù)客戶端節(jié)點(diǎn)、各個(gè)所述任務(wù)調(diào)度節(jié)點(diǎn)以及各個(gè)所述任務(wù)執(zhí)行節(jié)點(diǎn)的連接信息；根據(jù)各個(gè)所述任務(wù)調(diào)度節(jié)點(diǎn)的連接信息在所述任務(wù)調(diào)度節(jié)點(diǎn)中確定所述主任務(wù)調(diào)度節(jié)點(diǎn)以及所述從任務(wù)調(diào)度節(jié)點(diǎn)；根據(jù)各個(gè)所述任務(wù)執(zhí)行節(jié)點(diǎn)的連接信息在所述任務(wù)執(zhí)行節(jié)點(diǎn)中確定所述主任務(wù)執(zhí)行節(jié)點(diǎn)以及所述從任務(wù)執(zhí)行節(jié)點(diǎn)。

相應(yīng)的，所述系統(tǒng)還包括：

公共服務(wù)模塊，所述任務(wù)提交集群通過所述公共服務(wù)模塊與所述任務(wù)調(diào)度集群相連，所述任務(wù)調(diào)度集群通過所述公共服務(wù)模塊與所述任務(wù)執(zhí)行集群相連，所述任務(wù)執(zhí)行集群通過所述公共服務(wù)模塊與所述任務(wù)提交集群相連。

相應(yīng)的，所述公共服務(wù)模塊包括：

消息中間件、分布式數(shù)據(jù)庫以及分布式緩存；

所述分布式數(shù)據(jù)庫用于保存所述任務(wù)的任務(wù)分配信息、所述任務(wù)的執(zhí)行日志以及所述執(zhí)行結(jié)果；

所述消息中間件用于接收所述任務(wù)客戶端節(jié)點(diǎn)向所述任務(wù)調(diào)度集群提交的任務(wù)，將所述任務(wù)發(fā)送到所述任務(wù)調(diào)度集群；接收所述任務(wù)調(diào)度節(jié)點(diǎn)向所述任務(wù)執(zhí)行集群發(fā)送的所述任務(wù)，將所述任務(wù)發(fā)送到所述任務(wù)調(diào)度集群；接收所述任務(wù)執(zhí)行節(jié)點(diǎn)向所述提交任務(wù)的任務(wù)客戶端節(jié)點(diǎn)發(fā)送的執(zhí)行結(jié)果，將所述執(zhí)行結(jié)果發(fā)送到所述提交任務(wù)的任務(wù)客戶端節(jié)點(diǎn)；

所述分布式緩存用于當(dāng)所述執(zhí)行結(jié)果需要緩存時(shí)緩存所述執(zhí)行結(jié)果。