[發(fā)明專(zhuān)利]一種云工作流分布式調(diào)度系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110033497.7
• 申請(qǐng)日: 2021-01-12
• 公開(kāi)（公告）號(hào): CN112698931B
• 公開(kāi)（公告）日: 2022-11-11
• 發(fā)明（設(shè)計(jì)）人: 李怡然;夏元清;楊立文;王冠;李亞興;葉玲娟;單成剛;閆策
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京理工大學(xué)
• 主分類(lèi)號(hào): G06F9/48
• 分類(lèi)號(hào): G06F9/48;G06F9/50;H04L67/10
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 張琳麗

本發(fā)明涉及一種云工作流分布式調(diào)度系統(tǒng)。該系統(tǒng)包括：調(diào)度器控制器、分布式云工作流調(diào)度模塊和云工作流狀態(tài)數(shù)據(jù)庫(kù)模塊。通過(guò)采用調(diào)度器控制器能夠快速將云工作流進(jìn)行動(dòng)態(tài)分配、調(diào)度；通過(guò)采用分布式云工作流調(diào)度模塊能夠彈性化調(diào)整調(diào)度數(shù)量從而適應(yīng)不同規(guī)模的云工作流調(diào)度，以能夠在提高云資源共享效率的同時(shí)，節(jié)約用戶(hù)成本。云工作流狀態(tài)數(shù)據(jù)庫(kù)模塊用于存儲(chǔ)云工作流狀態(tài)，從而保障云工作流執(zhí)行過(guò)程中出現(xiàn)意外時(shí)系統(tǒng)能夠?qū)帱c(diǎn)具有記憶性，從斷點(diǎn)處重新執(zhí)行云工作流。

技術(shù)領(lǐng)域

本發(fā)明涉及云工作流調(diào)度領(lǐng)域，特別是涉及一種云工作流分布式調(diào)度系統(tǒng)。

背景技術(shù)

隨著云計(jì)算技術(shù)的發(fā)展，計(jì)算資源和數(shù)據(jù)資源可以共享和打通，用戶(hù)的計(jì)算任務(wù)需求能夠根據(jù)復(fù)雜業(yè)務(wù)邏輯或復(fù)雜計(jì)算任務(wù)之間的前后依賴(lài)關(guān)系進(jìn)行訂制，從而形成云工作流。在云計(jì)算技術(shù)剛剛興起的時(shí)候，云工作流調(diào)度和計(jì)算是在虛擬機(jī)集群上進(jìn)行的，且主要針對(duì)某一具有多個(gè)前后依賴(lài)關(guān)系計(jì)算任務(wù)的科學(xué)云工作流。隨著容器技術(shù)的發(fā)展，使云計(jì)算資源的隔離性、共享性、易編排性更優(yōu)越，能夠支持在異構(gòu)集群環(huán)境下同時(shí)執(zhí)行多個(gè)云工作流。但是，現(xiàn)有的云工作流調(diào)度系統(tǒng)不能夠滿(mǎn)足大規(guī)模云工作流同時(shí)到達(dá)的應(yīng)用環(huán)境，其主要體現(xiàn)在：(1)傳統(tǒng)的云工作流調(diào)度系統(tǒng)大多基于虛擬機(jī)的調(diào)度，不能夠滿(mǎn)足基于容器環(huán)境的云工作流調(diào)度模式；(2)現(xiàn)有的基于容器的云工作流調(diào)度系統(tǒng)為集中式調(diào)度模式，調(diào)度器能夠接收的云工作流數(shù)量受調(diào)度器容量限制，不能夠滿(mǎn)足云計(jì)算時(shí)代用戶(hù)同時(shí)提交大規(guī)模云工作流的需求，使調(diào)度系統(tǒng)反應(yīng)速度慢甚至癱瘓。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)中存在的上述問(wèn)題，本發(fā)明提供了一種云工作流分布式調(diào)度系統(tǒng)。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下方案：

一種云工作流分布式調(diào)度系統(tǒng)，包括：調(diào)度器控制器、分布式云工作流調(diào)度模塊和云工作流狀態(tài)數(shù)據(jù)庫(kù)模塊；

所述調(diào)度器控制器的一端與用戶(hù)端連接，所述調(diào)度器控制器的另一端與所述分布式云工作流調(diào)度模塊的一端連接；所述分布式云工作流調(diào)度模塊的另一端與所述云工作流狀態(tài)數(shù)據(jù)庫(kù)模塊連接；

所述調(diào)度器控制器用于接收所述用戶(hù)端發(fā)送的云工作流，并用于將接收的所述云工作流分配給所述分布式云工作流調(diào)度模塊；所述分布式云工作流調(diào)度模塊用于對(duì)接收的所述云工作流進(jìn)行動(dòng)態(tài)調(diào)度和分配。

優(yōu)選地，所述分布式云工作流調(diào)度模塊包括多個(gè)調(diào)度器；

所述調(diào)度器分別與所述調(diào)度器控制器和所述云工作流狀態(tài)數(shù)據(jù)庫(kù)模塊連接；

所述調(diào)度器用于根據(jù)云工作流任務(wù)間的依賴(lài)關(guān)系釋放已就緒的云工作流任務(wù)，并用于為所述已就緒的云工作流任務(wù)分配計(jì)算資源。

優(yōu)選地，每一所述調(diào)度器均包括：監(jiān)聽(tīng)單元、存儲(chǔ)單元、云工作流解析單元、資源監(jiān)控單元、資源分配單元、更新單元和資源計(jì)算單元；

所述監(jiān)聽(tīng)單元、所述云工作流解析單元、所述資源監(jiān)控單元、所述資源分配單元和所述更新單元均與所述存儲(chǔ)單元連接；所述資源計(jì)算單元與所述資源分配單元連接；所述資源監(jiān)控單元與所述云工作流狀態(tài)數(shù)據(jù)庫(kù)模塊連接；所述存儲(chǔ)單元包括：云工作流緩沖區(qū)、任務(wù)緩沖區(qū)、云工作流任務(wù)執(zhí)行狀態(tài)鏈表和就緒任務(wù)池；