[發(fā)明專利]分布式定時(shí)任務(wù)調(diào)度系統(tǒng)及計(jì)算裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010107648.4
• 申請(qǐng)日: 2020-02-21
• 公開（公告）號(hào): CN111338774B
• 公開（公告）日: 2023-09-19
• 發(fā)明（設(shè)計(jì)）人: 李紅
• 申請(qǐng)（專利權(quán)）人: 華云數(shù)據(jù)有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/451;G06F9/455;G06F9/50
• 代理公司: 蘇州友佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32351
• 代理人: 儲(chǔ)振

本發(fā)明提供了一種分布式定時(shí)任務(wù)調(diào)度系統(tǒng)及計(jì)算裝置，分布式定時(shí)任務(wù)調(diào)度系統(tǒng)包括至少在兩個(gè)節(jié)點(diǎn)中以聲明方式配置出的任務(wù)調(diào)度器、服務(wù)調(diào)度器及任務(wù)定時(shí)器，消息隊(duì)列，調(diào)度中心及定時(shí)任務(wù)下發(fā)組件；任務(wù)調(diào)度器將定時(shí)任務(wù)下發(fā)至消息隊(duì)列中，剩余節(jié)點(diǎn)監(jiān)聽消息隊(duì)列并創(chuàng)建與下發(fā)至消息隊(duì)列中的定時(shí)任務(wù)相同的定時(shí)任務(wù)；消息隊(duì)列將定時(shí)任務(wù)中所包含的至少一個(gè)定時(shí)作業(yè)下發(fā)至調(diào)度中心，調(diào)度中心檢測(cè)節(jié)點(diǎn)的響應(yīng)能力，以根據(jù)各個(gè)節(jié)點(diǎn)的響應(yīng)能力確定執(zhí)行定時(shí)作業(yè)所對(duì)應(yīng)的服務(wù)調(diào)度器。通過本發(fā)明，確保了對(duì)定時(shí)任務(wù)調(diào)度過程的細(xì)粒度，提高了對(duì)多定時(shí)任務(wù)的處理能力，實(shí)現(xiàn)了對(duì)業(yè)務(wù)數(shù)據(jù)的自適應(yīng)編排處理。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種分布式定時(shí)任務(wù)調(diào)度系統(tǒng)及一種計(jì)算裝置。

背景技術(shù)

云平臺(tái)、服務(wù)器集群配置環(huán)境中運(yùn)行一個(gè)或者多個(gè)項(xiàng)目工程(Project)，該等項(xiàng)目工程需要配置定時(shí)任務(wù)(Task)。基于大規(guī)模的云平臺(tái)、服務(wù)器集群配置環(huán)境中，存在諸多項(xiàng)目以及單個(gè)項(xiàng)目中所包含的多個(gè)任務(wù)的情形，需要對(duì)任務(wù)，例如，訂單系統(tǒng)的超時(shí)狀態(tài)判斷、緩存數(shù)據(jù)的定時(shí)更新、定時(shí)給用戶發(fā)郵件，甚至是一些定期計(jì)算的報(bào)表等。為保證高可用、高容錯(cuò)性，大規(guī)模的云平臺(tái)或者服務(wù)器集群通常采用分布式架構(gòu)，因此分布式定時(shí)任務(wù)應(yīng)運(yùn)而生。

目前，主流的分布式定時(shí)任務(wù)調(diào)度基于Quartz框架，并依賴于Zookeeper。Zookeeper可實(shí)現(xiàn)數(shù)據(jù)分片，從而保證數(shù)據(jù)不會(huì)被重復(fù)處理，并提升數(shù)據(jù)處理速度。這在金融行業(yè)、移動(dòng)支付等領(lǐng)域中具有舉足輕重的作用。然而，采用Zookeeper的技術(shù)路線會(huì)對(duì)數(shù)據(jù)庫造成非常大的壓力，且數(shù)據(jù)庫存在宕機(jī)的風(fēng)險(xiǎn)；而在采用Quartz的技術(shù)路線中由于對(duì)數(shù)據(jù)庫的依賴較強(qiáng)，且數(shù)據(jù)庫部署較為復(fù)雜；尤其的，采用Quartz框架實(shí)現(xiàn)分布式定時(shí)任務(wù)調(diào)度時(shí)對(duì)資源的占用過重，且無法保證任務(wù)調(diào)度過程中的唯一性，而現(xiàn)有技術(shù)中單單采用分布式數(shù)據(jù)庫的技術(shù)手段又會(huì)對(duì)分布式數(shù)據(jù)庫造成計(jì)算開銷及計(jì)算壓力。

更為重要的是的，基于用戶請(qǐng)求或者下發(fā)任務(wù)在規(guī)格上呈現(xiàn)多樣性，在數(shù)量上呈現(xiàn)海量性的特點(diǎn)，導(dǎo)致現(xiàn)有技術(shù)中的分布式定時(shí)任務(wù)調(diào)度系統(tǒng)及調(diào)度方法存在以下缺陷。首先，對(duì)于復(fù)雜環(huán)境或者需要對(duì)定時(shí)任務(wù)執(zhí)行頻繁調(diào)度的場(chǎng)景中，通常會(huì)有很多業(yè)務(wù)，業(yè)務(wù)通常包含至少一個(gè)業(yè)務(wù)流程，而不同業(yè)務(wù)流程往往又包含至少一個(gè)業(yè)務(wù)邏輯。這對(duì)于開發(fā)人員而言需要知悉特定業(yè)務(wù)所包含的一個(gè)或者多個(gè)邏輯，顯然這在事實(shí)上是無法實(shí)現(xiàn)的，因?yàn)殚_發(fā)人員預(yù)先不可能制定出符合用戶特定需求的所有業(yè)務(wù)流程；并且會(huì)導(dǎo)致前端開發(fā)人員與后端開發(fā)人員對(duì)運(yùn)行該分布式定時(shí)任務(wù)調(diào)度系統(tǒng)的應(yīng)用/程序的開發(fā)難度增加。同時(shí)，現(xiàn)有技術(shù)中通常在計(jì)算節(jié)點(diǎn)中運(yùn)行分布式定時(shí)任務(wù)調(diào)度系統(tǒng)，而云平臺(tái)中的計(jì)算節(jié)點(diǎn)的規(guī)模或者配置是相同的，然而對(duì)定時(shí)任務(wù)進(jìn)行調(diào)度所需要的資源又有所區(qū)別，因此現(xiàn)有技術(shù)所揭示的分布式定時(shí)任務(wù)調(diào)度系統(tǒng)的云平臺(tái)等計(jì)算集群中無法實(shí)現(xiàn)個(gè)性化的增加或者刪除計(jì)算節(jié)點(diǎn)提供參考依據(jù)，從而造成資源的浪費(fèi)。

有鑒于此，有必要對(duì)現(xiàn)有技術(shù)中的分布式定時(shí)任務(wù)調(diào)度方法及相關(guān)類似技術(shù)方案予以改進(jìn)，以解決上述問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于揭示的一種分布式定時(shí)任務(wù)調(diào)度系統(tǒng)及基于該調(diào)度系統(tǒng)的一種計(jì)算裝置，在提高運(yùn)行該定時(shí)任務(wù)的節(jié)點(diǎn)的容錯(cuò)性并實(shí)現(xiàn)任務(wù)調(diào)度的一致性的同時(shí)，并實(shí)現(xiàn)對(duì)定時(shí)任務(wù)調(diào)度過程的細(xì)粒度，使得實(shí)體業(yè)務(wù)所包含的定時(shí)任務(wù)能夠被合理地確定具體的執(zhí)行主體，解決多定時(shí)任務(wù)調(diào)度場(chǎng)景中的整體調(diào)度處理能力，降低業(yè)務(wù)編排難度。

為實(shí)現(xiàn)上述第一個(gè)發(fā)明目的，本發(fā)明首先提供了一種分布式定時(shí)任務(wù)調(diào)度系統(tǒng)，包括：

至少在兩個(gè)節(jié)點(diǎn)中以聲明方式配置出的任務(wù)調(diào)度器、服務(wù)調(diào)度器及任務(wù)定時(shí)器，

消息隊(duì)列，

部署于消息隊(duì)列與服務(wù)調(diào)度器之間的至少兩個(gè)用于檢測(cè)節(jié)點(diǎn)響應(yīng)能力的調(diào)度中心，

定時(shí)任務(wù)下發(fā)組件，選定至少一個(gè)節(jié)點(diǎn)作為響應(yīng)定時(shí)任務(wù)的指定節(jié)點(diǎn)，以及，保存定時(shí)任務(wù)所對(duì)應(yīng)的執(zhí)行結(jié)果的第一存儲(chǔ)裝置；