[發(fā)明專利]任務(wù)處理系統(tǒng)、方法、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910376505.0
• 申請(qǐng)日: 2019-05-07
• 公開（公告）號(hào): CN110069335A
• 公開（公告）日: 2019-07-30
• 發(fā)明（設(shè)計(jì)）人: 胡利斌;楊綱;董延峰;張寧
• 申請(qǐng)（專利權(quán)）人: 江蘇滿運(yùn)軟件科技有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/50
• 代理公司: 上海隆天律師事務(wù)所 31282
• 代理人: 臧云霄;鐘宗

本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，提供一種任務(wù)處理系統(tǒng)、方法、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。其中任務(wù)處理系統(tǒng)包括：任務(wù)提交模塊，用于接收創(chuàng)建的任務(wù)，生成待處理任務(wù)并提交；應(yīng)用發(fā)布模塊，用于接收提交的各個(gè)待處理任務(wù)，通過YARN資源調(diào)度器向?qū)?yīng)的DataNode節(jié)點(diǎn)申請(qǐng)各個(gè)待處理任務(wù)的執(zhí)行資源，將各個(gè)待處理任務(wù)發(fā)送至對(duì)應(yīng)的執(zhí)行隊(duì)列；任務(wù)執(zhí)行模塊，包括多個(gè)執(zhí)行隊(duì)列，各個(gè)執(zhí)行隊(duì)列根據(jù)接收的待處理任務(wù)，并行執(zhí)行各個(gè)待處理任務(wù)；以及監(jiān)控模塊，與應(yīng)用發(fā)布模塊和任務(wù)執(zhí)行模塊通信，監(jiān)控模塊采集并監(jiān)控應(yīng)用發(fā)布數(shù)據(jù)和任務(wù)執(zhí)行數(shù)據(jù)，以響應(yīng)任務(wù)提交模塊。本發(fā)明能夠?qū)崿F(xiàn)任務(wù)的自動(dòng)化發(fā)布、執(zhí)行和實(shí)時(shí)監(jiān)控，提高任務(wù)處理效率和運(yùn)行穩(wěn)定性。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，具體地說，涉及一種任務(wù)處理系統(tǒng)、方法、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

近年來，隨著大數(shù)據(jù)技術(shù)的興起，越來越多的公司都成立了大數(shù)據(jù)部門，通過集群管理公司業(yè)務(wù)。隨著公司業(yè)務(wù)的不斷增長(zhǎng)，各公司的集群普遍存在一些問題，如：非部門員工如何使用集群資源、集群中大量任務(wù)如何啟停，如何避免任務(wù)被不相關(guān)用戶誤操作，應(yīng)用資源的獨(dú)占和共享問題、任務(wù)日志的排查問題等問題。為了避免上述問題的發(fā)生，業(yè)界普遍將任務(wù)的處理集成到全家桶式的大數(shù)據(jù)架構(gòu)平臺(tái)，通過云平臺(tái)或者Docker化發(fā)布。但由于全家桶式的大數(shù)據(jù)架構(gòu)平臺(tái)大而全，導(dǎo)致易用性較差，且權(quán)限不便控制。

具體來說，通過全家桶式的大數(shù)據(jù)架構(gòu)平臺(tái)，用戶能通過查詢Hive、Impala、SparkSql等獲取數(shù)據(jù)，但是對(duì)于復(fù)雜的任務(wù)，尤其是需要復(fù)雜的聚合等邏輯計(jì)算的任務(wù)無法處理。此時(shí)通常需要開發(fā)人員通過運(yùn)維開通堡壘機(jī)權(quán)限，用戶通過堡壘機(jī)登錄到集群機(jī)器上直接通過命令行操作。這種處理方式要求用戶對(duì)相關(guān)命令的掌握程度較高，導(dǎo)致應(yīng)用不靈活、易用性較差。且由于集群權(quán)限管理等原因，出于安全性考慮，用戶無法直接查看任務(wù)運(yùn)行的詳細(xì)日志，無法及時(shí)查看任務(wù)執(zhí)行的階段及結(jié)果，平臺(tái)管理員也無法對(duì)任務(wù)造成集群資源占用過大等情況進(jìn)行管控。

需要說明的是，在上述背景技術(shù)部分申請(qǐng)的信息僅用于加強(qiáng)對(duì)本發(fā)明的背景的理解，因此可以包括不構(gòu)成對(duì)本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種任務(wù)處理系統(tǒng)、方法、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)，能夠?qū)崿F(xiàn)任務(wù)的自動(dòng)化發(fā)布、執(zhí)行和實(shí)時(shí)監(jiān)控，提高任務(wù)處理效率和運(yùn)行穩(wěn)定性。

根據(jù)本發(fā)明的一個(gè)方面，提供一種任務(wù)處理系統(tǒng)，包括：任務(wù)提交模塊，用于接收創(chuàng)建的任務(wù)，生成待處理任務(wù)并提交；應(yīng)用發(fā)布模塊，用于接收提交的各個(gè)待處理任務(wù)，通過YARN資源調(diào)度器向?qū)?yīng)的DataNode節(jié)點(diǎn)申請(qǐng)各個(gè)待處理任務(wù)的執(zhí)行資源，將各個(gè)待處理任務(wù)發(fā)送至對(duì)應(yīng)的執(zhí)行隊(duì)列；任務(wù)執(zhí)行模塊，包括多個(gè)執(zhí)行隊(duì)列，各個(gè)所述執(zhí)行隊(duì)列根據(jù)接收的待處理任務(wù)，并行執(zhí)行各個(gè)所述待處理任務(wù)；以及監(jiān)控模塊，與所述應(yīng)用發(fā)布模塊和所述任務(wù)執(zhí)行模塊通信，所述監(jiān)控模塊采集并監(jiān)控應(yīng)用發(fā)布數(shù)據(jù)和任務(wù)執(zhí)行數(shù)據(jù)，以響應(yīng)所述任務(wù)提交模塊。

優(yōu)選地，上述的任務(wù)處理系統(tǒng)中，所述應(yīng)用發(fā)布模塊通過YARN資源調(diào)度器向?qū)?yīng)的DataNode節(jié)點(diǎn)申請(qǐng)各個(gè)待處理任務(wù)的執(zhí)行資源，將各個(gè)待處理任務(wù)發(fā)送至對(duì)應(yīng)的執(zhí)行隊(duì)列，包括：解析并獲得各個(gè)待處理任務(wù)的配置信息；通過YARN資源調(diào)度器獲得各個(gè)DataNode節(jié)點(diǎn)的資源情況和各個(gè)執(zhí)行隊(duì)列的負(fù)載情況；所述YARN資源調(diào)度器根據(jù)每個(gè)待處理任務(wù)的配置信息，向資源情況滿足該待處理任務(wù)的配置信息的DataNode節(jié)點(diǎn)申請(qǐng)執(zhí)行資源，并將該待處理任務(wù)發(fā)送至負(fù)載情況滿足其配置信息的執(zhí)行隊(duì)列。

優(yōu)選地，上述的任務(wù)處理系統(tǒng)中，所述待處理任務(wù)的配置信息包括執(zhí)行引擎，所述任務(wù)執(zhí)行模塊包括多個(gè)執(zhí)行引擎模塊，每個(gè)執(zhí)行引擎模塊包括多個(gè)執(zhí)行隊(duì)列，所述YARN資源調(diào)度器將各個(gè)待處理任務(wù)發(fā)送至對(duì)應(yīng)的執(zhí)行引擎模塊的執(zhí)行隊(duì)列。

優(yōu)選地，上述的任務(wù)處理系統(tǒng)中，所述執(zhí)行引擎模塊包括Spark Streaming模塊、Flink Job模塊和Flink Sql模塊。