[發(fā)明專利]一種跨異構(gòu)計算引擎的大數(shù)據(jù)任務(wù)調(diào)度方法、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210377333.0
• 申請日: 2022-04-12
• 公開（公告）號: CN114896054A
• 公開（公告）日: 2022-08-12
• 發(fā)明（設(shè)計）人: 楊陽;賈瑩;薛麗惠
• 申請（專利權(quán)）人: 中國電子科技集團公司第十研究所
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 成都九鼎天元知識產(chǎn)權(quán)代理有限公司 51214
• 代理人: 周浩杰

本發(fā)明公開了一種跨異構(gòu)計算引擎的大數(shù)據(jù)任務(wù)調(diào)度方法、設(shè)備及介質(zhì)，屬于大數(shù)據(jù)領(lǐng)域，包括步驟：S1，定義任務(wù)工作流統(tǒng)一描述模型；S2，可視化編排任務(wù)工作流；S3，對任務(wù)工作流進行解析；S4，將任務(wù)工作流按策略分發(fā)到調(diào)度服務(wù)器上；S5，下發(fā)任務(wù)工作流的作業(yè)到具體的計算引擎上執(zhí)行，并管理任務(wù)工作流的執(zhí)行狀態(tài)。本發(fā)明針對現(xiàn)有業(yè)務(wù)需求和技術(shù)發(fā)展不足之處，解決了跨異構(gòu)計算引擎的任務(wù)調(diào)度問題，屏蔽了大數(shù)據(jù)開發(fā)復(fù)雜性，使用戶能夠?qū)ＷI(yè)務(wù)邏輯本身，提高了工作效率。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)領(lǐng)域，更為具體的，涉及一種跨異構(gòu)計算引擎的大數(shù)據(jù)任務(wù)調(diào)度方法、設(shè)備及介質(zhì)。

背景技術(shù)

目前，大型行業(yè)數(shù)據(jù)中心進行建設(shè)時，通常需要考慮海量異構(gòu)高維數(shù)據(jù)的接入?yún)R聚、分級存儲、聯(lián)合生產(chǎn)和容災(zāi)備份等因素，涉及多個物理位置不同的數(shù)據(jù)中心形成跨域“一朵云”，對外提供云和大數(shù)據(jù)服務(wù)。為充分利用各家云廠商的優(yōu)勢服務(wù)，又避免廠商綁定，擇優(yōu)采用了多個云廠商的大數(shù)據(jù)組件，進而在進行大數(shù)據(jù)生產(chǎn)時，所需的數(shù)據(jù)資源往往可能分布在技術(shù)體制不同的物理數(shù)據(jù)中心上，如基于Hadoop的開源系云平臺(如華為云等)、閉源系的阿里云等。

在數(shù)據(jù)生產(chǎn)過程中，一個生產(chǎn)任務(wù)可能需要對開源系的Hive、Spark、Flink等，或閉源系的阿里Maxcompute等多種異構(gòu)計算引擎進行組合調(diào)度使用，以滿足特定的業(yè)務(wù)需求。

為實現(xiàn)跨中心的聯(lián)合數(shù)據(jù)生產(chǎn)，需要解決生產(chǎn)任務(wù)的跨異構(gòu)計算引擎調(diào)度問題，將任務(wù)調(diào)度到對應(yīng)數(shù)據(jù)中心的計算引擎上執(zhí)行，保證生產(chǎn)需要的數(shù)據(jù)在哪里，計算就在哪里。不同云廠商計算引擎的異構(gòu)會帶來任務(wù)調(diào)度的復(fù)雜性，為適配不同廠商不同類型的計算引擎，數(shù)據(jù)生產(chǎn)需要支持跨異構(gòu)引擎的統(tǒng)一調(diào)度，在數(shù)據(jù)生產(chǎn)執(zhí)行時，調(diào)用與之匹配的計算引擎來完成計算。

目前的計算引擎調(diào)度框架更側(cè)重于對單類型計算引擎自身的調(diào)度優(yōu)化，從而實現(xiàn)調(diào)度效率最大化。Hive基于底層Hadoop平臺封裝了一層SQL，利用MapReduce框架進行大數(shù)據(jù)處理；Spark基于內(nèi)存計算進行微批流處理；Flink通過JobManger任務(wù)調(diào)度器管理Slot，把任務(wù)分配到合適的Slot等待執(zhí)行。

針對使用多種類型計算引擎的業(yè)務(wù)場景，應(yīng)用系統(tǒng)使用時存在以下3類問題：1)系統(tǒng)開發(fā)復(fù)雜，需根據(jù)每類計算引擎特點進行開發(fā)適配；2)與特定廠商的大數(shù)據(jù)平臺緊耦合、強綁定，業(yè)務(wù)邏輯均“硬編碼”在應(yīng)用系統(tǒng)中，維護升級難度大；3)大數(shù)據(jù)任務(wù)工作流不支持多類型計算引擎的混合編排，無法支持跨引擎的聯(lián)合生產(chǎn)。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種跨異構(gòu)計算引擎的大數(shù)據(jù)任務(wù)調(diào)度方法、設(shè)備及介質(zhì)，針對現(xiàn)有業(yè)務(wù)需求和技術(shù)發(fā)展不足之處，解決了跨異構(gòu)計算引擎的任務(wù)調(diào)度問題，屏蔽了大數(shù)據(jù)開發(fā)復(fù)雜性，使用戶能夠?qū)ＷI(yè)務(wù)邏輯本身，提高了工作效率。

本發(fā)明的目的是通過以下方案實現(xiàn)的：

一種跨異構(gòu)計算引擎的大數(shù)據(jù)任務(wù)調(diào)度方法，包括以下步驟：

S1，定義任務(wù)工作流統(tǒng)一描述模型；

S2，可視化編排任務(wù)工作流；

S3，對任務(wù)工作流進行解析；

S4，將任務(wù)工作流按策略分發(fā)到調(diào)度服務(wù)器上；

S5，下發(fā)任務(wù)工作流的作業(yè)到具體的計算引擎上執(zhí)行，并管理任務(wù)工作流的執(zhí)行狀態(tài)。

進一步地，在步驟S1中，所述任務(wù)工作流中的節(jié)點，包括控制節(jié)點和計算節(jié)點，控制節(jié)點用于表達業(yè)務(wù)流程邏輯，計算節(jié)點用于適配不同的計算引擎并完成計算執(zhí)行。

進一步地，在步驟S1中，所述任務(wù)工作流統(tǒng)一模型采用key/value格式文本文件作為統(tǒng)一描述文件；任務(wù)工作流節(jié)點設(shè)置全局唯一標(biāo)識；在計算節(jié)點指明其計算類型；計算節(jié)點包括功能配置信息；當(dāng)工作流節(jié)點有依賴關(guān)系時在統(tǒng)一描述文件中指明節(jié)點間的依賴關(guān)系及依賴數(shù)據(jù)。