[發(fā)明專利]一種基于大數(shù)據(jù)混合作業(yè)模型的調(diào)度方法

有效

• 申請?zhí)枺?/td>: 201710352596.5
• 申請日: 2017-05-18
• 公開（公告）號: CN107025141B
• 公開（公告）日: 2020-09-01
• 發(fā)明（設(shè)計）人: 劉科;唐小艷
• 申請（專利權(quán)）人: 成都海天數(shù)聯(lián)科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/28
• 代理公司: 北京天奇智新知識產(chǎn)權(quán)代理有限公司 11340
• 代理人: 楊春

本發(fā)明公開了一種基于大數(shù)據(jù)混合作業(yè)模型的調(diào)度方法，包括生成大數(shù)據(jù)混合作業(yè)模型調(diào)度特征參數(shù)、預(yù)測混合作業(yè)模型的可調(diào)度性、管理控制混合作業(yè)模型以及動態(tài)調(diào)度混合作業(yè)模型。本發(fā)明為現(xiàn)有的大數(shù)據(jù)混合作業(yè)模型調(diào)度平臺提供了一種有效的，正確的調(diào)度方案，該方案克服了傳統(tǒng)的大數(shù)據(jù)作業(yè)模型調(diào)度參數(shù)不足、未考慮模型的歷史執(zhí)行特征和集群中的細粒度的資源特征、無法有效調(diào)度混合作業(yè)模型的問題，并為作業(yè)模型生成全面而又完整的調(diào)度參數(shù)，基于調(diào)度參數(shù)預(yù)測作業(yè)模型的可調(diào)度性，降低了作業(yè)的失敗率，并在資源競爭激烈的情況下縮短混合作業(yè)模型的執(zhí)行時間。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于大數(shù)據(jù)混合作業(yè)模型的調(diào)度方法。

背景技術(shù)

大數(shù)據(jù)混合作業(yè)模型調(diào)度系統(tǒng)是構(gòu)建在Hadoop(分布式系統(tǒng)基礎(chǔ)架構(gòu))集群之上的涉及混合模型的管理、控制、調(diào)度、運行的平臺。系統(tǒng)提供了調(diào)度參數(shù)的采集與生成方法，不同調(diào)度目標下的調(diào)度算法，并對混合作業(yè)模型的執(zhí)行過程進行管理和控制。用戶將混合作業(yè)模型部署到HDFS(Hadoop Distributed File System，Hadoop分布式文件系統(tǒng))上后，通過工作流管理技術(shù)生成對應(yīng)的作業(yè)配置文件，并將模型提交給調(diào)度系統(tǒng)的作業(yè)隊列調(diào)度執(zhí)行。混合作業(yè)模型的示意圖如圖1所示。

隨著人們對海量數(shù)據(jù)集的處理與分析的要求越來越高，各種各樣的大數(shù)據(jù)處理技術(shù)和平臺應(yīng)運而生，面對企業(yè)對數(shù)據(jù)處理的多樣化、易用性以及數(shù)據(jù)處理速度的要求越來越高，Pig(大數(shù)據(jù)高級過程語言)、Hive(數(shù)據(jù)倉庫工具)、Spark(快速通用的計算引擎)等一系列大數(shù)據(jù)處理技術(shù)蓬勃發(fā)展，Pig提供了一種更高級的編程語言極大地簡化了MapReduce(并行計算的編程模型)程序的開發(fā)、編譯以及部署；Hive(數(shù)據(jù)倉庫工具)則提供了一種與SQL類似的語言交互式地操作大數(shù)據(jù)存儲系統(tǒng)上的數(shù)據(jù)；Spark(快速通用的計算引擎)更進一步，提出了一種全新的基于內(nèi)存的數(shù)據(jù)處理框架，并提供了大量可用的機器學習或大數(shù)據(jù)處理的算法庫。MapReduce(并行計算的編程模型)、Pig(大數(shù)據(jù)高級過程語言)、Hive(數(shù)據(jù)倉庫工具)、Spark(快速通用的計算引擎)等各種不同類型的作業(yè)通過工作流管理系統(tǒng)組合成混合大數(shù)據(jù)處理模型，運行在同一個計算平臺上。各個不同類型作業(yè)的資源分配情況、執(zhí)行效率是保證海量數(shù)據(jù)處理任務(wù)高效完成的關(guān)鍵，如果僅僅考慮單個某種類型的作業(yè)執(zhí)行過程而不關(guān)注由各個作業(yè)組成的DAG(Directed Acyclic Graph，有向無環(huán)圖)模型的拓撲結(jié)構(gòu)、模型的歷史執(zhí)行信息以及各個模型之間對資源的競爭情況，就不能從整體上提高集群的資源利用率，也無法最大化所有模型的執(zhí)行效率，進而實現(xiàn)某些特定的調(diào)度目標。因此，分析模型本身的結(jié)構(gòu)、利用機器學習算法學習模型的歷史執(zhí)行信息以及監(jiān)控集群當前的資源使用情況，再結(jié)合這些信息選擇合適的模型進行調(diào)度對提高系統(tǒng)資源利用率和實現(xiàn)個性化的調(diào)度目標具有顯著的意義。

傳統(tǒng)的大數(shù)據(jù)作業(yè)模型的調(diào)度主要是單一類型的作業(yè)調(diào)度，并沒有充分考慮作業(yè)模型的歷史執(zhí)行信息和集群的當前資源使用情況，并且也無法在作業(yè)執(zhí)行過程中，實時動態(tài)地控制作業(yè)的執(zhí)行流程。

發(fā)明內(nèi)容

本發(fā)明的目的就在于為了解決上述問題而提供一種基于大數(shù)據(jù)混合作業(yè)模型的調(diào)度方法。

本發(fā)明通過以下技術(shù)方案來實現(xiàn)上述目的：

一種基于大數(shù)據(jù)混合作業(yè)模型的調(diào)度方法，包括以下步驟：

A、生成大數(shù)據(jù)混合作業(yè)模型調(diào)度特征參數(shù)，所述大數(shù)據(jù)混合作業(yè)模型調(diào)度特征參數(shù)包括混合作業(yè)模型參數(shù)和資源模型參數(shù)；

B、預(yù)測混合作業(yè)模型的可調(diào)度性；

C、管理和控制混合作業(yè)模型，在混合作業(yè)模型的執(zhí)行過程中，根據(jù)預(yù)測結(jié)果動態(tài)地掛起、恢復(fù)、殺死混合作業(yè)模型，控制混合作業(yè)模型的執(zhí)行過程；

D、動態(tài)調(diào)度混合作業(yè)模型。

具體地，步驟A包含以下子步驟：